📖 Lexique de la modération
Qu'est-ce que la modération par IA ?
En bref
La modération par IA est l'utilisation de modèles d'intelligence artificielle, comme des classifieurs ou des grands modèles de langage, pour comprendre les contenus des internautes en contexte et décider, ou proposer, s'ils enfreignent les règles de modération.
Contrairement aux listes de mots, les modèles d'IA lisent un commentaire dans son ensemble : ils distinguent une insulte d'une citation, une critique d'un harcèlement, une plaisanterie entre habitués d'une menace. Les grands modèles de langage savent aussi appliquer des règles rédigées en langage courant, comme la charte d'une marque.
Exemple : « ce produit est une arnaque, je veux être remboursé » est une plainte, pas une arnaque. Un bon système de modération par IA la laisse visible, et peut la signaler au service client, tandis qu'il masque « cliquez ici pour recevoir votre iPhone gratuit » comme spam.
L'IA fait encore des erreurs, peut être incohérente sur les cas limites et doit être encadrée : règles claires, seuils, revue humaine des cas douteux et motif écrit pour chaque décision.
OpenModeration utilise sa propre IA de modération, adaptée aux règles et aux cas d'usage de chaque client, et fait vérifier les cas délicats par d'autres modèles d'IA. Les nouveaux modèles sont branchés au fur et à mesure de leur sortie.