📖 Lexique de la modération
Qu'est-ce que l'arbitrage entre modèles ?
En bref
L'arbitrage entre modèles est une technique dans laquelle plusieurs modèles d'IA analysent le même contenu et leurs verdicts sont comparés, pour qu'une décision de modération sur un cas délicat ne repose pas sur le jugement d'un seul modèle.
Chaque modèle d'IA a ses angles morts. Demander à un deuxième ou troisième modèle d'examiner un commentaire limite, puis comparer les réponses, permet d'attraper une bonne partie de ces erreurs. Quand les modèles sont d'accord, la décision est plus fiable ; quand ils divergent, c'est le signe que le cas est ambigu.
Exemple : un commentaire emploie un mot qui est une insulte dans un contexte et un terme revendiqué dans un autre. Le premier modèle y voit un discours de haine, le second le juge neutre. Plutôt que de choisir au hasard, le système traite ce désaccord comme un doute et envoie le commentaire à un modérateur humain.
L'arbitrage est en général réservé aux cas délicats, car faire tourner plusieurs modèles sur chaque commentaire serait lent et coûteux. OpenModeration utilise sa propre IA de modération et fait vérifier les cas délicats par d'autres modèles d'IA ; les nouveaux modèles sont branchés dès leur sortie, et les cas qui restent incertains sont traités par l'équipe OpenModeration.