📖 Lexique de la modération
Qu'est-ce qu'un score de confiance en modération ?
En bref
Un score de confiance est une valeur, souvent comprise entre 0 et 1, qui indique à quel point un modèle d'IA est certain qu'un contenu relève d'une catégorie comme le spam, l'insulte ou le discours de haine.
Les modèles de modération répondent rarement par oui ou non. Ils produisent un score par catégorie, et c'est le système qui décide quoi en faire : agir automatiquement au-dessus d'un score élevé, envoyer à une personne dans la zone intermédiaire, ne rien faire en dessous d'un score faible.
Exemple : un commentaire obtient 0,97 en spam parce qu'il contient un lien frauduleux connu : il est masqué aussitôt. Un autre obtient 0,55 en harcèlement parce que c'est une réponse sèche dans un fil tendu : il part chez un modérateur au lieu d'être masqué automatiquement.
Un score de confiance ne mesure pas la vérité : un modèle peut être très sûr de lui et se tromper, surtout sur des contenus différents de ceux qu'il a déjà vus. Les scores ne sont utiles qu'avec des seuils bien choisis, un contrôle régulier des décisions et une revue humaine de la zone incertaine.