Modération de contenu pour les applications d'IA : le guide du développeur

Toute application qui s'appuie sur un LLM a besoin de modération de contenu, pour la conformité mais aussi pour la sécurité, pour la confiance des utilisateurs et pour protéger votre modèle des entrées malveillantes.

Ce guide couvre les deux versants de la modération de contenu par IA : filtrer ce que les utilisateurs envoient à votre LLM, et filtrer ce que votre LLM renvoie aux utilisateurs.

Les deux filtres indispensables à toute application d'IA

1. Le filtrage des entrées

Avant que l'entrée de l'utilisateur n'atteigne votre LLM, vous devez détecter :

• Les contenus nuisibles : discours de haine, harcèlement, menaces, contenus sexuels
• L'injection de prompt : les tentatives de contourner le prompt système ou de jailbreaker le modèle
• Les demandes illicites : instructions pour des activités illégales, fabrication de drogues, etc.
• Les fuites de données personnelles : des utilisateurs qui partagent par mégarde des informations personnelles

2. Le filtrage des sorties

Avant que la réponse du modèle n'atteigne vos utilisateurs, vous devez détecter :

• Les contenus nuisibles générés : un modèle qui produit des discours de haine, de la violence, etc.
• La génération de données personnelles : un modèle qui génère par accident des données personnelles réelles ou inventées
• Les informations dangereuses hallucinées : conseils médicaux, juridiques ou recommandations financières
• Les violations de vos règles : des contenus contraires aux conditions d'utilisation de votre application

Schémas d'implémentation

Schéma 1 : filtrage séquentiel (recommandé pour la plupart des applications)

Entrée utilisateur -> Modération de l'entrée -> { si signalée -> rejet } -> LLM
Sortie du LLM -> Modération de la sortie -> { si signalée -> réponse de repli } -> Utilisateur

Schéma 2 : filtrage parallèle (quand la latence doit rester faible)

Entrée utilisateur -> Modération de l'entrée + LLM (en parallèle)
-> Attente du résultat de la modération
-> Si signalée -> abandon de la réponse du LLM et affichage d'une erreur
-> Si non signalée -> affichage de la réponse du LLM après modération de la sortie

Une défense en profondeur avec plusieurs modèles

S'appuyer sur un seul modèle de modération crée un point de défaillance unique et des angles morts. Une approche en couches tient mieux :

• Utilisez OpenAI Moderation pour la détection généraliste des contenus nuisibles
• Utilisez Llama Guard (auto-hébergé) pour filtrer les entrées sensibles sans coût et sans aucune fuite de données
• Utilisez un LLM comme classifieur, avec GPT-4o ou Claude, pour appliquer des règles sur mesure grâce à une compréhension fine du contexte

OpenModeration applique ce principe pour vous, en un seul appel d'API : sa propre IA de modération rend une première décision, et sur les cas délicats, d'autres modèles d'IA l'arbitrent avant qu'elle soit appliquée. Son architecture est indépendante des modèles : quand un modèle plus performant ou moins cher sort, l'équipe le branche rapidement, et rien ne change dans votre intégration.

Bonnes pratiques

1. Modérez toujours l'entrée et la sortie : elles ne révèlent pas les mêmes risques
2. Exploitez le contexte pour gagner en précision : transmettez l'historique de la conversation et les informations sur l'auteur pour améliorer les décisions de modération
3. Fixez des seuils adaptés : des seuils plus bas pour les catégories à haut risque (mineurs, automutilation), plus élevés pour les risques faibles (spam)
4. Journalisez tout pour l'audit : vous devez pouvoir prouver que votre modération fonctionne, surtout dans les secteurs réglementés
5. Testez avec des entrées malveillantes : éprouvez régulièrement votre pipeline de modération avec des prompts de jailbreak connus