API OpenAI Moderation : omni-moderation-latest, catégories, prix et limites
L'API OpenAI Moderation vous indique si un texte ou une image est potentiellement préjudiciable, et dans quelle catégorie. Elle est gratuite, rapide à appeler et constitue souvent la première étape des équipes qui doivent modérer des contenus d'utilisateurs. Ce guide résume ce qu'elle détecte, ce qu'elle renvoie et ce qu'il vous reste à construire.
L'essentiel en bref
- Modèle :
omni-moderation-latest, qui accepte du texte et des images. Il ne classe pas l'audio. - Prix : gratuit. OpenAI précise que « l'endpoint de modération est gratuit », et les fichiers image peuvent peser jusqu'à 20 Mo.
- Sortie : un booléen
flaggedet, pour chaque catégorie, un booléen et un score de confiance compris entre 0 et 1. - Catégories : 13, dont six s'appliquent aussi aux images.
Comment l'appeler
Envoyez une requête POST à l'endpoint /v1/moderations avec le nom du modèle et votre contenu.
curl https://api.openai.com/v1/moderations -H "Content-Type: application/json" -H "Authorization: Bearer $OPENAI_API_KEY" -d '{
"model": "omni-moderation-latest",
"input": "Le commentaire à vérifier"
}'
Vous pouvez aussi activer la modération en ligne grâce au paramètre moderation de
l'API Responses. Le résultat contient alors deux sections distinctes, input et
output, et chacune peut être un objet d'erreur au lieu de scores.
Ce que contient la réponse
flagged:truesi le modèle classe le contenu comme potentiellement préjudiciable,falsesinon.categories: un booléen par catégorie, qui indique si cette catégorie est enfreinte.category_scores: un score de confiance par catégorie, de 0 à 1. Plus il est élevé, plus le modèle est confiant.category_applied_input_types: pour chaque catégorie, les types d'entrée (texte, image) auxquels le score s'applique.
Les 13 catégories
Si vous n'envoyez qu'une image, les catégories réservées au texte renvoient un score de 0.
| Catégorie | Ce qu'elle couvre | Entrées |
|---|---|---|
| harassment | Propos harcelants envers une cible quelle qu'elle soit. | Texte |
| harassment/threatening | Harcèlement comportant en plus de la violence ou un préjudice grave envers une cible quelle qu'elle soit. | Texte |
| hate | Haine fondée sur l'origine raciale, le genre, l'origine ethnique, la religion, la nationalité, l'orientation sexuelle, le handicap ou la caste. Les contenus haineux visant des groupes non protégés relèvent du harcèlement. | Texte |
| hate/threatening | Contenu haineux comportant en plus de la violence ou un préjudice grave envers le groupe visé. | Texte |
| illicit | Conseils ou instructions pour commettre des actes illicites. | Texte |
| illicit/violent | Contenu illicite qui évoque aussi la violence ou l'obtention d'une arme. | Texte |
| self-harm | Contenu qui promeut, encourage ou représente des actes d'automutilation. | Texte et images |
| self-harm/intent | L'auteur exprime qu'il s'automutile ou a l'intention de le faire. | Texte et images |
| self-harm/instructions | Contenu qui encourage l'automutilation ou explique comment la pratiquer. | Texte et images |
| sexual | Contenu destiné à susciter l'excitation sexuelle ou qui fait la promotion de services sexuels (hors éducation sexuelle et bien-être). | Texte et images |
| sexual/minors | Contenu sexuel impliquant une personne de moins de 18 ans. | Texte |
| violence | Contenu qui représente la mort, la violence ou des blessures physiques. | Texte et images |
| violence/graphic | Contenu qui représente la mort, la violence ou des blessures physiques de manière crue et détaillée. | Texte et images |
Points d'attention
- OpenAI prévient que les règles personnalisées fondées sur
category_scorespeuvent devoir être recalibrées au fil du temps, à mesure que le modèle évolue. - Avec la modération en ligne, les scores ne figurent pas dans les deltas partiels de la sortie en streaming.
- Avec les appels d'outils, les arguments et les sorties des outils sont modérés, mais pas les noms, descriptions et schémas des outils.
- N'envoyez pas de contenus pédocriminels avérés ou suspectés à l'API Moderation.
Ce que l'API Moderation vous laisse à faire
Un score n'est pas une décision de modération. Une fois que vous l'avez, il vous reste à fixer le seuil de chaque catégorie, à décider du sort des commentaires situés entre les deux, à appliquer les règles propres à votre communauté et à expliquer chaque suppression à son auteur. En vertu du règlement sur les services numériques (DSA), les services d'hébergement doivent fournir un exposé des motifs pour chaque suppression et préciser si des moyens automatisés ont été utilisés.
OpenModeration apporte la couche manquante, avec sa propre IA de modération, arbitrée par d'autres modèles d'IA sur les cas délicats : des règles rédigées en langage courant, deux seuils par catégorie, des cas douteux et des signalements traités par notre équipe, une explication écrite pour chaque décision et un journal d'audit complet. Vous n'avez rien à faire : vous voyez tout en temps réel dans la console et pouvez intervenir quand vous voulez. Son architecture est indépendante des modèles : quand un modèle d'IA plus performant ou moins cher sort, l'équipe le branche rapidement, sans que vous ayez à réécrire votre intégration.
Source : guide OpenAI sur la modération (en anglais), consulté le 20 octobre 2026.
FAQ
L'API OpenAI Moderation est-elle gratuite ?
Oui. OpenAI indique que l'endpoint de modération est gratuit. Les images envoyées peuvent peser jusqu'à 20 Mo.
Qu'est-ce que omni-moderation-latest ?
omni-moderation-latest est le modèle de modération actuel d'OpenAI. Il accepte du texte et des images, mais ne classe pas l'audio.
Quelles catégories l'API OpenAI Moderation détecte-t-elle ?
Treize : harassment, harassment/threatening, hate, hate/threatening, illicit, illicit/violent, self-harm, self-harm/intent, self-harm/instructions, sexual, sexual/minors, violence et violence/graphic. Six d'entre elles s'appliquent aussi aux images.
Que ne fait pas l'API OpenAI Moderation ?
Elle renvoie des scores et des indicateurs, rien de plus. Décider quoi masquer, rédiger les règles de votre communauté, examiner les cas limites, expliquer chaque décision à son auteur et tenir un journal d'audit pour le DSA restent à votre charge. OpenModeration prend en charge toute cette couche : sa propre IA de modération, arbitrée par d'autres modèles d'IA, et notre équipe pour les cas douteux. Vous voyez chaque décision en temps réel.