OpenAI Moderation API: omni-moderation-latest, categorieën, prijzen en grenzen
De OpenAI Moderation API vertelt je of een tekst of afbeelding mogelijk schadelijk is, en in welke categorie. Hij is gratis, snel aan te roepen en een veelgebruikte eerste stap voor teams die content van gebruikers moeten modereren. Deze gids zet op een rij wat hij detecteert, wat hij teruggeeft en wat hij aan jou overlaat om te bouwen.
Het korte antwoord
- Model:
omni-moderation-latest, dat tekst en afbeeldingen accepteert. Audio classificeert het niet. - Prijs: gratis. OpenAI geeft aan dat "the moderation endpoint is free to use", en afbeeldingen mogen tot 20 MB groot zijn.
- Output: een boolean
flaggedplus, per categorie, een boolean en een betrouwbaarheidsscore tussen 0 en 1. - Categorieën: 13, waarvan zes ook voor afbeeldingen gelden.
Zo roep je hem aan
Stuur een POST-verzoek naar het endpoint /v1/moderations met de naam van het model en je input.
curl https://api.openai.com/v1/moderations -H "Content-Type: application/json" -H "Authorization: Bearer $OPENAI_API_KEY" -d '{
"model": "omni-moderation-latest",
"input": "De reactie die je wilt controleren"
}'
Je kunt ook inline moderatie inschakelen via de parameter moderation van de
Responses API. Het resultaat bevat dan aparte secties input en
output, en elk daarvan kan een foutobject zijn in plaats van scores.
Wat het antwoord bevat
flagged:trueals het model de content als mogelijk schadelijk classificeert, andersfalse.categories: één boolean per categorie, die aangeeft of die categorie wordt geschonden.category_scores: één betrouwbaarheidsscore per categorie, van 0 tot 1. Hoger betekent zekerder.category_applied_input_types: per categorie de inputtypes (tekst, afbeelding) waarop de score van toepassing is.
De 13 categorieën
Stuur je alleen een afbeelding, dan geven categorieën die alleen voor tekst gelden een score van 0.
| Categorie | Wat eronder valt | Input |
|---|---|---|
| harassment | Intimiderende taal tegen wie dan ook. | Tekst |
| harassment/threatening | Intimidatie die ook geweld of ernstige schade tegen wie dan ook omvat. | Tekst |
| hate | Haat op grond van ras, gender, etniciteit, religie, nationaliteit, seksuele geaardheid, handicap of kaste. Haatdragende content tegen niet-beschermde groepen telt als intimidatie. | Tekst |
| hate/threatening | Haatdragende content die ook geweld of ernstige schade tegen de beoogde groep omvat. | Tekst |
| illicit | Advies of instructies over het plegen van illegale handelingen. | Tekst |
| illicit/violent | Illegale content die ook verwijst naar geweld of het verkrijgen van een wapen. | Tekst |
| self-harm | Content die zelfbeschadiging promoot, aanmoedigt of afbeeldt. | Tekst en afbeeldingen |
| self-harm/intent | De spreker geeft aan zichzelf te beschadigen of dat van plan te zijn. | Tekst en afbeeldingen |
| self-harm/instructions | Content die zelfbeschadiging aanmoedigt of uitlegt hoe je het doet. | Tekst en afbeeldingen |
| sexual | Content bedoeld om seksueel op te winden, of die seksuele diensten promoot (seksuele voorlichting en welzijn uitgezonderd). | Tekst en afbeeldingen |
| sexual/minors | Seksuele content waarbij iemand onder de 18 betrokken is. | Tekst |
| violence | Content die dood, geweld of lichamelijk letsel afbeeldt. | Tekst en afbeeldingen |
| violence/graphic | Content die dood, geweld of lichamelijk letsel in expliciet detail afbeeldt. | Tekst en afbeeldingen |
Aandachtspunten
- OpenAI waarschuwt dat eigen beleid dat op
category_scoresleunt, na verloop van tijd opnieuw gekalibreerd moet worden, omdat het model verandert. - Bij inline moderatie zitten de scores niet in gedeeltelijke gestreamde output-delta's.
- Bij tool calls worden de argumenten en de output van tools gemodereerd, maar niet de namen, beschrijvingen en schema's van de tools.
- Stuur bekend of vermoedelijk materiaal van seksueel kindermisbruik niet naar de Moderation API.
Wat de Moderation API aan jou overlaat
Een score is geen moderatiebeslissing. Zodra je hem hebt, moet je nog beslissen waar je de drempel per categorie legt, wat je doet met de reacties daartussen, hoe je regels toepast die specifiek zijn voor je community en hoe je elke verwijdering aan de auteur uitlegt. Onder de Digital Services Act moeten hostingdiensten bij elke verwijdering een motivering geven en vermelden of er geautomatiseerde middelen zijn gebruikt.
OpenModeration voegt die ontbrekende laag toe, bovenop een eigen moderatie-AI die door andere modellen wordt gecontroleerd: regels in gewone taal, twee drempels per categorie met een grijze zone die ons team behandelt, een console waarin je elke beslissing in realtime ziet, een schriftelijke reden bij elke beslissing en een volledige auditlog. Komt er een beter of goedkoper AI-model uit, dan sluiten we het aan, zonder dat er iets aan je integratie verandert.
Bron: OpenAI Moderation guide, geraadpleegd op 20 oktober 2026.
Veelgestelde vragen
Is de OpenAI Moderation API gratis?
Ja. OpenAI geeft aan dat het moderation-endpoint gratis te gebruiken is. Afbeeldingen mogen tot 20 MB groot zijn.
Wat is omni-moderation-latest?
omni-moderation-latest is het huidige moderatiemodel van OpenAI. Het accepteert tekst en afbeeldingen, maar classificeert geen audio.
Welke categorieën detecteert de OpenAI Moderation API?
Dertien: harassment, harassment/threatening, hate, hate/threatening, illicit, illicit/violent, self-harm, self-harm/intent, self-harm/instructions, sexual, sexual/minors, violence en violence/graphic. Zes daarvan gelden ook voor afbeeldingen.
Wat doet de OpenAI Moderation API niet?
Hij geeft scores en markeringen terug, meer niet. Beslissen wat je verbergt, je communityregels opstellen, grensgevallen beoordelen, elke beslissing aan de auteur uitleggen en een audittrail voor de DSA bijhouden laat hij aan jou over. OpenModeration voegt die laag toe, met een eigen moderatie-AI die door andere modellen wordt gecontroleerd en twijfelgevallen die ons team behandelt.