OpenAI Moderation API: omni-moderation-latest, Kategorien, Kosten und Grenzen
Die OpenAI Moderation API sagt Ihnen, ob ein Text oder ein Bild potenziell schädlich ist und in welche Kategorie er fällt. Sie ist kostenlos, schnell aufgerufen und für viele Teams, die Nutzerinhalte moderieren müssen, der erste Schritt. Dieser Leitfaden fasst zusammen, was sie erkennt, was sie zurückgibt und was Sie selbst noch bauen müssen.
Das Wichtigste in Kürze
- Modell:
omni-moderation-latest, das Text und Bilder verarbeitet. Audio klassifiziert es nicht. - Preis: kostenlos. OpenAI schreibt, dass „die Nutzung des Moderation-Endpoints kostenlos ist“, und Bilddateien dürfen bis zu 20 MB groß sein.
- Ausgabe: ein boolescher Wert
flaggedsowie pro Kategorie ein boolescher Wert und ein Konfidenzscore zwischen 0 und 1. - Kategorien: 13, von denen sechs auch für Bilder gelten.
So rufen Sie die API auf
Senden Sie einen POST-Request an den Endpoint /v1/moderations mit dem Modellnamen und Ihrem Inhalt.
curl https://api.openai.com/v1/moderations -H "Content-Type: application/json" -H "Authorization: Bearer $OPENAI_API_KEY" -d '{
"model": "omni-moderation-latest",
"input": "Der Kommentar, den Sie prüfen möchten"
}'
Sie können die Moderation auch inline über den Parameter moderation der Responses API
aktivieren. Das Ergebnis enthält dann getrennte Abschnitte input und
output, und jeder davon kann statt Scores ein Fehlerobjekt sein.
Was die Antwort enthält
flagged:true, wenn das Modell den Inhalt als potenziell schädlich einstuft, andernfallsfalse.categories: ein boolescher Wert pro Kategorie, der angibt, ob gegen diese Kategorie verstoßen wird.category_scores: ein Konfidenzscore pro Kategorie von 0 bis 1. Je höher der Wert, desto sicherer ist sich das Modell.category_applied_input_types: für jede Kategorie, auf welche Eingabetypen (Text, Bild) sich der Score bezieht.
Die 13 Kategorien
Wenn Sie nur ein Bild senden, liefern reine Textkategorien einen Score von 0.
| Kategorie | Was sie abdeckt | Eingaben |
|---|---|---|
| harassment | Belästigende Sprache gegenüber einem beliebigen Ziel. | Text |
| harassment/threatening | Belästigung, die zusätzlich Gewalt oder schweren Schaden gegenüber einem beliebigen Ziel umfasst. | Text |
| hate | Hass aufgrund von Rasse, Geschlecht, ethnischer Herkunft, Religion, Nationalität, sexueller Orientierung, Behinderung oder Kaste. Hasserfüllte Inhalte gegen nicht geschützte Gruppen gelten als Belästigung. | Text |
| hate/threatening | Hasserfüllte Inhalte, die zusätzlich Gewalt oder schweren Schaden gegenüber der angegriffenen Gruppe umfassen. | Text |
| illicit | Ratschläge oder Anleitungen zur Begehung rechtswidriger Handlungen. | Text |
| illicit/violent | Rechtswidrige Inhalte, die sich zusätzlich auf Gewalt oder die Beschaffung einer Waffe beziehen. | Text |
| self-harm | Inhalte, die Selbstverletzung fördern, dazu ermutigen oder sie darstellen. | Text und Bilder |
| self-harm/intent | Die sprechende Person äußert, dass sie sich selbst verletzt oder dies vorhat. | Text und Bilder |
| self-harm/instructions | Inhalte, die zur Selbstverletzung ermutigen oder Anleitungen dazu geben. | Text und Bilder |
| sexual | Inhalte, die sexuelle Erregung hervorrufen sollen oder sexuelle Dienstleistungen bewerben (ausgenommen Sexualaufklärung und Wellness). | Text und Bilder |
| sexual/minors | Sexuelle Inhalte, an denen eine Person unter 18 Jahren beteiligt ist. | Text |
| violence | Inhalte, die Tod, Gewalt oder körperliche Verletzungen darstellen. | Text und Bilder |
| violence/graphic | Inhalte, die Tod, Gewalt oder körperliche Verletzungen drastisch und detailliert darstellen. | Text und Bilder |
Worauf Sie achten sollten
- OpenAI weist darauf hin, dass eigene Richtlinien, die auf
category_scoresberuhen, im Lauf der Zeit neu kalibriert werden müssen, wenn sich das Modell weiterentwickelt. - Bei der Inline-Moderation sind die Scores nicht in den partiellen Deltas der gestreamten Ausgabe enthalten.
- Bei Tool-Aufrufen werden Argumente und Tool-Ausgaben moderiert, nicht aber Tool-Namen, Beschreibungen und Schemas.
- Senden Sie keine bekannten oder mutmaßlichen Darstellungen sexuellen Kindesmissbrauchs an die Moderation API.
Was die Moderation API Ihnen überlässt
Ein Score ist noch keine Moderationsentscheidung. Sobald Sie ihn haben, müssen Sie weiterhin festlegen, wo der Schwellenwert jeder Kategorie liegt, was mit den Kommentaren dazwischen passiert, wie Sie die Regeln Ihrer eigenen Community anwenden und wie Sie jede Entfernung gegenüber dem Verfasser begründen. Nach dem Digital Services Act müssen Hostingdienste für jede Entfernung eine Begründung liefern und angeben, ob automatisierte Mittel eingesetzt wurden.
OpenModeration liefert die fehlende Ebene: eine eigene Moderations-KI, nach Ihren Regeln und Ihren Anwendungsfällen eingerichtet und in heiklen Fällen von weiteren KI-Modellen gegengeprüft, zwei Schwellenwerte pro Kategorie, eine schriftliche Begründung für jede Entscheidung und ein vollständiges Prüfprotokoll. Zweifelsfälle übernimmt unser Team; in der Moderationskonsole sehen Sie jede Entscheidung in Echtzeit und können jederzeit eingreifen. Kommt ein besseres oder günstigeres KI-Modell heraus, binden wir es schnell an. Für Sie ändert sich nichts.
Quelle: Moderation-Leitfaden von OpenAI (auf Englisch), abgerufen am 20. Oktober 2026.
Häufige Fragen
Ist die OpenAI Moderation API kostenlos?
Ja. Laut OpenAI ist die Nutzung des Moderation-Endpoints kostenlos. Bilder dürfen bis zu 20 MB groß sein.
Was ist omni-moderation-latest?
omni-moderation-latest ist das aktuelle Moderationsmodell von OpenAI. Es verarbeitet Text und Bilder, klassifiziert aber kein Audio.
Welche Kategorien erkennt die OpenAI Moderation API?
Dreizehn: harassment, harassment/threatening, hate, hate/threatening, illicit, illicit/violent, self-harm, self-harm/intent, self-harm/instructions, sexual, sexual/minors, violence und violence/graphic. Sechs davon gelten auch für Bilder.
Was leistet die OpenAI Moderation API nicht?
Sie liefert Scores und Markierungen, mehr nicht. Zu entscheiden, was ausgeblendet wird, die Regeln Ihrer Community zu formulieren, Grenzfälle zu prüfen, jede Entscheidung gegenüber dem Verfasser zu begründen und einen Audit-Trail für den DSA zu führen, bleibt Ihre Aufgabe. OpenModeration übernimmt genau diese Ebene mit einer eigenen Moderations-KI, die in heiklen Fällen von weiteren KI-Modellen gegengeprüft wird.