OpenAI Moderation API: omni-moderation-latest, kategorie, cena i ograniczenia
OpenAI Moderation API informuje, czy tekst lub obraz jest potencjalnie szkodliwy i do jakiej kategorii należy. Jest darmowe, szybkie w użyciu i często stanowi pierwszy krok dla zespołów, które muszą moderować treści użytkowników. Ten poradnik podsumowuje, co wykrywa, co zwraca i co pozostaje do zbudowania po Twojej stronie.
W skrócie
- Model:
omni-moderation-latest, który przyjmuje tekst i obrazy. Nie klasyfikuje dźwięku. - Cena: bezpłatnie. OpenAI podaje, że „endpoint moderacji jest bezpłatny”, a pliki graficzne mogą mieć do 20 MB.
- Wynik: wartość logiczna
flaggedoraz, dla każdej kategorii, wartość logiczna i wynik pewności od 0 do 1. - Kategorie: 13, z czego sześć dotyczy również obrazów.
Jak wywołać API
Wyślij żądanie POST do endpointu /v1/moderations z nazwą modelu i danymi wejściowymi.
curl https://api.openai.com/v1/moderations -H "Content-Type: application/json" -H "Authorization: Bearer $OPENAI_API_KEY" -d '{
"model": "omni-moderation-latest",
"input": "Komentarz, który chcesz sprawdzić"
}'
Można też włączyć moderację inline za pomocą parametru moderation w
Responses API. Wtedy wynik zawiera osobne sekcje input i
output, a każda z nich może być obiektem błędu zamiast wyników.
Co zawiera odpowiedź
flagged:true, jeśli model uznaje treść za potencjalnie szkodliwą, w przeciwnym raziefalse.categories: jedna wartość logiczna na kategorię, wskazująca, czy kategoria została naruszona.category_scores: jeden wynik pewności na kategorię, od 0 do 1. Wyższy oznacza większą pewność.category_applied_input_types: dla każdej kategorii typy danych wejściowych (tekst, obraz), których dotyczy wynik.
13 kategorii
Gdy wysyłasz sam obraz, kategorie wyłącznie tekstowe zwracają wynik 0.
| Kategoria | Zakres | Dane wejściowe |
|---|---|---|
| harassment | Język nękający wobec dowolnego celu. | Tekst |
| harassment/threatening | Nękanie, które zawiera też przemoc lub poważną krzywdę wobec dowolnego celu. | Tekst |
| hate | Nienawiść ze względu na rasę, płeć, pochodzenie etniczne, religię, narodowość, orientację seksualną, niepełnosprawność lub kastę. Nienawistne treści wobec grup niechronionych są traktowane jako nękanie. | Tekst |
| hate/threatening | Nienawistne treści, które zawierają też przemoc lub poważną krzywdę wobec atakowanej grupy. | Tekst |
| illicit | Porady lub instrukcje, jak popełnić czyny niedozwolone. | Tekst |
| illicit/violent | Treści niedozwolone, które odnoszą się też do przemocy lub zdobycia broni. | Tekst |
| self-harm | Treści promujące, zachęcające do samookaleczeń lub je przedstawiające. | Tekst i obrazy |
| self-harm/intent | Autor deklaruje, że się samookalecza lub zamierza to zrobić. | Tekst i obrazy |
| self-harm/instructions | Treści zachęcające do samookaleczeń lub instruujące, jak je wykonać. | Tekst i obrazy |
| sexual | Treści mające wywołać podniecenie seksualne lub promujące usługi seksualne (z wyłączeniem edukacji seksualnej i zdrowia). | Tekst i obrazy |
| sexual/minors | Treści seksualne z udziałem osoby poniżej 18 lat. | Tekst |
| violence | Treści przedstawiające śmierć, przemoc lub obrażenia fizyczne. | Tekst i obrazy |
| violence/graphic | Treści przedstawiające śmierć, przemoc lub obrażenia fizyczne w drastycznych szczegółach. | Tekst i obrazy |
O czym warto pamiętać
- OpenAI ostrzega, że własne polityki oparte na
category_scoresmogą z czasem wymagać ponownej kalibracji, w miarę jak model się zmienia. - Przy moderacji inline wyniki nie są dołączane do częściowych fragmentów odpowiedzi przesyłanych strumieniowo.
- Przy wywołaniach narzędzi moderowane są argumenty i wyniki narzędzi, ale nie ich nazwy, opisy ani schematy.
- Nie wysyłaj do Moderation API materiałów przedstawiających seksualne wykorzystywanie dzieci, ani znanych, ani podejrzewanych.
Co Moderation API pozostawia po Twojej stronie
Wynik to jeszcze nie decyzja moderacyjna. Mając go, trzeba nadal ustalić próg dla każdej kategorii, co zrobić z komentarzami pomiędzy, jak stosować zasady właściwe dla Twojej społeczności i jak wyjaśnić każde usunięcie autorowi. Zgodnie z aktem o usługach cyfrowych (DSA) dostawcy usług hostingu muszą przy każdym usunięciu przedstawić uzasadnienie i wskazać, czy użyto środków zautomatyzowanych.
OpenModeration dodaje tę brakującą warstwę na bazie własnej AI do moderacji, weryfikowanej przez inne modele: zasady zapisane zwykłym językiem, dwa progi na kategorię ze strefą szarą weryfikowaną przez nasz zespół, konsolę, w której widzisz każdą decyzję w czasie rzeczywistym, pisemne uzasadnienie każdej decyzji i kompletny log audytowy. Gdy pojawia się lepszy lub tańszy model AI, podłączamy go bez żadnych zmian w Twojej integracji.
Źródło: przewodnik OpenAI Moderation, stan na 20 października 2026.
Najczęstsze pytania
Czy OpenAI Moderation API jest darmowe?
Tak. OpenAI podaje, że endpoint moderacji jest bezpłatny. Obrazy wejściowe mogą mieć do 20 MB.
Czym jest omni-moderation-latest?
omni-moderation-latest to aktualny model moderacji OpenAI. Przyjmuje tekst i obrazy, ale nie klasyfikuje dźwięku.
Jakie kategorie wykrywa OpenAI Moderation API?
Trzynaście: harassment, harassment/threatening, hate, hate/threatening, illicit, illicit/violent, self-harm, self-harm/intent, self-harm/instructions, sexual, sexual/minors, violence i violence/graphic. Sześć z nich dotyczy również obrazów.
Czego OpenAI Moderation API nie robi?
Zwraca wyniki i flagi, nic więcej. Decyzja, co ukryć, spisanie zasad społeczności, weryfikacja przypadków granicznych, wyjaśnienie każdej decyzji autorowi i prowadzenie ścieżki audytu na potrzeby DSA pozostają po Twojej stronie. OpenModeration dodaje tę warstwę, z własną AI do moderacji weryfikowaną przez inne modele i wątpliwymi przypadkami obsługiwanymi przez nasz zespół.