📖 Słownik moderacji
Czym jest moderacja z użyciem AI?
W skrócie
Moderacja z użyciem AI to wykorzystanie modeli sztucznej inteligencji, takich jak klasyfikatory i duże modele językowe, do rozumienia treści użytkowników w kontekście oraz decydowania lub sugerowania, czy naruszają one zasady moderacji.
W przeciwieństwie do list słów kluczowych modele AI czytają komentarz w całości: odróżniają obelgę od cytatu, krytykę od nękania czy żart między stałymi bywalcami od groźby. Duże modele językowe potrafią też stosować zasady zapisane zwykłym językiem, takie jak regulamin społeczności marki.
Przykład: komentarz „ten produkt to totalne oszustwo, chcę zwrotu pieniędzy” jest reklamacją, a nie oszustwem. Dobry system moderacji AI pozostawia go widocznym i może przekazać go do obsługi klienta, a jednocześnie ukrywa jako spam „kliknij tutaj, aby odebrać darmowego iPhone’a”.
AI nadal popełnia błędy, bywa niespójna w przypadkach granicznych i wymaga zabezpieczeń: jasnych zasad, progów, weryfikacji wątpliwych przypadków przez ludzi i pisemnego uzasadnienia każdej decyzji.
OpenModeration korzysta z własnej AI do moderacji, dostosowanej do zasad i przypadków użycia każdego klienta, a delikatne przypadki weryfikuje krzyżowo innymi modelami AI. Nowe modele są dołączane w miarę ich pojawiania się.