📖 Słownik moderacji
Czym jest arbitraż między modelami?
W skrócie
Arbitraż między modelami to technika, w której kilka modeli AI analizuje tę samą treść, a ich werdykty są porównywane, tak aby decyzja moderacyjna w delikatnym przypadku nie opierała się na ocenie jednego modelu.
Każdy model AI ma swoje martwe pola. Poproszenie drugiego lub trzeciego modelu o ocenę granicznego komentarza i porównanie odpowiedzi pozwala wychwycić wiele takich błędów. Gdy modele są zgodne, zaufanie do decyzji jest większe; gdy się różnią, to wyraźny sygnał, że przypadek jest niejednoznaczny.
Przykład: komentarz zawiera słowo, które w jednym kontekście jest obelgą, a w innym określeniem odzyskanym przez daną społeczność. Pierwszy model oznacza je jako mowę nienawiści, drugi odczytuje jako neutralne. Zamiast wybierać losowo, system traktuje rozbieżność jako wątpliwość i kieruje komentarz do moderatora.
Arbitraż stosuje się zwykle tylko w delikatnych przypadkach, ponieważ uruchamianie kilku modeli dla każdego komentarza byłoby wolne i kosztowne. OpenModeration korzysta z własnej AI do moderacji i weryfikuje delikatne przypadki innymi modelami AI; nowe modele są dołączane w miarę ich pojawiania się, a przypadki, które pozostają niepewne, obsługuje zespół OpenModeration.