📖 Słownik moderacji
Czym jest wskaźnik pewności w moderacji?
W skrócie
Wskaźnik pewności (confidence score) to wartość, często z przedziału od 0 do 1, która określa, na ile model AI jest pewny, że treść należy do danej kategorii, takiej jak spam, obelga czy mowa nienawiści.
Modele moderacyjne rzadko odpowiadają po prostu tak lub nie. Zwracają wynik dla każdej kategorii, a system decyduje, co z nim zrobić: działać automatycznie powyżej wysokiego wyniku, kierować do człowieka w przedziale pośrednim, pozostawić treść bez zmian poniżej niskiego wyniku.
Przykład: komentarz otrzymuje 0,97 w kategorii spam, ponieważ zawiera znany link do oszustwa, więc zostaje od razu ukryty. Inny otrzymuje 0,55 w kategorii nękanie, bo jest ostrą odpowiedzią w gorącej dyskusji; trafia do moderatora, zamiast zostać ukryty automatycznie.
Wskaźnik pewności nie jest miarą prawdy: model może być bardzo pewny i się mylić, zwłaszcza w przypadku treści niepodobnych do tych, które widział wcześniej. Wyniki są przydatne tylko przy dobrze dobranych progach, regularnej kontroli decyzji i weryfikacji strefy niepewności przez ludzi.