📖 Glossário de moderação
O que é uma pontuação de confiança na moderação?
Em resumo
Uma pontuação de confiança é um valor, muitas vezes entre 0 e 1, que indica o quanto um modelo de IA tem certeza de que um conteúdo pertence a uma categoria como spam, insulto ou discurso de ódio.
Os modelos de moderação raramente respondem apenas sim ou não. Eles geram uma pontuação por categoria, e o sistema decide o que fazer com ela: agir automaticamente acima de uma pontuação alta, enviar a uma pessoa na faixa intermediária, deixar o conteúdo como está abaixo de uma pontuação baixa.
Exemplo: um comentário recebe 0,97 em spam porque contém um link de golpe conhecido, então é ocultado na hora. Outro recebe 0,55 em assédio porque é uma resposta dura em uma discussão acalorada; ele vai para um moderador em vez de ser ocultado automaticamente.
Uma pontuação de confiança não é uma medida da verdade: um modelo pode estar muito confiante e errado, sobretudo diante de conteúdos diferentes dos que já viu. As pontuações só são úteis com limites bem escolhidos, verificações regulares das decisões e revisão humana da zona de incerteza.