📖 Glossário de moderação
O que é arbitragem entre modelos?
Em resumo
Arbitragem entre modelos é uma técnica em que vários modelos de IA analisam o mesmo conteúdo e seus veredictos são comparados, para que uma decisão de moderação em um caso delicado não dependa do julgamento de um único modelo.
Todo modelo de IA tem pontos cegos. Pedir a um segundo ou terceiro modelo que analise um comentário limítrofe, e comparar as respostas, detecta muitos desses erros. Quando os modelos concordam, a confiança na decisão é maior; quando discordam, é um forte sinal de que o caso é ambíguo.
Exemplo: um comentário usa uma palavra que é um insulto em um contexto e um termo reapropriado em outro. O primeiro modelo a sinaliza como discurso de ódio, o segundo a lê como neutra. Em vez de escolher um ao acaso, o sistema trata a divergência como dúvida e envia o comentário a um moderador humano.
A arbitragem costuma ser reservada aos casos delicados, já que rodar vários modelos em cada comentário seria lento e caro. A OpenModeration usa sua própria IA de moderação e faz a verificação cruzada dos casos delicados com outros modelos de IA; novos modelos são integrados assim que são lançados, e os casos que continuam incertos são tratados pela equipe da OpenModeration.