📖 Glossário de moderação
O que é moderação por IA?
Em resumo
Moderação por IA é o uso de modelos de inteligência artificial, como classificadores e grandes modelos de linguagem, para entender o conteúdo dos usuários no contexto e decidir ou sugerir se ele viola as regras de moderação.
Ao contrário das listas de palavras-chave, os modelos de IA leem um comentário como um todo: conseguem distinguir um insulto de uma citação, uma crítica de um assédio, ou uma brincadeira entre frequentadores de uma ameaça. Os grandes modelos de linguagem também conseguem aplicar regras escritas em linguagem comum, como as diretrizes de comunidade de uma marca.
Exemplo: o comentário "esse produto é um golpe total, quero meu dinheiro de volta" é uma reclamação, não um golpe. Um bom sistema de moderação por IA o deixa visível e pode sinalizá-lo ao atendimento ao cliente, enquanto oculta "clique aqui para resgatar seu iPhone grátis" como spam.
A IA ainda comete erros, pode ser inconsistente em casos-limite e precisa de salvaguardas: regras claras, limites, revisão humana dos casos duvidosos e uma justificativa por escrito para cada decisão.
A OpenModeration usa sua própria IA de moderação, adaptada às regras e aos casos de uso de cada cliente, e faz a verificação cruzada dos casos delicados com outros modelos de IA. Novos modelos são integrados assim que são lançados.