Moderação de conteúdo para aplicações de IA: guia para desenvolvedores

Toda aplicação com LLM precisa de moderação de conteúdo. A conformidade é um dos motivos. A segurança, a confiança dos usuários e a proteção do seu modelo contra entradas maliciosas são os outros.

Neste guia, vamos tratar dos dois lados da moderação de conteúdo em IA: filtrar o que os usuários enviam ao seu LLM e filtrar o que o seu LLM devolve aos usuários.

Os dois filtros de que todo app de IA precisa

1. Filtragem de entrada

Antes que a entrada do usuário chegue ao seu LLM, você precisa verificar:

• Conteúdo nocivo: discurso de ódio, assédio, ameaças, conteúdo sexual
• Prompt injection: tentativas de sobrescrever o prompt de sistema ou de fazer jailbreak no modelo
• Pedidos ilícitos: instruções para atividades ilegais, fabricação de drogas etc.
• Vazamento de dados pessoais: usuários que compartilham informações pessoais sem querer

2. Filtragem de saída

Antes que a resposta do modelo chegue aos seus usuários, você precisa verificar:

• Conteúdo nocivo gerado: o modelo produzindo discurso de ódio, violência etc.
• Geração de dados pessoais: o modelo gerando sem querer dados pessoais reais ou inventados
• Informações perigosas alucinadas: conselhos médicos, orientação jurídica, recomendações financeiras
• Violações de regras: conteúdo que viola os termos de uso da sua aplicação

Padrões de implementação

Padrão 1: filtragem sequencial (recomendada para a maioria dos apps)

User Input -> Input Moderation -> { if flagged -> reject } -> LLM
LLM Output -> Output Moderation -> { if flagged -> fallback response } -> User

Padrão 2: filtragem em paralelo (para requisitos de baixa latência)

User Input -> Input Moderation + LLM (in parallel)
-> Wait for moderation result
-> If flagged -> discard LLM response & show error
-> If not flagged -> show LLM response after output moderation

Defesa em camadas com vários provedores

Depender de um único provedor de moderação cria um ponto único de falha e pontos cegos. Combinar vários provedores é mais robusto:

• Use a OpenAI Moderation para a detecção geral de conteúdo nocivo
• Use o Llama Guard (hospedado por você) para filtrar entradas sensíveis sem custo e sem nenhum vazamento de dados
• Use um LLM como classificador, com GPT-4o ou Claude, para aplicar políticas personalizadas com uma compreensão rica do contexto

Com o OpenModeration, você não precisa montar essa combinação: a nossa própria IA de moderação analisa o conteúdo em uma única chamada de API, e outros modelos de IA verificam os casos delicados antes da decisão final. Quando sai um modelo melhor ou mais barato, nós o conectamos rapidamente. Nada muda do seu lado.

Boas práticas

1. Modere sempre a entrada e a saída. Cada uma pega um tipo diferente de risco.
2. Use o contexto para ganhar precisão. Envie o histórico da conversa e as informações do autor para que a decisão de moderação seja mais bem informada.
3. Defina limites adequados. Use limites mais baixos para as categorias de alto risco (menores, automutilação) e mais altos para as de baixo risco (spam).
4. Registre tudo para auditoria. Você precisa provar que a sua moderação funciona, sobretudo em setores regulados.
5. Teste com entradas maliciosas. Passe regularmente prompts de jailbreak conhecidos pelo seu pipeline de moderação.