Moderación de contenido para aplicaciones de IA: guía para desarrolladores

Toda aplicación basada en un LLM necesita moderación de contenido: por cumplimiento normativo, por seguridad, por la confianza de tus usuarios y para proteger tu modelo frente a entradas maliciosas.

En esta guía abordamos las dos caras de la moderación de contenido con IA: filtrar lo que los usuarios envían a tu LLM y filtrar lo que tu LLM devuelve a los usuarios.

Los dos filtros que necesita toda aplicación de IA

1. Filtrado de entradas

Antes de que la entrada del usuario llegue a tu LLM, tienes que comprobar:

• Contenido dañino: discurso de odio, acoso, amenazas, contenido sexual
• Inyección de prompts: intentos de anular el prompt de sistema o de hacer un jailbreak al modelo
• Peticiones ilícitas: instrucciones para actividades ilegales, fabricación de drogas, etc.
• Fuga de datos personales: usuarios que comparten información personal sin darse cuenta

2. Filtrado de salidas

Antes de que la respuesta del modelo llegue a tus usuarios, tienes que comprobar:

• Contenido dañino generado: el modelo produce discurso de odio, violencia, etc.
• Generación de datos personales: el modelo genera por accidente datos personales reales o inventados
• Información peligrosa alucinada: consejos médicos, asesoramiento jurídico, recomendaciones financieras
• Infracciones de tus políticas: contenido que vulnera las condiciones de servicio de tu aplicación

Patrones de implementación

Patrón 1: filtrado secuencial (recomendado para la mayoría de las aplicaciones)

Entrada del usuario -> Moderación de la entrada -> { si se marca -> rechazar } -> LLM
Salida del LLM -> Moderación de la salida -> { si se marca -> respuesta alternativa } -> Usuario

Patrón 2: filtrado en paralelo (cuando necesitas baja latencia)

Entrada del usuario -> Moderación de la entrada + LLM (en paralelo)
-> Esperar el resultado de la moderación
-> Si se marca -> descartar la respuesta del LLM y mostrar un error
-> Si no se marca -> mostrar la respuesta del LLM tras moderar la salida

Defensa en profundidad con varios proveedores

Depender de un único proveedor de moderación crea un punto único de fallo y deja zonas ciegas. Un enfoque por capas resiste mejor:

• Usa OpenAI Moderation para detectar contenido dañino en general
• Usa Llama Guard (autoalojado) para filtrar las entradas sensibles sin coste y sin que ningún dato salga de tu infraestructura
• Usa un LLM como clasificador, con GPT-4o o Claude, para aplicar políticas propias con una comprensión rica del contexto

Con OpenModeration no tienes que montar estas capas tú mismo: una sola llamada a la API pasa el contenido por nuestra propia IA de moderación y, en los casos delicados, otros modelos de IA arbitran la decisión antes de aplicarla. Cuando sale un modelo mejor o más barato, lo conectamos rápido, sin que cambie nada por tu parte.

Buenas prácticas

1. Modera siempre la entrada y la salida: cada una detecta tipos de riesgo distintos.
2. Aporta contexto para ganar precisión: pasa el historial de la conversación y la información del autor para mejorar las decisiones de moderación.
3. Ajusta bien los umbrales: umbrales más bajos para las categorías de alto riesgo (menores, autolesiones) y más altos para las de bajo riesgo (spam).
4. Regístralo todo para poder auditarlo: tienes que demostrar que tu moderación funciona, sobre todo en sectores regulados.
5. Prueba con entradas maliciosas: pon a prueba tu cadena de moderación de forma periódica con prompts de jailbreak conocidos.