📖 Glosario de moderación
¿Qué es la moderación con IA?
En resumen
La moderación con IA es el uso de modelos de inteligencia artificial, como clasificadores y grandes modelos de lenguaje, para entender en contexto el contenido de los usuarios y decidir o sugerir si infringe las normas de moderación.
A diferencia de las listas de palabras clave, los modelos de IA leen un comentario en su conjunto: distinguen entre un insulto y una cita, entre la crítica y el acoso, o entre una broma entre habituales y una amenaza. Los grandes modelos de lenguaje también pueden aplicar normas escritas en lenguaje corriente, como las normas de comunidad de una marca.
Ejemplo: el comentario «este producto es una estafa total, quiero que me devuelvan el dinero» es una queja, no una estafa. Un buen sistema de moderación con IA lo deja visible y puede señalarlo al servicio de atención al cliente, mientras oculta como spam «haz clic aquí para reclamar tu iPhone gratis».
La IA sigue cometiendo errores, puede ser incoherente en los casos límite y necesita salvaguardas: normas claras, umbrales, revisión humana de los casos dudosos y un motivo por escrito para cada decisión.
OpenModeration usa su propia IA de moderación, adaptada a las normas y casos de uso de cada cliente, y contrasta los casos delicados con otros modelos de IA. Los nuevos modelos se incorporan a medida que salen.