📖 Glosario de moderación
¿Qué es el arbitraje entre modelos?
En resumen
El arbitraje entre modelos es una técnica en la que varios modelos de IA analizan el mismo contenido y se comparan sus veredictos, para que una decisión de moderación en un caso delicado no dependa del juicio de un solo modelo.
Todo modelo de IA tiene puntos ciegos. Pedir a un segundo o tercer modelo que revise un comentario límite, y comparar sus respuestas, detecta muchos de esos errores. Cuando los modelos coinciden, la confianza en la decisión es mayor; cuando discrepan, es una señal clara de que el caso es ambiguo.
Ejemplo: un comentario usa una palabra que es un insulto en un contexto y un término reapropiado en otro. El primer modelo lo marca como discurso de odio; el segundo lo lee como neutro. En lugar de elegir uno al azar, el sistema trata la discrepancia como duda y envía el comentario a un moderador humano.
El arbitraje suele reservarse a los casos delicados, ya que ejecutar varios modelos sobre cada comentario sería lento y costoso. OpenModeration usa su propia IA de moderación y contrasta los casos delicados con otros modelos de IA; los nuevos modelos se incorporan a medida que salen, y los casos que siguen siendo inciertos los gestiona el equipo de OpenModeration.