📖 Glosario de moderación
¿Qué es una puntuación de confianza en moderación?
En resumen
Una puntuación de confianza es un valor, a menudo entre 0 y 1, que indica hasta qué punto un modelo de IA está seguro de que un contenido pertenece a una categoría como spam, insulto o discurso de odio.
Los modelos de moderación rara vez responden solo sí o no. Devuelven una puntuación por categoría, y el sistema decide qué hacer con ella: actuar automáticamente por encima de una puntuación alta, enviar a una persona en la zona intermedia y dejar el contenido tranquilo por debajo de una puntuación baja.
Ejemplo: un comentario obtiene 0,97 en spam porque contiene un enlace fraudulento conocido, así que se oculta al instante. Otro obtiene 0,55 en acoso porque es una respuesta dura en un hilo acalorado; va a un moderador en lugar de ocultarse automáticamente.
Una puntuación de confianza no mide la verdad: un modelo puede estar muy seguro y equivocarse, sobre todo con contenido distinto de lo que ha visto antes. Las puntuaciones solo son útiles con umbrales bien elegidos, comprobaciones periódicas de las decisiones y revisión humana de la zona de incertidumbre.