📖 Glossario della moderazione
Che cos'è un punteggio di confidenza nella moderazione?
In breve
Un punteggio di confidenza è un valore, spesso compreso tra 0 e 1, che indica quanto un modello di IA è certo che un contenuto appartenga a una categoria come spam, insulto o discorso d'odio.
I modelli di moderazione raramente rispondono solo sì o no. Restituiscono un punteggio per categoria, e il sistema decide cosa farne: agire automaticamente sopra un punteggio alto, inviare a una persona nella fascia intermedia, lasciare stare il contenuto sotto un punteggio basso.
Esempio: un commento ottiene 0,97 per lo spam perché contiene un link truffa noto, e viene nascosto subito. Un altro ottiene 0,55 per la molestia perché è una risposta dura in una discussione accesa; va a un moderatore invece di essere nascosto automaticamente.
Un punteggio di confidenza non è una misura della verità: un modello può essere molto sicuro e sbagliare, soprattutto su contenuti diversi da quelli che ha già visto. I punteggi sono utili solo con soglie ben scelte, controlli regolari delle decisioni ed esame umano della zona di incertezza.