📖 Glossario della moderazione
Che cos'è l'arbitraggio tra modelli?
In breve
L'arbitraggio tra modelli è una tecnica in cui più modelli di IA analizzano lo stesso contenuto e i loro verdetti vengono confrontati, così che una decisione di moderazione su un caso delicato non dipenda dal giudizio di un solo modello.
Ogni modello di IA ha i suoi punti ciechi. Chiedere a un secondo o a un terzo modello di esaminare un commento al limite, e confrontarne le risposte, intercetta molti di questi errori. Quando i modelli concordano, la fiducia nella decisione è maggiore; quando non concordano, è un segnale forte che il caso è ambiguo.
Esempio: un commento usa una parola che in un contesto è un insulto e in un altro un termine rivendicato. Il primo modello la classifica come discorso d'odio, il secondo la legge come neutra. Invece di sceglierne uno a caso, il sistema tratta il disaccordo come un dubbio e invia il commento a un moderatore umano.
L'arbitraggio è di solito riservato ai casi delicati, perché far girare più modelli su ogni commento sarebbe lento e costoso. OpenModeration usa una propria IA di moderazione e verifica i casi delicati con altri modelli di IA; i nuovi modelli vengono integrati man mano che escono e i casi che restano incerti sono gestiti dal team di OpenModeration.