📖 Glossario della moderazione
Che cos'è la moderazione con IA?
In breve
La moderazione con IA è l'uso di modelli di intelligenza artificiale, come classificatori e modelli linguistici di grandi dimensioni, per comprendere i contenuti degli utenti nel loro contesto e decidere o suggerire se violano le regole di moderazione.
A differenza degli elenchi di parole chiave, i modelli di IA leggono un commento nel suo insieme: sanno distinguere un insulto da una citazione, una critica da una molestia, una battuta tra habitué da una minaccia. I modelli linguistici di grandi dimensioni possono anche applicare regole scritte in linguaggio naturale, come le linee guida della community di un brand.
Esempio: il commento “questo prodotto è una truffa totale, rivoglio i miei soldi” è una lamentela, non una truffa. Un buon sistema di moderazione con IA lo lascia visibile e può segnalarlo al servizio clienti, mentre nasconde come spam “clicca qui per ricevere il tuo iPhone gratis”.
L'IA commette comunque errori, può essere incoerente sui casi limite e ha bisogno di salvaguardie: regole chiare, soglie, esame umano dei casi dubbi e una motivazione scritta per ogni decisione.
OpenModeration usa una propria IA di moderazione, adattata alle regole e ai casi d'uso di ciascun cliente, e verifica i casi delicati incrociandoli con altri modelli di IA. I nuovi modelli vengono integrati man mano che escono.