📖 Woordenlijst moderatie
Wat is een betrouwbaarheidsscore in moderatie?
Kort gezegd
Een betrouwbaarheidsscore (confidence score) is een waarde, vaak tussen 0 en 1, die aangeeft hoe zeker een AI-model is dat een stuk content tot een categorie behoort, zoals spam, belediging of haatzaaiende taal.
Moderatiemodellen antwoorden zelden alleen met ja of nee. Ze geven een score per categorie, en het systeem bepaalt wat ermee gebeurt: automatisch ingrijpen boven een hoge score, doorsturen naar een mens in het midden, de content met rust laten onder een lage score.
Voorbeeld: een reactie krijgt 0,97 voor spam omdat ze een bekende oplichtingslink bevat, en wordt dus meteen verborgen. Een andere krijgt 0,55 voor intimidatie omdat het een fel antwoord is in een verhitte discussie; die gaat naar een moderator in plaats van automatisch te worden verborgen.
Een betrouwbaarheidsscore is geen maat voor de waarheid: een model kan heel zeker zijn en toch ongelijk hebben, vooral bij content die afwijkt van wat het eerder heeft gezien. Scores zijn alleen nuttig met goed gekozen drempels, regelmatige controle van de beslissingen en menselijke beoordeling van de onzekere zone.