📖 Glossar der Moderation
Was ist ein Konfidenzwert in der Moderation?
Kurz gesagt
Ein Konfidenzwert ist ein Wert, oft zwischen 0 und 1, der angibt, wie sicher ein KI-Modell ist, dass ein Inhalt zu einer Kategorie wie Spam, Beleidigung oder Hassrede gehört.
Moderationsmodelle antworten selten nur mit Ja oder Nein. Sie geben einen Wert pro Kategorie aus, und das System entscheidet, was damit geschieht: oberhalb eines hohen Werts automatisch handeln, im mittleren Bereich an einen Menschen weiterleiten, unterhalb eines niedrigen Werts den Inhalt in Ruhe lassen.
Beispiel: Ein Kommentar erhält 0,97 für Spam, weil er einen bekannten Betrugslink enthält, und wird sofort ausgeblendet. Ein anderer erhält 0,55 für Belästigung, weil er eine harsche Antwort in einem hitzigen Thread ist; er geht an einen Moderator, statt automatisch ausgeblendet zu werden.
Ein Konfidenzwert ist kein Maß für Wahrheit: Ein Modell kann sehr sicher und trotzdem falsch sein, besonders bei Inhalten, die sich von allem unterscheiden, was es bisher gesehen hat. Werte sind nur nützlich mit gut gewählten Schwellenwerten, regelmäßigen Kontrollen der Entscheidungen und menschlicher Prüfung des unsicheren Bereichs.