📖 Glossar der Moderation
Was ist Human-in-the-Loop-Moderation?
Kurz gesagt
Human-in-the-Loop (HITL) bezeichnet ein automatisiertes System, in dem ein Mensch einen Teil der Entscheidungen der Maschine prüft, bestätigt oder korrigiert, typischerweise die unsicheren, heiklen oder angefochtenen.
In der Moderation bedeutet Human-in-the-Loop, dass die KI nicht überall das letzte Wort hat. Fälle unterhalb einer Konfidenzschwelle oder in heiklen Kategorien wie Drohungen oder Selbstverletzung werden an einen Menschen weitergeleitet, der den Inhalt, seinen Kontext und den Grund sieht, aus dem das System ihn markiert hat.
Beispiel: Ein Kommentar sagt, man solle einen Politiker bei der nächsten Wahl abschießen. Ein wortbasiertes System könnte eine Drohung erkennen; ein Mensch versteht sofort die Redewendung und lässt den Kommentar sichtbar.
Menschliche Prüfung zählt auch rechtlich und für den Ruf. Der Digital Services Act verpflichtet Online-Plattformen, Beschwerden gegen Moderationsentscheidungen unter der Aufsicht angemessen qualifizierten Personals und nicht ausschließlich automatisiert zu bearbeiten (Artikel 20). Bei OpenModeration werden Zweifelsfälle und angefochtene Entscheidungen von unserem Team geprüft, und Sie sehen jede Entscheidung in Echtzeit in einer Konsole.