📖 Glossar der Moderation
Was ist KI-Moderation?
Kurz gesagt
KI-Moderation ist der Einsatz von Modellen künstlicher Intelligenz, etwa Klassifikatoren und großen Sprachmodellen, um Nutzerinhalte im Kontext zu verstehen und zu entscheiden oder vorzuschlagen, ob sie gegen Moderationsregeln verstoßen.
Anders als Wortlisten lesen KI-Modelle einen Kommentar als Ganzes: Sie können eine Beleidigung von einem Zitat unterscheiden, Kritik von Belästigung oder einen Witz unter Stammnutzern von einer Drohung. Große Sprachmodelle können zudem Regeln in Alltagssprache anwenden, etwa die Community-Richtlinien einer Marke.
Beispiel: Der Kommentar „Dieses Produkt ist totaler Betrug, ich will mein Geld zurück“ ist eine Beschwerde, kein Betrug. Ein gutes KI-Moderationssystem lässt ihn sichtbar und meldet ihn eventuell dem Kundenservice, während es „Klick hier für dein kostenloses iPhone“ als Spam ausblendet.
KI macht dennoch Fehler, kann bei Grenzfällen inkonsistent sein und braucht Schutzmechanismen: klare Regeln, Schwellenwerte, menschliche Prüfung von Zweifelsfällen und eine schriftliche Begründung für jede Entscheidung.
OpenModeration nutzt eine eigene Moderations-KI, die an die Regeln und Anwendungsfälle jedes Kunden angepasst ist, und gleicht heikle Fälle mit anderen KI-Modellen ab. Neue Modelle werden eingebunden, sobald sie erscheinen.