📖 Glossar der Moderation
Was ist automatisierte Moderation?
Kurz gesagt
Automatisierte Moderation ist der Einsatz von Software (Wortfilter, Regeln, Machine-Learning- oder Sprachmodelle), um Nutzerinhalte zu analysieren und eine Moderationsentscheidung zu treffen oder vorzuschlagen, ohne dass ein Mensch jeden einzelnen Inhalt prüft.
Die älteste Form automatisierter Moderation ist die Wortliste: Jeder Kommentar mit einem verbotenen Wort wird blockiert. Das ist einfach, aber grob, denn sie übersieht Beleidigungen mit Schreibtricks und blockiert harmlose Sätze, die zufällig ein gelistetes Wort enthalten. Moderne Systeme nutzen KI-Modelle, die den ganzen Satz und seinen Kontext lesen.
Beispiel: Ein YouTube-Kanal erhält Tausende Kommentare pro Video. Ein automatisiertes System blendet Spam-Links und eindeutige Beleidigungen innerhalb von Sekunden aus, sodass sich der Community Manager nur die wenigen Dutzend Kommentare ansieht, bei denen das System unsicher ist.
Automatisierung bringt Geschwindigkeit und Konsistenz, macht aber Fehler (falsch positive und falsch negative Ergebnisse), und der Digital Services Act verpflichtet Anbieter anzugeben, wenn automatisierte Mittel bei einer Entscheidung eingesetzt wurden (Artikel 17). Bewährt hat sich, eindeutige Fälle zu automatisieren, Zweifelsfälle an Menschen weiterzugeben und für jede Entscheidung eine Begründung festzuhalten.
OpenModeration automatisiert die Moderation nach den Regeln jedes Kunden, blendet eindeutige Verstöße automatisch aus, lässt Kritik sichtbar und lässt Zweifelsfälle vom eigenen Team bearbeiten. Sie sehen jede Entscheidung und ihre Begründung in Echtzeit und können jederzeit eingreifen.