Content Moderation für KI-Anwendungen: ein Leitfaden für Entwickler

Jede LLM-basierte Anwendung braucht Content Moderation. Es geht um Compliance, aber auch um Sicherheit, um das Vertrauen der Nutzer und um den Schutz Ihres Modells vor bösartigen Eingaben.

In diesem Leitfaden behandeln wir beide Seiten der KI-Moderation: das Filtern dessen, was Nutzer an Ihr LLM senden, und das Filtern dessen, was Ihr LLM an die Nutzer zurückgibt.

Die zwei Filter, die jede KI-Anwendung braucht

1. Eingabefilterung

Bevor eine Nutzereingabe Ihr LLM erreicht, sollten Sie Folgendes prüfen:

• Schädliche Inhalte: Hassrede, Belästigung, Drohungen, sexuelle Inhalte
• Prompt Injection: Versuche, den System-Prompt auszuhebeln oder das Modell per Jailbreak zu manipulieren
• Unzulässige Anfragen: Anleitungen zu illegalen Aktivitäten, zur Herstellung von Drogen usw.
• Preisgabe personenbezogener Daten: Nutzer, die versehentlich persönliche Informationen teilen

2. Ausgabefilterung

Bevor eine Modellausgabe Ihre Nutzer erreicht, sollten Sie Folgendes prüfen:

• Schädliche generierte Inhalte: Das Modell erzeugt Hassrede, Gewaltdarstellungen usw.
• Generierte personenbezogene Daten: Das Modell erzeugt versehentlich echte oder erfundene persönliche Daten
• Halluzinierte gefährliche Informationen: medizinische Ratschläge, Rechtsberatung, Finanzempfehlungen
• Richtlinienverstöße: Inhalte, die gegen die Nutzungsbedingungen Ihrer Anwendung verstoßen

Implementierungsmuster

Muster 1: Sequenzielle Filterung (für die meisten Anwendungen empfohlen)

Nutzereingabe -> Eingabe-Moderation -> { wenn markiert -> ablehnen } -> LLM
LLM-Ausgabe -> Ausgabe-Moderation -> { wenn markiert -> Ersatzantwort } -> Nutzer

Muster 2: Parallele Filterung (bei hohen Latenzanforderungen)

Nutzereingabe -> Eingabe-Moderation + LLM (parallel)
-> Auf Moderationsergebnis warten
-> Wenn markiert -> LLM-Antwort verwerfen & Fehler anzeigen
-> Wenn nicht markiert -> LLM-Antwort nach Ausgabe-Moderation anzeigen

Mehrschichtige Absicherung mit mehreren Modellen

Wer sich auf einen einzigen Moderationsanbieter verlässt, schafft einen Single Point of Failure und blinde Flecken. Ein mehrschichtiger Ansatz ist robuster:

• Nutzen Sie OpenAI Moderation zur allgemeinen Erkennung schädlicher Inhalte
• Nutzen Sie Llama Guard (selbst gehostet), um sensible Eingaben ohne Kosten und ohne Datenabfluss zu filtern
• Nutzen Sie ein LLM als Klassifikator mit GPT-4o oder Claude, um eigene Richtlinien mit tiefem Kontextverständnis durchzusetzen

OpenModeration bringt diesen Ansatz in einem einzigen API-Aufruf: Unsere eigene Moderations-KI wird in heiklen Fällen von weiteren KI-Modellen gegengeprüft, bevor die Entscheidung angewendet wird. Kommt ein besseres oder günstigeres Modell heraus, binden wir es schnell an. Für Sie ändert sich nichts.

Best Practices

1. Moderieren Sie immer Eingabe und Ausgabe: Beide Filter erkennen unterschiedliche Risiken.
2. Nutzen Sie Kontext für mehr Genauigkeit: Übergeben Sie Gesprächsverlauf und Autoreninformationen, um bessere Moderationsentscheidungen zu erhalten.
3. Wählen Sie passende Schwellenwerte: niedrigere Schwellen für Hochrisikokategorien (Minderjährige, Selbstverletzung), höhere für geringe Risiken (Spam).
4. Protokollieren Sie alles für Audits: Sie müssen nachweisen können, dass Ihre Moderation funktioniert, vor allem in regulierten Branchen.
5. Testen Sie mit bösartigen Eingaben: Prüfen Sie Ihre Moderationspipeline regelmäßig mit bekannten Jailbreak-Prompts.