Moderazione dei contenuti per applicazioni di IA: guida per sviluppatori

Ogni applicazione basata su LLM ha bisogno di moderazione dei contenuti. Non solo per conformità, ma anche per la sicurezza, per la fiducia degli utenti e per proteggere il modello dagli input malevoli.

In questa guida affrontiamo i due versanti della moderazione con IA: filtrare ciò che gli utenti inviano al tuo LLM e filtrare ciò che il tuo LLM restituisce agli utenti.

I due filtri di cui ogni app di IA ha bisogno

1. Filtro sugli input

Prima che l'input dell'utente raggiunga il tuo LLM, devi verificare la presenza di:

• Contenuti dannosi: incitamento all'odio, molestie, minacce, contenuti sessuali
• Prompt injection: tentativi di scavalcare il prompt di sistema o di fare il jailbreak del modello
• Richieste illecite: istruzioni per attività illegali, produzione di droghe e simili
• Fuga di dati personali: utenti che condividono per errore informazioni personali

2. Filtro sugli output

Prima che l'output del modello raggiunga i tuoi utenti, devi verificare la presenza di:

• Contenuti dannosi generati: il modello che produce incitamento all'odio, violenza e simili
• Generazione di dati personali: il modello che genera per errore dati personali reali o inventati
• Informazioni pericolose frutto di allucinazioni: consigli medici, pareri legali, raccomandazioni finanziarie
• Violazioni delle policy: contenuti che violano i termini di servizio della tua applicazione

Schemi di implementazione

Schema 1: filtro sequenziale (consigliato per la maggior parte delle app)

Input utente -> Moderazione input -> { se segnalato -> rifiuta } -> LLM
Output LLM -> Moderazione output -> { se segnalato -> risposta di ripiego } -> Utente

Schema 2: filtro parallelo (quando la latenza deve essere minima)

Input utente -> Moderazione input + LLM (in parallelo)
-> Attendi il risultato della moderazione
-> Se segnalato -> scarta la risposta dell'LLM e mostra un errore
-> Se non segnalato -> mostra la risposta dell'LLM dopo la moderazione dell'output

Difesa in profondità con più fornitori

Affidarsi a un solo fornitore di moderazione crea un singolo punto di guasto e zone d'ombra. Un approccio a più livelli è più robusto:

• Usa OpenAI Moderation per il rilevamento generale dei contenuti dannosi
• Usa Llama Guard (sui tuoi server) per filtrare gli input sensibili a costo zero e senza alcuna fuga di dati
• Usa un LLM come classificatore, con GPT-4o o Claude, per applicare policy personalizzate con una comprensione approfondita del contesto

Con OpenModeration ottieni un approccio a più livelli con una sola chiamata API: la nostra IA di moderazione analizza il contenuto, e altri modelli di IA verificano i casi delicati prima della decisione finale.

Buone pratiche

1. Modera sempre sia l'input sia l'output: intercettano tipi di rischio diversi
2. Usa il contesto per una maggiore precisione: passa la cronologia della conversazione e le informazioni sull'autore per migliorare le decisioni di moderazione
3. Imposta soglie adeguate: più basse per le categorie ad alto rischio (minori, autolesionismo), più alte per quelle a basso rischio (spam)
4. Registra tutto per l'audit: devi poter dimostrare che la tua moderazione funziona, soprattutto nei settori regolamentati
5. Fai test con input malevoli: verifica regolarmente la tua pipeline di moderazione con prompt di jailbreak noti