La modération par IA pour les applications de LLM
Filtrez les entrées et les sorties de vos LLM. Protégez vos utilisateurs contre les réponses nuisibles du modèle, et votre modèle contre les prompts malveillants, grâce à un dispositif de modération complet.
Le problème
Les applications fondées sur des LLM sont exposées à l'injection de prompts, aux jailbreaks et à la génération de contenus nuisibles. S'en remettre aux seuls filtres intégrés à son propre modèle crée un point de défaillance unique.
La réponse d'OpenModeration
Plusieurs couches de protection : notre propre IA de modération filtre les entrées et les sorties, et d'autres modèles d'IA arbitrent les cas délicats. Le moteur d'actions vous permet de définir vos propres règles de sécurité sans écrire de logique de modération complexe.
Le résultat
Votre application d'IA applique vos règles, vous évitez les réponses qui nuisent à votre image et votre équipe de développement se consacre aux fonctionnalités plutôt qu'à l'infrastructure de modération.
Deux fronts à modérer
Toute application fondée sur un LLM doit modérer les contenus sur deux fronts :
Filtrage des entrées : bloquez les prompts nuisibles, illicites ou manipulateurs avant qu'ils n'atteignent le LLM.
Filtrage des sorties : interceptez les réponses dangereuses ou inappropriées du modèle avant que vos utilisateurs ne les voient.
OpenModeration combine sa propre IA et un arbitrage par d'autres modèles pour multiplier les lignes de défense, et vous suivez l'ensemble en temps réel depuis une seule console.
Entrée → Modération → LLM
User prompt -> {"input": prompt} -> POST /v1/moderation ->
-> if not flagged -> forward to your LLM
-> if flagged -> return "Content policy violation"Sortie du LLM → Modération → Utilisateur
LLM response -> {"input": response} -> POST /v1/moderation ->
-> if not flagged -> display to user
-> if flagged -> show fallback responseConçu pour les applications d'IA
Tout ce dont un produit fondé sur un LLM a besoin pour modérer les deux côtés de la conversation.
Filtrage des entrées
Bloquez l'injection de prompts, les jailbreaks et les prompts nuisibles avant qu'ils n'atteignent votre modèle.
Filtrage des sorties
Interceptez les réponses dangereuses ou contraires à vos règles avant que vos utilisateurs ne les voient. Quand un meilleur modèle d'IA sort, nous le branchons : rien ne change de votre côté.
Défense en profondeur
Un classifieur rapide traite chaque requête, et d'autres modèles d'IA arbitrent les cas délicats avant que la décision soit appliquée.
Catégories personnalisées
Définissez n'importe quelle règle de sécurité par des prompts en langage naturel, sans réentraîner de classifieur.
Questions fréquentes sur la modération des LLM
Puis-je modérer les prompts et les réponses du modèle avec la même intégration ?
Oui. Appelez POST /v1/moderation sur le prompt de l'utilisateur avant de le transmettre à votre LLM, puis à nouveau sur la réponse du modèle avant de l'afficher. Même endpoint, même schéma de réponse.
La modération va-t-elle ralentir sensiblement mon application d'IA ?
Les modèles à base de classifieurs répondent en quelques centaines de millisecondes, bien en deçà des temps de réponse habituels d'un LLM. Vous pouvez aussi modérer les sorties de façon asynchrone : diffusez d'abord un avertissement, puis retirez le contenu s'il est signalé.
Puis-je définir des règles propres à mon produit ?
Oui. Au-delà des catégories intégrées, la modération par LLM avec des prompts personnalisés vous permet d'appliquer vos propres règles : limites sur les conseils médicaux, mentions de concurrents, contenus inadaptés à certains âges, et bien d'autres.
Ressources associées
La modération de contenu pour les applications d'IA
Les bonnes pratiques pour filtrer les entrées et les sorties des applications fondées sur des LLM.
OpenModeration ou Azure AI Content Safety
Pourquoi un dispositif de modération complet l'emporte sur une API isolée pour la sécurité de l'IA.
Découvrir toutes les fonctionnalités
Le moteur d'actions, la gestion d'équipe et les workflows automatisés.
Lancez votre application d'IA avec un vrai filet de sécurité.
Filtrez entrées et sorties via une seule API, avec une IA qui suit les progrès du marché et des journaux d'audit complets. Cloud managé hébergé dans l'UE.
Sans carte bancaire · Conforme au DSA · Conforme au RGPD
Une question ? contact@openmoderation.com