📖 Woordenlijst moderatie
Wat is AI-moderatie?
Kort gezegd
AI-moderatie is het gebruik van modellen voor kunstmatige intelligentie, zoals classificatiemodellen en grote taalmodellen, om gebruikerscontent in context te begrijpen en te beslissen of voor te stellen of die moderatieregels overtreedt.
Anders dan trefwoordlijsten lezen AI-modellen een reactie als geheel: ze kunnen het verschil zien tussen een belediging en een citaat, tussen kritiek en intimidatie, of tussen een grap onder vaste bezoekers en een bedreiging. Grote taalmodellen kunnen ook regels in gewone taal toepassen, zoals de communityrichtlijnen van een merk.
Voorbeeld: de reactie 'dit product is pure oplichting, ik wil mijn geld terug' is een klacht, geen oplichting. Een goed AI-moderatiesysteem laat haar zichtbaar en kan haar doorgeven aan de klantenservice, terwijl het 'klik hier om je gratis iPhone te claimen' als spam verbergt.
AI maakt nog steeds fouten, kan inconsistent zijn bij grensgevallen en heeft waarborgen nodig: duidelijke regels, drempels, menselijke beoordeling van twijfelgevallen en een schriftelijke reden voor elke beslissing.
OpenModeration gebruikt een eigen moderatie-AI, afgestemd op de regels en use cases van elke klant, en controleert gevoelige gevallen kruiselings met andere AI-modellen. Nieuwe modellen worden aangesloten zodra ze verschijnen.