Microsoft a annoncé la disponibilité générale d’Azure AI Content Safety. Il s’agit d’une plateforme basée sur des modèles de langage et de vision conçue pour aider à détecter les contenus haineux, violents, sexuels et d’automutilation.
L’objectif ? Lorsque les modèles détectent un contenu potentiellement dangereux, ils le marquent avec un score de gravité estimé. Les entreprises et organisations l’utilisant peuvent alors adapter le service pour bloquer ou signaler le contenu en fonction de leurs politiques.
Le nouveau service a notamment été utilisé par le ministère de l’Éducation d’Australie-Méridionale pour créer un chatbot appelé EdChat, presque finalisé. Ses fonctions de sécurité bloquent les requêtes inappropriées et filtrent les réponses dangereuses, ce qui permet aux enseignants de se concentrer sur les aspects pédagogiques de la technologie au lieu de contrôler le contenu. Il a été testé par 1 500 élèves et 150 enseignants.
Comme toujours avec ce type d’outil automatisé, l’humain a le dernier mot. Le service n’est pas présenté comme pouvant régler tous les problèmes. Microsoft prend bien soin de parler d’aide à la gestion.
L’entreprise a également annoncé qu’Azure AI Content Safety était désormais indépendant. Les clients peuvent donc l’utiliser pour le contenu généré par l’IA à partir de modèles open-source et d’autres entreprises, ainsi que pour celui généré par l’utilisateur.