« Prompt injection » : quelle est cette nouvelle attaque contre les IA ?

Calling a Hack an Exploit Minimizes Human Error

Pour certains, l’engouement actuel pour les intelligences artificielles de type ChatGPT est prématuré étant donné que nous ne comprenons pas vraiment leur fonctionnement, et encore moins leurs failles. Le gouvernement britannique vient de publier une mise en garde contre une nouvelle attaque baptisée « prompt injection ».

Le centre national de cybersécurité du Royaume-Uni (NCSC) a publié une mise en garde cette semaine sur l’utilisation de l’intelligence artificielle. Elle commence par souligner le nombre croissant d’applications et d’entreprises qui utilisent les API (interface de programmation d’application) pour intégrer les grands modèles de langage (LLM) qui propulsent les nouvelles IA de type ChatGPT.

Selon le centre, le marché des LLM évolue tellement rapidement qu’une start-up spécialisée dans l’IA pourrait ne plus exister d’ici deux ans, ou les LLM derrière les API pourraient avoir changé au point que certaines fonctionnalités dont dépendent des entreprises pourraient avoir disparu. Toutefois, le centre met également en garde contre une nouvelle cybermenace baptisée « prompt injection ».

Source