Attaquer une IA ? Un exemple concret !

En 2023, l’Intelligence Artificielle a eu un retentissement médiatique sans comparaison dans son histoire. La cause ? ChatGPT, une intelligence artificielle générative capable de répondre à des questions avec une précision stupéfiante. Les perspectives générées sont multiples et dépassent actuellement l’entendement. A tel point que des acteurs du monde scientifique et industriel se mobilisent pour défendre l’idée qu’il est nécessaire de prendre six mois de pause en matière de recherche sur l’IA pour réfléchir aux transformations à venir au sein de la société.

Dans sa volonté d’accompagner la transformation digitale de ses clients en limitant les risques induits, la pratice Cybersécurité de Wavestone vous propose d’étudier ensemble comment il est possible de réaliser des attaques cyber sur un système d’IA et comment il est possible de s’en prémunir.

Attaquer un système d’IA interne ? (Notre RSSI nous déteste)

Démarche et objectifs

Comme le démontrent les récents travaux sur les systèmes d’IA[1] de l’ENISA[2], ou encore du NIST[3], l’IA est vulnérable à un certain nombre de menaces cyber. Ces menaces peuvent être génériques ou spécifiques et adressent globalement l’ensemble des systèmes d’IA basés sur le Machine Learning (ML).

Pour vérifier la faisabilité de telles menaces, nous avons eu le souhait d’expérimenter les menaces spécifiques de l’Evasion et de l’Oracle sur une de nos applications internes à faible impact : Artistic, un outil de classification des tickets[4] des collaborateurs à destination du support Informatique.

Pour cela, nous nous sommes mis dans la peau d’un utilisateur malveillant qui, ayant connaissance que le traitement des tickets repose sur un algorithme d’Intelligence Artificielle, chercherait à mener des attaques de type Evasion ou Oracle.

Evidemment, les impacts de telles attaques sont très faibles mais notre IA est un super terrain de jeu pour faire des expérimentations.

Source