IA : une ONG désactive son chatbot, qui mettait la vie de ses utilisateurs en danger

Danger chatbot
Danger chatbot

La National Eating Disorder Association (Neda), la plus importante des ONG états-uniennes de lutte contre les troubles des conduites alimentaires, a désactivé son chatbot d’intelligence artificielle, Tessa, en raison de ses conseils préjudiciables, rapporte The Guardian.

« Nous avons appris hier soir que la version actuelle du Chatbot Tessa, qui gère le programme Body Positivity, pourrait avoir donné des informations nuisibles et sans rapport avec le programme », a déclaré Neda dans un communiqué public mardi. « Nous enquêtons immédiatement sur cette affaire et avons supprimé ce programme jusqu’à nouvel ordre afin de mener une enquête complète. »

Neda avait travaillé avec des chercheurs en psychologie et Cass AI, une entreprise qui développe des chatbots d’IA axés sur la santé mentale, pour mettre au point le chatbot. Dans un message sur le site web de Neda concernant le chatbot mais qui, souligne The Guardian, « a depuis été supprimé », Ellen Fitzsimmons-Craft, psychologue à l’université Washington de St Louis qui avait participé au développement du chatbot, a déclaré que Tessa avait été conçue comme « une solution pour rendre la prévention des troubles de l’alimentation plus largement accessible ».

Lundi, Sharon Maxwell, qui se présente comme une « femme grosse, fière et sans complexe », qui s’est « donnée pour mission d’aider les personnes grosses à se sentir en sécurité dans les établissements de santé et à éprouver de la joie à vivre dans leur corps gras » avait dénoncé sur Instagram les dégâts causés par le chatbot de Neda, qui lui recommandait de perdre de 500 grammes à 1 kilo par semaine, et donc de diminuer son régime de 500 à 1000 calories par jour :

« Si j’avais eu accès à ce chatbot lorsque j’étais en proie à mes troubles alimentaires, je n’aurais PAS obtenu d’aide pour mes troubles de l’alimentation. Si je n’avais pas été aidée, je ne serais pas encore en vie aujourd’hui. »

Vice venait par ailleurs de rapporter que Neda avait précisément été critiquée pour avoir licencié en mars quatre des six employés de sa hotline quelques jours après qu’ils avaient formé un syndicat, et les avoir remplacées par ce chatbot Tessa.