Les modèles d’IA génératifs renforcent les biais humains

Dans un long format interactif, Bloomberg détaille comment des machines comme Stable Diffusion aggrave les biais sociaux présents dans la société dans les images qu’elles produisent. Un problème que l’on retrouve également dans l’intelligence artificielle, comme l’expliquait déjà la CNIL en 2018.

• Algorithmes, intelligence artificielle : à la découverte de l’épais rapport de la CNIL

Le sujet n’est pas neuf dans le secteur de l’intelligence artificielle : en 2018, la chercheuse Joy Buolamwini montrait par exemple des biais de genre et d’ethnicité dans les technologies courantes de reconnaissance faciale. Les biais présents dans les données et produits par les modèles d’IA sont plus largement un large sujet de travail.

• Aux États-Unis, six jours de prison pour cause de reconnaissance faciale erronée
• Des tests dévoilent les biais sexistes et racistes de ChatGPT
• Peut-on corriger les biais des algorithmes ?

Mais après analyse de 5 000 images produites par Stable Diffusion, Bloomberg démontre que des technologies de générations d’images grâce à des requêtes textuelles aggravent le problème initial. L’expérience a consisté à faire produire à Stable Diffusion des images correspondant à sept emplois considérés comme « à hauts salaires » aux États-Unis et à sept autres emplois « à bas salaires », ainsi qu’à trois catégories liées à la criminalité.

Résultat des courses : la machine avait tendance à renvoyer des visages à la peau plus claire pour les emplois les mieux payés, et à peau plus foncée pour ceux moins les moins payés. De même, en termes de genre, avec beaucoup plus d’hommes côté professions les mieux payées, beaucoup plus de femmes dans les moins bien payées, le tout de manière beaucoup plus accrue que dans la réalité. À la demande de générer des images de médecins, la machine a par exemple produit un jeu comprenant 7 % de femmes, alors que celles-ci constituent 39 % de la profession aux États-Unis.

L’un des problèmes, explique la directrice de Black Girls Code Heather Hile au média économique, est qu’« à force de se voir ou de ne pas se voir » dans des représentations visuelles, « les gens en déduisent qu’ils ne sont peut-être pas à leur place » dans tel ou tel type d’activité.

Bloomberg a expliqué avoir choisi Stable Diffusion parce que son modèle est gratuit et transparent, contrairement à ses principaux concurrents Midjourney ou Dall-E.

Le modèle est entraîné sur LAION 5B, la plus grande banque d’images ouverte au monde – qui embarque son propre lot de biais.

• Comment LAION a créé un jeu d’images d’entraînement à partir de zéro

Ces outils sont déjà intégrés dans des applications de communication visuelle développées par Adobe ou Canva. Ils sont, aussi, utilisés par des partis dans des communications politiques.

Source