Mi-octobre, une équipe de l’Institute for Human-Centered Artificial Intelligence (HAI) de l’université de Stanford publiait un index de la transparence des modèles de fondation (modèles d’IA générative généralistes), outil notamment pensé pour servir les régulateurs. Dans la communauté scientifique, l’outil fait débat.
Il y a quelques jours, nous rapportions la publication d’un index permettant de mesurer la transparence de divers grands modèles d’intelligence artificielle. Créé par l’équipe du Center for Research on Foundation Models (CREM) de l’Institute for Human-Centered Artificial Intelligence (HAI) de l’université de Stanford, l’outil recense cent indicateurs à partir desquels il propose d’évaluer la transparence d’un modèle comme GPT-4, Lama 2 ou Bloomz.
Sur l’index de transparence des modèles de fondation :
- Stanford pointe le manque de transparence dans les grands modèles d’intelligence artificielle
- IA : les « modèles de fondation » et leur index de transparence critiqués
L’évaluation proposée par l’équipe du CREM se fait en plusieurs étapes : en amont de la fabrication du modèle (du côté des données d’entrainement, notamment), dans l’outil lui-même, et en aval (du côté de son application et de la possibilité qu’ont les utilisateurs de faire remonter des critiques et retours). Problème, nous a fait remarquer severo_bo, « cet « index » est très critiqué par la communauté scientifique ».
Et, de fait, dans un article publié par la newsletter Interconnects et le blog du groupe de recherche open source Eleuther AI intitulé « Comment l’index de transparence des modèles de fondation déforme la transparence », quatre experts de l’intelligence artificielle – Nathan Lambert, Stella Bideman, Aviya Skowron et SE Gyges – détaillent plusieurs critiques à l’encontre de l’index.
Tous ont travaillé sur le modèle BLOOM-Z ou sont affiliés à des institutions qui ont participé à sa création, indiquent-ils dès l’introduction, aussi illustrent-ils leur propos à l’aide du modèle initié par Hugging Face et ouvert aux spécialistes du monde entier chaque fois que possible.
S’ils admettent l’intérêt de créer ce type d’outils, notamment pour le public non scientifique et les régulateurs, les quatre signataires s’inquiètent notamment de la manière dont la nécessité de transparence dans les grands modèles de langage est présentée par les chercheurs de Stanford. Ils estiment, aussi, qu’approcher le problème sous forme de score réduit nécessairement la nuance nécessaire pour aborder la question de la transparence, la transformant à une simple note qu’il s’agirait d’optimiser.
Ils estiment par ailleurs que l’index est construit de sorte à favoriser les produits d’entreprises privées.