Les chercheurs de META sur l’intelligence artificielle ont publié la semaine dernière une démo d’utilisation d’un tout nouveau grand modèle de langage, nommé rien de moins que Galactica, entrainé sur des articles scientifiques et générant, à partir d’un texte, « un article avec des références, des formules et tout », dixit Yann Le Cun. Trois jours plus tard, la démo était dépubliée, des internautes ayant montré qu’elle générait facilement des articles racistes et mensongers.
Un « Travail incroyable de MetaAI / Papers With Code », c’est de cette façon que Yann Le Cun, le scientifique en chef de l’IA chez Meta, annonçait dans un tweet la mise en ligne de la démo du nouveau grand modèle de langage Galactica.
L’idée du projet, lancé par l’équipe de recherche en intelligence artificielle de Meta en collaboration avec Papers With Code (une petite équipe de Meta AI qui travaille sur des outils pour la recherche), était d’aider les chercheurs à écrire leurs articles scientifiques en rédigeant automatiquement les parties de bibliographie grâce à un nouveau grand modèle de langage entrainé sur 48 millions d’articles scientifiques.
Galactica « peut stocker les connaissances scientifiques, les combiner et raisonner à partir de celles-ci », expliquaient les chercheurs de Meta AI dans le résumé de leur article scientifique (non relu par leurs pairs) mis en ligne en même temps que la démo.
Dans un tweet publié le jour de la mise en ligne du projet, Papers With Code expliquait que Galactica était un grand modèle de langage pour la science qui « peut résumer la littérature académique, résoudre des problèmes de maths, générer des articles Wiki, écrire du code scientifique, annoter des molécules et des protéines, et plus encore ».