Que dit la documentation de GPT-4 ?

Publié le 14 mars 2023, GPT-4 (transformeur génératif pré-entraîné 4) est la dernière version du modèle de langage multimodal construit par OpenAI. Que trouve-t-on dans son rapport technique et ses « system cards » ?

Publié le 14 mars 2023, GPT-4 (transformeur génératif pré-entraîné 4) est la dernière version du modèle de langage multimodal construit par OpenAI. Sur son site, l’entreprise décrit GPT-4 comme son « système le plus avancé », producteur des réponses « plus sûres et plus utiles ».

GPT-4 peut engranger et produire jusqu’à 25 000 mots (huit fois plus que la limite de 3 000 mots de GPT-3 et de ChatGPT). Autre nouveauté : le modèle peut traiter et produire des commentaires sur des images.

Outre ses 14 pages de rapport technique, la documentation de GPT-4 est accompagnée de 29 pages dédiées aux systèmes de sécurisation du modèle (sans compter les remerciements, sources et appendices dans les deux cas). Intitulé « System Cards », ou cartes de système, ce document correspond à une pratique proposée en 2019 par les expertes de l’éthique de l’IA Margaret Mitchell, Timnit Gebru et Inioluwa Deborah Raji (entre autres) et permet de détailler d’éventuels effets des modèles d’apprentissage machine sur la société.

• Dangers des grands modèles de langage : des chercheuses avaient prévenu
• GPT-4 plus enclin à disséminer des fausses informations

On y apprend notamment que l’entrainement de GPT-4 s’est terminé en août 2022, les mois suivants ayant servi à « évaluer, réaliser des essais contradictoires et améliorer de manière itérative le modèle et les mesures d’atténuation qui l’entourent » – un dispositif en deux étapes relativement courant, écrivent les équipes d’OpenAI.

Source