Le PDG d’OpenAI estime que l’approche actuelle de l’IA va bientôt atteindre ses limites

OpenAI a réalisé une série d’avancées impressionnantes dans l’IA qui fonctionne avec le langage ces dernières années en prenant des algorithmes d’apprentissage automatique existants et en les faisant évoluer jusqu’à une taille inimaginable auparavant. GPT-4, le dernier de ces projets, a probablement été formé à l’aide de milliards de mots de texte et de plusieurs milliers de puces informatiques puissantes. Le processus a coûté plus de 100 millions de dollars.

Mais le PDG de la société, Sam Altman, affirme que de nouveaux progrès ne proviendront pas de l’agrandissement des modèles : « Je pense que nous sommes à la fin de l’ère où règneront ces modèles géants », a-t-il déclaré à un public lors d’un événement organisé au MIT à la fin de la semaine dernière. « Nous allons les rendre meilleurs par d’autres moyens ».

La déclaration d’Altman suggère une tournure inattendue dans la course au développement et au déploiement de nouveaux algorithmes d’IA. Depuis qu’OpenAI a lancé ChatGPT en novembre, Microsoft a utilisé la technologie sous-jacente pour ajouter un chatbot à son moteur de recherche Bing, et Google a lancé un chatbot rival appelé Bard. De nombreuses personnes se sont précipitées pour expérimenter l’utilisation de la nouvelle race de chatbot pour aider au travail ou à des tâches personnelles.

Pendant ce temps, de nombreuses startups bien financées, dont Anthropic, AI21, Cohere et Character.AI, consacrent d’énormes ressources à la construction d’algorithmes toujours plus grands dans le but de rattraper la technologie d’OpenAI. La version initiale de ChatGPT était basée sur une version légèrement améliorée de GPT-3, mais les utilisateurs peuvent désormais également accéder à une version alimentée par le GPT-4 plus performant.

La déclaration d’Altman suggère que GPT-4 pourrait être la dernière avancée majeure à émerger de la stratégie d’OpenAI consistant à agrandir les modèles et à leur fournir plus de données. Il n’a pas dit quel genre de stratégies ou de techniques de recherche pourraient prendre sa place. Dans l’article décrivant GPT-4, OpenAI indique que ses estimations suggèrent des rendements décroissants lors de l’augmentation de la taille du modèle. Altman a déclaré qu’il existe également des limites physiques au nombre de centres de données que l’entreprise peut construire et à la rapidité avec laquelle elle peut les construire.

Source