Qui peut le plus peut le moins ? Dans l’univers des LLM, pas forcément. Les équipes de Meta AI l’ont constaté lors du développement de Code Llama.
Il aura fallu 400 000 heures GPU (sur des A100-80) pour entraîner les trois types de modèles qui composent cette famille. En l’occurrence :
> Code Llama, le plus « générique », conçu pour la synthèse et l’interprétation de code. Il se fonde sur le modèle Llama 2, affiné avec un dataset de code puis entraîné sur une grande fenêtre de contexte (jusqu’à 16 384 tokens).
> Code Llama – Python, auquel on a appliqué le même traitement, en y ajoutant un entraînement spécifique sur ce langage.Code Llama – Instruct, adapté quant à lui au traitement d’instructions en langage naturel.