Tech

Code Llama : un modèle spécial Python au menu de Meta

Meta vient d’ouvrir l’accès à Code Llama, Comment se présente cette famille de LLM destinée à assister les développeurs ?

Qui peut le plus peut le moins ? Dans l’univers des LLM, pas forcément. Les équipes de Meta AI l’ont constaté lors du développement de Code Llama.

Il aura fallu 400 000 heures GPU (sur des A100-80) pour entraîner les trois types de modèles qui composent cette famille. En l’occurrence :

Code Llama, le plus « générique », conçu pour la synthèse et l’interprétation de code. Il se fonde sur le modèle Llama 2, affiné avec un dataset de code puis entraîné sur une grande fenêtre de contexte (jusqu’à 16 384 tokens).

Code Llama – Python, auquel on a appliqué le même traitement, en y ajoutant un entraînement spécifique sur ce langage.Code Llama – Instruct, adapté quant à lui au traitement d’instructions en langage naturel.

Source

Veille-cyber

Share
Published by
Veille-cyber

Recent Posts

Sécurité des mots de passe : bonnes pratiques pour éviter les failles

Sécurité des mots de passe : bonnes pratiques pour éviter les failles La sécurité des…

4 jours ago

Ransomware : comment prévenir et réagir face à une attaque

Ransomware : comment prévenir et réagir face à une attaque Le ransomware est l’une des…

5 jours ago

Cybersécurité et e-commerce : protéger vos clients et vos ventes

Cybersécurité et e-commerce : protéger vos clients et vos ventes En 2025, les sites e-commerce…

1 semaine ago

Les ransomwares : comprendre et se défendre contre cette menace

Les ransomwares : comprendre et se défendre contre cette menace En 2025, les ransomwares représentent…

1 semaine ago

RGPD et cybersécurité : comment rester conforme en 2025

RGPD et cybersécurité : comment rester conforme en 2025 Depuis sa mise en application en…

1 semaine ago

VPN : un outil indispensable pour protéger vos données

VPN : un outil indispensable pour protéger vos données Le VPN, ou « Virtual Private…

2 semaines ago

This website uses cookies.