Llama
Pourquoi c’est important
En profondeur
Llama n'est pas un modèle unique mais une lignée de publications de Meta AI, et comprendre la famille suppose de suivre deux fils à la fois : la ligne technique qui court de Llama 1 à Llama 4, et la ligne des licences qui a transformé un artefact de recherche en substrat partagé de toute l'industrie. Chaque version est livrée sous forme de poids téléchargeables accompagnés d'un tokenizer et d'un code de référence, de sorte que quiconque dispose d'assez de mémoire GPU — ou, pour les petites tailles, d'un simple ordinateur portable — peut exécuter le modèle localement, l'ajuster, le quantifier ou l'intégrer à un produit. C'est cette combinaison de qualité crédible et de contrôle local total qui a fait de Llama le point de référence de l'écosystème des poids ouverts : quand un nouveau modèle de Mistral, Qwen ou DeepSeek apparaît, la première question que se posent les praticiens est comment il se situe face à la taille de Llama équivalente.
D'une fuite de recherche à une famille de produits
Le LLaMA original, publié en février 2023, était une affaire réservée à la recherche : des tailles de 7B à 65B de paramètres, accessibles sur formulaire de demande, sous licence à usage non commercial. Les poids complets ont fuité en quelques jours, ce qui a démontré par accident l'ampleur de la demande pour un modèle performant que chacun pourrait exécuter soi-même. Meta a épousé cette demande avec Llama 2 en juillet 2023, en publiant les tailles 7B, 13B et 70B sous une licence autorisant la plupart des usages commerciaux, plus des variantes chat ajustées par RLHF. La génération Llama 3, en 2024, a encore relevé la barre, avec un entraînement sur environ 15 000 milliards de tokens : d'abord les tailles 8B et 70B, puis le fleuron 405B dans Llama 3.1, les petits modèles texte 1B et 3B ainsi que les versions 11B et 90B dotées de vision dans 3.2, et un 70B axé sur l'efficacité dans 3.3. Llama 4 est arrivé en 2025 avec une architecture de mélange d'experts : Scout et Maverick comme modèles publiés, le bien plus grand Behemoth étant décrit comme un modèle enseignant encore en entraînement.
L'architecture devenue la norme
Sur le plan architectural, Llama est un transformer à décodeur seul, et chaque génération est évolutive plutôt que radicale : pré-normalisation avec RMSNorm, embeddings positionnels rotatifs, couches feed-forward SwiGLU et, à partir du 70B de Llama 2, attention à requêtes groupées pour réduire le cache KV à l'inférence. Aucun de ces choix n'a été inventé chez Meta, mais la popularité de Llama en a fait la recette de facto, et l'on décrit désormais couramment d'autres modèles comme « d'architecture Llama » lorsqu'ils suivent le même canevas. Cette standardisation a une valeur pratique réelle : les piles d'inférence comme vLLM, SGLang et llama.cpp sont optimisées d'abord et avant tout pour les modèles de forme Llama, et certains laboratoires gardent délibérément leurs versions compatibles avec Llama pour que l'outillage fonctionne tel quel. Le vocabulaire de 128 000 tokens de Llama 3 et la fenêtre de contexte de 128 000 tokens introduite avec la 3.1 sont également devenus des points de référence auxquels les autres modèles ouverts sont mesurés.
Poids ouverts ne rime pas avec open source
Une idée reçue persistante veut que Llama soit open source. Ce n'est pas le cas, du moins au sens de l'Open Source Initiative : la Llama Community License de Meta accorde de larges droits d'utilisation, de modification et de redistribution des modèles, mais elle comporte des restrictions de domaine d'usage que les critères de l'OSI interdisent. Les entreprises de plus de 700 millions d'utilisateurs actifs mensuels doivent obtenir une licence séparée auprès de Meta, la politique d'utilisation acceptable restreint certaines applications, et les modèles dérivés doivent inclure Llama dans leur nom et afficher la mention Built with Llama. Certaines versions ajoutent des particularités régionales — les modèles multimodaux Llama 3.2, par exemple, ne sont pas licenciés aux entreprises domiciliées dans l'UE. Pour un développeur individuel ou une petite startup, tout cela importe rarement en pratique, mais c'est exactement le genre de petites lignes qui compte pour les équipes juridiques, et c'est l'illustration la plus nette du spectre ouvert vs. fermé : des poids téléchargeables ne sont pas la même chose qu'une licence Apache 2.0 ou MIT.
L'écosystème autour des poids
Les poids eux-mêmes ne racontent que la moitié de l'histoire; l'outillage et les dérivés construits autour d'eux constituent sans doute la plus grande contribution de Llama. Quelques semaines après la fuite de Llama 1, des projets comme Alpaca et Vicuna ont montré qu'une passe d'ajustement par instructions peu coûteuse, sur données synthétiques, pouvait transformer le modèle de base en chatbot utilisable, lançant la vague moderne de l'ajustement fin. Le llama.cpp de Georgi Gerganov a rendu possible l'exécution de modèles Llama quantifiés sur des CPU grand public et des ordinateurs portables, donnant naissance au format GGUF et à toute une pile d'inférence locale qui inclut Ollama, tandis que Hugging Face héberge désormais des dizaines de milliers de modèles Llama ajustés, fusionnés et quantifiés. Grâce à la distillation et à la fusion de modèles, beaucoup de modèles ouverts soi-disant nouveaux sont, sous le capot, des dérivés de Llama. Cet effet de réseau s'auto-entretient : comme tout le monde construit pour Llama d'abord, choisir Llama garantit le meilleur support outillage, ce qui à son tour le maintient comme choix par défaut même quand un concurrent affiche des scores de benchmark légèrement meilleurs.