Falcon
Pourquoi c’est important
En profondeur
Falcon est une famille de grands modèles de langage à décodeur seul développée par le Technology Innovation Institute, un laboratoire de recherche d'Abou Dabi soutenu par le gouvernement des Émirats arabes unis. Les premières versions sont arrivées en 2023 : un modèle 7B et un modèle 40B entraînés sur le jeu de données maison RefinedWeb, suivis plus tard la même année par Falcon 180B, un modèle de 180 milliards de paramètres entraîné sur environ 3,5 billions de tokens, qui occupait la tête du Open LLM Leaderboard de Hugging Face à sa sortie. Point crucial, TII a publié les poids sous des conditions permissives — le 40B est passé à Apache 2.0 peu après son lancement — ce qui a fait de Falcon l'option réellement en poids ouverts la plus performante pendant une grande partie de 2023. Les générations suivantes ont continué d'arriver : Falcon 2 en 2024, Falcon 3 plus tard la même année dans des tailles de 1B à 10B, et des branches expérimentales comme Falcon-Mamba et le hybride Falcon-H1, qui vont au-delà de la recette transformer standard.
Le pari RefinedWeb
La plupart des modèles de cette époque étaient entraînés sur des mélanges soigneusement sélectionnés de livres, de code, d'articles académiques et de texte web filtré. Le pari de TII avec Falcon était différent : prendre les données web brutes de Common Crawl, leur appliquer une déduplication et un filtrage de qualité agressifs à grande échelle, et montrer que le simple volume d'un texte web bien nettoyé peut égaler une curation sophistiquée. Le résultat fut RefinedWeb, un jeu de données de plusieurs billions de tokens que TII a publié avec les modèles. Falcon 40B a été entraîné sur environ un billion de tokens de ce corpus, tandis que le modèle 180B a porté cela à environ 3,5 billions de tokens avec quelques corpus sélectionnés en plus. Le pré-entraînement presque entièrement sur des données web publiques était inhabituel à cette échelle, et RefinedWeb lui-même est devenu une ressource largement réutilisée par d'autres projets de modèles ouverts bien après que les modèles eux-mêmes ont été supplantés.
La licence comme arme concurrentielle
Le calendrier a rendu la licence de Falcon aussi importante que ses poids. Quand Falcon 40B est apparu mi-2023, le premier Llama de Meta était réservé à la recherche et la plupart des autres modèles performants étaient derrière des API, si bien qu'une publication en Apache 2.0 — adoptée peu après le lancement, en remplacement d'une licence maison comportant une clause de redevance — a fait de Falcon le choix par défaut des équipes construisant des produits commerciaux. Cette permissivité a contribué à faire avancer le débat plus large ouvert vs. fermé : en quelques mois, Llama 2 est arrivé en autorisant l'usage commercial dans sa licence communautaire, et la licence permissive est devenue une attente plutôt qu'un différenciateur. Falcon 3 et les versions ultérieures sont passés à une TII Falcon License qui reste dans l'esprit Apache mais ajoute ses propres conditions, ce qui rappelle que les « poids ouverts » couvrent tout un spectre de conditions et que chaque licence mérite d'être réellement lue.
Le leaderboard n'a pas acheté la notoriété
Une lecture courante de l'histoire de Falcon veut qu'il ait gagné la course aux modèles ouverts en 2023 parce qu'il dominait le leaderboard de Hugging Face. Ce n'est pas le cas. La position dans les benchmarks s'est mal convertie en écosystème : Mistral et Llama ont capté la communauté des fine-tuneurs, des auteurs d'outils et des rédacteurs de tutoriels, et ce sont leurs modèles qui ont accumulé les versions quantifiées, les recettes de fusion et les guides de déploiement qui font l'adoption réelle. Falcon 180B en particulier était plus un artefact de prestige qu'un outil pratique — à des centaines de gigaoctets de VRAM avant quantification, presque personne ne pouvait l'exécuter, et ses coûts d'ajustement fin l'excluaient pour la plupart des équipes. La leçon se généralise : dans les modèles ouverts, la distribution, l'adéquation au matériel et l'outillage se cumulent, tandis que les points de leaderboard s'érodent vite.
Au-delà du transformer dense
Les versions ultérieures de Falcon montrent que TII traite la famille comme un programme de recherche architecturale plutôt que comme une seule ligne de produits. Falcon 2 est arrivé en 2024 comme un modèle 11B accompagné d'un jumeau vision-langage capable de traiter des images, et Falcon 3 a suivi plus tard la même année, ciblant le segment pratique du marché avec des tailles de 1B, 3B, 7B et 10B et un entraînement multilingue. Les mouvements les plus intéressants sont les branches latérales : Falcon-Mamba 7B a entièrement remplacé l'attention par une architecture d'espace d'états Mamba, offrant une inférence à mémoire constante sur de longues séquences, et la série Falcon-H1 a suivi en 2025 avec des conceptions hybrides mêlant couches d'attention et couches d'espace d'états dans un même modèle. Ces expériences ont maintenu TII visible dans la conversation sur les architectures, alors même que la ligne Falcon principale affronte des écosystèmes de poids ouverts bien plus vastes.