Le chiffre qui compte est 10 billions : le nombre de paramètres du modèle que ByteDance pré-entraîne en ce moment, selon trois personnes proches du projet parlant au Financial Times. Si le chiffre tient jusqu'au bout de l'entraînement, ce serait le plus grand modèle jamais tenté en Chine, trois fois le Kimi K3 de Moonshot, sorti la semaine dernière à 2,8 billions et actuellement le plus grand modèle chinois publié. Cela le placerait aussi près de l'estimation non confirmée du secteur pour le Mythos 5 d'Anthropic, autour de 8 billions de paramètres, un chiffre qu'Anthropic n'a jamais publié ni confirmé. 'Rapporté par le FT' est la phrase qui porte le poids de ce paragraphe, et elle reste attachée à tout ce qui suit.

Les détails donnés par les informateurs : le modèle est en pré-entraînement, une phase qui prend typiquement trois à six mois, au sein de l'équipe Seed de ByteDance, une unité de 2 000 personnes à laquelle le fondateur Zhang Yiming a demandé en interne de viser une capacité de modèle de niveau mondial à long terme. Une personne a ajouté que ByteDance s'est passé de distillation, la pratique qui consiste à entraîner un modèle sur les sorties d'un autre labo, depuis plus d'un an, ce qui se lit comme une réponse directe aux accusations de distillation que les labos chinois et américains ont échangées au printemps. Le rapport du FT note aussi que xAI entraîne des variantes de Grok à six et dix billions de paramètres sur son cluster Colossus 2, selon Elon Musk, donc la course à la taille repart sur au moins deux clusters sur deux continents.

La lecture honnête exige deux réserves, une technique et une éditoriale. Technique : les paramètres fixent la capacité, pas la performance ; la qualité des données, la méthode d'entraînement et le post-entraînement décident de ce que le modèle sait faire, et un petit modèle bien entraîné bat un géant bâclé chaque semaine de l'année. Éditoriale : ByteDance n'a rien annoncé, et tout ce qui est connu tient en trois informateurs anonymes plus les antécédents du FT, qui sont bons mais ne sont pas une annonce. Ce qui en fait plus qu'une rumeur, c'est la direction du mouvement : Kimi K3 à 2,8 billions a été livré ouvert la semaine dernière, et si ByteDance suit son habitude avec les modèles Seed, l'avance des labos fermés sur la taille brute continue de se rétrécir.

Pour les builders, les points de vigilance sont pratiques. Si le modèle sort un jour, les pré-entraînements s'annulent sans bruit ; s'il sort ouvert, ce qui est la seule façon pour que la taille de ByteDance vous atteigne ; et s'il approche Mythos 5 en capacité, auquel cas le plafond des poids ouverts bouge encore. La seule chose à ne pas faire avec cette histoire est ce que tout le monde va en faire : lire '10 billions' comme une affirmation de capacité. C'est une affirmation de budget.