जो संख्या मायने रखती है वह है 10 trillion: उस model का parameter count जिसे ByteDance अभी pre-train कर रहा है, Financial Times से बात करने वाले project से जुड़े तीन लोगों के मुताबिक़। अगर आँकड़ा training तक टिका, तो यह China में अब तक की सबसे बड़ी कोशिश होगी, Moonshot के Kimi K3 से तीन गुना, जो पिछले हफ़्ते 2.8 trillion पर निकला और अब तक का सबसे बड़ा जारी चीनी model है। यह Anthropic के Mythos 5 के industry के unconfirmed अनुमान के पास भी पहुँचेगा, करीब 8 trillion parameters, एक आँकड़ा जो Anthropic ने कभी प्रकाशित या confirm नहीं किया है। इस paragraph का भार 'FT द्वारा reported' ही है, और वह नीचे की हर बात से जुड़ा रहता है।
Insiders के दिए details: model pre-training में है, वह phase जो आमतौर पर तीन से छह महीने लेता है, ByteDance की Seed team के भीतर, एक 2,000 लोगों की unit जिसे founder Zhang Yiming ने internally दीर्घकालिक world-leading model capability का लक्ष्य दिया है। एक person ने जोड़ा कि ByteDance एक साल से ज़्यादा समय से distillation के बिना चल रहा है, किसी और lab के outputs पर model train करने की practice, जो इस वसंत Chinese और American labs के बीच चली distillation आरोपों का सीधा जवाब पढ़ा जाता है। FT की report यह भी नोट करती है कि xAI अपने Colossus 2 cluster पर छह और दस trillion parameters की Grok variants train कर रहा है, Elon Musk के मुताबिक़, तो size की दौड़ दो महाद्वीपों के कम से कम दो clusters पर फिर दौड़ रही है।
ईमानदार पढ़ाई दो caveats माँगती है, एक तकनीकी और एक संपादकीय। तकनीकी: parameters capacity तय करते हैं, performance नहीं; data quality, training method और post-training तय करते हैं कि model क्या कर सकता है, और अच्छे से train हुआ छोटा model sloppy giant को साल के हर हफ़्ते हराता है। संपादकीय: ByteDance ने कुछ घोषित नहीं किया है, और जो ज्ञात है वह तीन anonymous insiders और FT का track record है, जो अच्छा है पर announcement नहीं। इसे rumor से बढ़ा बनाता है movement की दिशा: 2.8 trillion का Kimi K3 पिछले हफ़्ते open निकला, और अगर ByteDance Seed models के साथ अपनी आदत माने तो raw size पर closed labs की बढ़त और सिकुड़ती रहेगी।
Builders के लिए watch items practical हैं। Model निकलेगा या नहीं, pre-training runs चुपचाप रद्द होते हैं; क्या वह open निकलेगा, क्योंकि ByteDance का size आप तक बस यहीं से पहुँचेगा; और क्या वह capability में Mythos 5 के पास आता है, जिस स्थिति में open-weight ceiling फिर हिलेगी। इस कहानी के साथ न करने वाली एक बात वह है जो सब करेंगे: '10 trillion' को capability का दावा पढ़ना। यह budget का दावा है।