La cifra que importa es 10 billones: el recuento de parámetros del modelo que ByteDance está pre-entrenando ahora, según tres personas cercanas al proyecto que hablaron con el Financial Times. Si la cifra aguanta el entrenamiento, sería el mayor modelo jamás intentado en China, el triple del Kimi K3 de Moonshot, lanzado la semana pasada con 2,8 billones y actualmente el mayor modelo chino publicado. También lo situaría cerca de la estimación no confirmada del sector para el Mythos 5 de Anthropic, alrededor de 8 billones de parámetros, una cifra que Anthropic nunca ha publicado ni confirma. 'Informado por el FT' es la frase que soporta el peso de este párrafo, y queda unida a todo lo que sigue.
Los detalles que dieron los informantes: el modelo está en pre-entrenamiento, una fase que suele durar de tres a seis meses, dentro del equipo Seed de ByteDance, una unidad de 2.000 personas a la que el fundador Zhang Yiming pidió internamente apuntar a capacidad de modelo líder mundial a largo plazo. Una persona añadió que ByteDance lleva más de un año sin destilación, la práctica de entrenar un modelo sobre las salidas de otro laboratorio, lo que se lee como respuesta directa a las acusaciones de destilación que los laboratorios chinos y estadounidenses intercambiaron esta primavera. El informe del FT también señala que xAI está entrenando variantes de Grok de seis y diez billones de parámetros en su cluster Colossus 2, según Elon Musk, así que la carrera por el tamaño vuelve a correr en al menos dos clusters en dos continentes.
La lectura honesta exige dos salvedades, una técnica y una editorial. Técnica: los parámetros fijan capacidad, no rendimiento; la calidad de los datos, el método de entrenamiento y el post-entrenamiento deciden lo que el modelo sabe hacer, y un modelo pequeño bien entrenado vence a un gigante chapucero todas las semanas del año. Editorial: ByteDance no ha anunciado nada, y todo lo conocido son tres informantes anónimos más el historial del FT, que es bueno pero no es un anuncio. Lo que lo hace más que rumor es la dirección del movimiento: Kimi K3 con 2,8 billones se entregó abierto la semana pasada, y si ByteDance sigue su patrón habitual con los modelos Seed, la ventaja de los laboratorios cerrados en tamaño bruto sigue estrechándose.
Para quienes construyen, los puntos de vigilancia son prácticos. Si el modelo sale alguna vez, los pre-entrenamientos se cancelan en silencio; si sale abierto, que es la única forma en que el tamaño de ByteDance te alcanzaría; y si se acerca a Mythos 5 en capacidad, en cuyo caso el techo de los pesos abiertos vuelve a moverse. Lo único que no hay que hacer con esta historia es lo que todo el mundo hará: leer '10 billones' como una afirmación de capacidad. Es una afirmación de presupuesto.