MiMo + TileRT de Xiaomi corre un modelo de 1 billón de parámetros más allá de 1000 tokens/seg en un solo nodo commodity de 8-GPU

Xiaomi lanzó MiMo-V2.5-Pro-UltraSpeed el 8 de junio, un modelo Mixture-of-Experts de 1 billón de parámetros que sirve más allá de 1000 tokens por segundo, cerca de 1200 en demos, en un solo nodo commodity estándar de 8-GPU. El titular no es el tamaño del modelo ni el throughput tomados solos, es la conjunción: escala de billón de parámetros a velocidades que antes requerían silicon wafer-scale (Cerebras) o arquitecturas custom SRAM-heavy (Groq), ahora corriendo en el tipo de box de 8-GPU que un lab de tamaño mediano o una startup bien financiada realmente posee. El checkpoint está open-sourceado en Hugging Face como MiMo-V2.5-Pro-FP4-DFlash, módulos TileRT seleccionados están en GitHub, y un trial API limitado corre del 9 al 23 de junio a aproximadamente 3x el rate estándar por aproximadamente 10x la velocidad. La línea de pricing es el tell honesto de dónde piensan que la valor sit: pagas un premium por latencia, no por inteligencia.

La velocidad viene de tres técnicas apiladas, y el interés de engineering está en cómo componen más que cualquiera sola. Primero, quantization selectiva en vez de uniforme: MXFP4 (4-bit) se aplica solo a los MoE experts, que tienen la mayoría de los parámetros y toleran mejor la quantization agresiva, mientras el resto de la red se queda en FP8. Quantization-aware training preserva la capability a través del squeeze de 4-bit en vez de boltear la quantization después del hecho. Segundo, DFlash speculative decoding opera al nivel block: en vez de draftear un token a la vez, el draft model llena un block entero (capeado a 8 tokens) en un solo forward pass vía masked parallel prediction, y las acceptance lengths reportadas son task-dependent, 6,30 para coding, 5,56 para math, 4,29 para workloads agentic, lo cual te dice que el método paga más donde los next several tokens son más predecibles. Tercero, TileRT es el runtime que hace que el hardware entregue de verdad: un persistent engine kernel que se queda residente en la GPU y usa warp specialization para coordinar compute, data movement y comunicación inter-GPU a latencia de microsegundo, para que los experts, los drafts especulativos y el tráfico cross-GPU overlapeen en vez de serializar. La quantization encoge los bytes movidos, la especulación corta el número de forward passes, y el persistent kernel quita el overhead de launch y scheduling que de otro modo se comería las ganancias. Cada una es conocida en aislamiento. El resultado es el co-design.

La lectura ecosistema es que esto es un argumento directo sobre dónde vive el floor de costo de inferencia, apuntado a la tesis del custom-silicon. Cerebras y Groq construyeron su case sobre la premisa de que los GPUs commodity no pueden alcanzar la latencia y el throughput que el serving frontier-scale necesita, así que necesitas hardware custom, lo cual significa que necesitas su hardware, lo cual significa una relación hosted-API y sin portabilidad. MiMo + TileRT es Xiaomi diciendo que el nodo commodity de 8-GPU puede alcanzar esos números si co-diseñas el modelo, el algoritmo de decoding y el runtime kernel juntos, y shipearon open weights y código de runtime parcial para hacer el claim checkable. Si el claim aguanta bajo reproducción independiente (el caveat estándar, los números publicados son los propios de Xiaomi y las condiciones como batch size y context length no fueron plenamente especificadas), la consecuencia estratégica es que el moat que los vendors custom-silicon construían se vuelve menos profundo, porque la cosa que vendían como only-possible-on-our-hardware se vuelve posible en hardware que ya tienes. Esa es la misma presión open-substrate que vimos con Harness-1 en retrieval y Nemotron en speech, ahora aplicada a la capa inference-serving misma.

Lunes por la mañana, si sirves modelos grandes y la latencia es tu restricción: MiMo-V2.5-Pro-FP4-DFlash más los módulos TileRT open valen una evaluación seria, pero verifica el throughput en tu propio nodo con tus propios settings de batch y context antes de creer el número de demo, porque las condiciones no fueron plenamente publicadas. Si pagas a Cerebras o Groq específicamente por velocidad que te dijeron que los GPUs commodity no pueden alcanzar: este release es la razón de re-correr ese cálculo buy-versus-build este trimestre, el pricing de trial 3x-costo-por-10x-velocidad es un punto de referencia útil para lo que el premium de latencia realmente vale. Si diseñas infraestructura de inferencia: la lección es que las ganancias ahora vienen del co-design del modelo, el decoder y el kernel como un solo sistema, no de optimizar cualquier capa sola, y la combinación MXFP4-en-experts-solo más block-speculation más persistent-kernel es el patrón concreto a estudiar. Y si trackeas el hilo open-versus-closed substrate, esta es la versión de la capa inference de la misma pelea: la opción open cierra el gap a la opción closed especializada lo suficientemente rápido para que la pregunta sea ahora cuándo, no si, el nodo commodity se vuelve suficientemente bueno para el serving frontier-scale.