MiMo + TileRT da Xiaomi roda um modelo de 1 trilhão de parâmetros além de 1000 tokens/seg em um único nó commodity de 8-GPU

Xiaomi lançou MiMo-V2.5-Pro-UltraSpeed em 8 de junho, um modelo Mixture-of-Experts de 1 trilhão de parâmetros que serve além de 1000 tokens por segundo, perto de 1200 em demos, em um único nó commodity padrão de 8-GPU. A manchete não é o tamanho do modelo nem o throughput tomados sozinhos, é a conjunção: escala de trilhão de parâmetros a velocidades que antes requeriam silicon wafer-scale (Cerebras) ou arquiteturas custom SRAM-heavy (Groq), agora rodando no tipo de box de 8-GPU que um lab de tamanho médio ou uma startup bem financiada realmente possui. O checkpoint está open-sourceado no Hugging Face como MiMo-V2.5-Pro-FP4-DFlash, módulos TileRT selecionados estão no GitHub, e um trial API limitado roda de 9 a 23 de junho a aproximadamente 3x o rate padrão por aproximadamente 10x a velocidade. A linha de pricing é o tell honesto de onde eles pensam que o valor sit: você paga um premium por latência, não por inteligência.

A velocidade vem de três técnicas empilhadas, e o interesse de engineering está em como elas compõem mais do que qualquer uma sozinha. Primeiro, quantization seletiva em vez de uniforme: MXFP4 (4-bit) é aplicada apenas aos MoE experts, que têm a maioria dos parâmetros e toleram melhor a quantization agressiva, enquanto o resto da rede fica em FP8. Quantization-aware training preserva a capability através do squeeze de 4-bit em vez de boltar a quantization depois do fato. Segundo, DFlash speculative decoding opera no nível block: em vez de draftar um token por vez, o draft model preenche um block inteiro (capado a 8 tokens) em um único forward pass via masked parallel prediction, e as acceptance lengths reportadas são task-dependent, 6,30 para coding, 5,56 para math, 4,29 para workloads agentic, o que te diz que o método paga mais onde os next several tokens são mais previsíveis. Terceiro, TileRT é o runtime que faz o hardware entregar de verdade: um persistent engine kernel que fica residente na GPU e usa warp specialization para coordenar compute, data movement e comunicação inter-GPU a latência de microssegundo, para que os experts, os drafts especulativos e o tráfego cross-GPU overlapem em vez de serializar. A quantization encolhe os bytes movidos, a especulação corta o número de forward passes, e o persistent kernel remove o overhead de launch e scheduling que de outro modo comeria os ganhos. Cada uma é conhecida em isolamento. O resultado é o co-design.

A leitura ecossistema é que isso é um argumento direto sobre onde vive o floor de custo de inferência, mirado na tese do custom-silicon. Cerebras e Groq construíram seu case sobre a premissa de que os GPUs commodity não podem alcançar a latência e o throughput que o serving frontier-scale precisa, então você precisa de hardware custom, o que significa que você precisa do hardware deles, o que significa uma relação hosted-API e sem portabilidade. MiMo + TileRT é Xiaomi dizendo que o nó commodity de 8-GPU pode alcançar esses números se você co-designar o modelo, o algoritmo de decoding e o runtime kernel juntos, e eles shiparam open weights e código de runtime parcial para tornar o claim checkable. Se o claim aguenta sob reprodução independente (o caveat padrão, os números publicados são os próprios da Xiaomi e as condições como batch size e context length não foram plenamente especificadas), a consequência estratégica é que o moat que os vendors custom-silicon construíam se torna menos profundo, porque a coisa que vendiam como only-possible-on-our-hardware se torna possível em hardware que você já tem. Essa é a mesma pressão open-substrate que vimos com Harness-1 em retrieval e Nemotron em speech, agora aplicada à camada inference-serving mesma.

Segunda-feira pela manhã, se você serve modelos grandes e a latência é sua restrição: MiMo-V2.5-Pro-FP4-DFlash mais os módulos TileRT open valem uma avaliação séria, mas verifique o throughput no seu próprio nó com seus próprios settings de batch e context antes de acreditar no número de demo, porque as condições não foram plenamente publicadas. Se você paga Cerebras ou Groq especificamente por velocidade que te disseram que os GPUs commodity não podem alcançar: este release é a razão de re-rodar esse cálculo buy-versus-build neste trimestre, o pricing de trial 3x-custo-por-10x-velocidade é um ponto de referência útil para o que o premium de latência realmente vale. Se você projeta infraestrutura de inferência: a lição é que os ganhos agora vêm do co-design do modelo, do decoder e do kernel como um só sistema, não de otimizar qualquer camada sozinha, e a combinação MXFP4-em-experts-só mais block-speculation mais persistent-kernel é o padrão concreto a estudar. E se você tracka o fio open-versus-closed substrate, esta é a versão da camada inference da mesma briga: a opção open fecha o gap à opção closed especializada rápido o suficiente para que a pergunta seja agora quando, não se, o nó commodity se torna bom o suficiente para o serving frontier-scale.