小米在 6 月 8 日发布了 MiMo-V2.5-Pro-UltraSpeed,一个万亿参数 Mixture-of-Experts 模型,在单个标准 8-GPU commodity 节点上服务超过每秒 1000 tokens,演示中接近 1200。标题不是模型大小也不是单独的 throughput,而是它们的结合:万亿参数规模达到以前需要 wafer-scale silicon(Cerebras)或 custom SRAM-heavy 架构(Groq)的速度,现在运行在中型实验室或资金充足的初创公司实际拥有的那种 8-GPU box 上。checkpoint 在 Hugging Face 上以 MiMo-V2.5-Pro-FP4-DFlash 开源,选定的 TileRT 模块在 GitHub 上,一个有限的 API trial 从 6 月 9 日到 23 日运行,约为标准费率的 3 倍换取约 10 倍的速度。pricing 行是他们认为价值所在的诚实 tell:你为延迟付溢价,而不是为智能。
速度来自三个堆叠的技术,engineering 兴趣在于它们如何组合而不是任何一个单独。首先,选择性而非统一的 quantization:MXFP4(4-bit)仅应用于 MoE experts,它们持有大部分参数并最好地容忍激进的 quantization,而网络的其余部分保持 FP8。quantization-aware training 在 4-bit 压缩中保留 capability,而不是事后 bolt quantization。其次,DFlash speculative decoding 在 block 级别运行:不是一次起草一个 token,draft model 通过 masked parallel prediction 在单个 forward pass 中填充整个 block(上限 8 个 token),报告的 acceptance lengths 是 task-dependent,coding 6.30,math 5.56,agentic workloads 4.29,这告诉你该方法在接下来几个 token 最可预测的地方收益最大。第三,TileRT 是让硬件真正交付的 runtime:一个 persistent engine kernel,驻留在 GPU 上并使用 warp specialization 在微秒延迟下协调 compute、data movement 和 inter-GPU communication,使 experts、speculative drafts 和 cross-GPU 流量重叠而不是序列化。quantization 缩小移动的字节,speculation 减少 forward passes 的数量,persistent kernel 消除否则会吃掉收益的 launch 和 scheduling 开销。每一个单独都是已知的。结果是 co-design。
生态系统解读是这是关于推理成本下限在哪里的直接论证,针对 custom-silicon 论点。Cerebras 和 Groq 在 commodity GPUs 无法达到 frontier-scale serving 所需的延迟和 throughput 的前提上建立他们的 case,所以你需要 custom hardware,这意味着你需要他们的 hardware,这意味着一个 hosted-API 关系和没有可移植性。MiMo + TileRT 是小米说如果你将模型、decoding 算法和 runtime kernel 一起 co-design,commodity 8-GPU 节点可以达到这些数字,他们 ship 了 open weights 和部分 runtime 代码以使 claim 可检验。如果 claim 在独立复现下成立(标准 caveat,发布的数字是小米自己的,batch size 和 context length 等条件没有完全指定),战略后果是 custom-silicon vendors 建造的护城河变得更浅,因为他们作为 only-possible-on-our-hardware 出售的东西变得在你已经拥有的 hardware 上可能。那是我们在 retrieval 中的 Harness-1 和 speech 中的 Nemotron 看到的相同 open-substrate 压力,现在应用于 inference-serving 层本身。
周一早上,如果你服务大型模型而延迟是你的约束:MiMo-V2.5-Pro-FP4-DFlash 加上 open TileRT 模块值得认真评估,但在相信演示数字之前用你自己的 batch 和 context 设置在你自己的节点上验证 throughput,因为条件没有完全发布。如果你专门为别人告诉你 commodity GPUs 无法达到的速度付费给 Cerebras 或 Groq:这个 release 是本季度重新运行 buy-versus-build 计算的理由,3x-成本换-10x-速度的 trial pricing 是延迟溢价实际价值多少的有用参考点。如果你设计推理基础设施:教训是收益现在来自将模型、decoder 和 kernel 作为一个系统 co-design,而不是单独优化任何一层,MXFP4-仅在-experts 加 block-speculation 加 persistent-kernel 组合是要研究的具体模式。如果你跟踪 open-versus-closed substrate 线索,这是 inference 层版本的相同战斗:open 选项足够快地缩小到专门化 closed 选项的差距,以至于问题现在是何时,而不是是否,commodity 节点变得足够好以进行 frontier-scale serving。