小米在 6 月 8 日發布了 MiMo-V2.5-Pro-UltraSpeed,一個兆參數 Mixture-of-Experts 模型,在單個標準 8-GPU commodity 節點上服務超過每秒 1000 tokens,演示中接近 1200。標題不是模型大小也不是單獨的 throughput,而是它們的結合:兆參數規模達到以前需要 wafer-scale silicon(Cerebras)或 custom SRAM-heavy 架構(Groq)的速度,現在運行在中型實驗室或資金充足的初創公司實際擁有的那種 8-GPU box 上。checkpoint 在 Hugging Face 上以 MiMo-V2.5-Pro-FP4-DFlash 開源,選定的 TileRT 模組在 GitHub 上,一個有限的 API trial 從 6 月 9 日到 23 日運行,約為標準費率的 3 倍換取約 10 倍的速度。pricing 行是他們認為價值所在的誠實 tell:你為延遲付溢價,而不是為智能。
速度來自三個堆疊的技術,engineering 興趣在於它們如何組合而不是任何一個單獨。首先,選擇性而非統一的 quantization:MXFP4(4-bit)僅應用於 MoE experts,它們持有大部分參數並最好地容忍激進的 quantization,而網路的其餘部分保持 FP8。quantization-aware training 在 4-bit 壓縮中保留 capability,而不是事後 bolt quantization。其次,DFlash speculative decoding 在 block 級別運行:不是一次起草一個 token,draft model 通過 masked parallel prediction 在單個 forward pass 中填充整個 block(上限 8 個 token),報告的 acceptance lengths 是 task-dependent,coding 6.30,math 5.56,agentic workloads 4.29,這告訴你該方法在接下來幾個 token 最可預測的地方收益最大。第三,TileRT 是讓硬體真正交付的 runtime:一個 persistent engine kernel,駐留在 GPU 上並使用 warp specialization 在微秒延遲下協調 compute、data movement 和 inter-GPU communication,使 experts、speculative drafts 和 cross-GPU 流量重疊而不是序列化。quantization 縮小移動的位元組,speculation 減少 forward passes 的數量,persistent kernel 消除否則會吃掉收益的 launch 和 scheduling 開銷。每一個單獨都是已知的。結果是 co-design。
生態系統解讀是這是關於推理成本下限在哪裡的直接論證,針對 custom-silicon 論點。Cerebras 和 Groq 在 commodity GPUs 無法達到 frontier-scale serving 所需的延遲和 throughput 的前提上建立他們的 case,所以你需要 custom hardware,這意味著你需要他們的 hardware,這意味著一個 hosted-API 關係和沒有可移植性。MiMo + TileRT 是小米說如果你將模型、decoding 演算法和 runtime kernel 一起 co-design,commodity 8-GPU 節點可以達到這些數字,他們 ship 了 open weights 和部分 runtime 程式碼以使 claim 可檢驗。如果 claim 在獨立複現下成立(標準 caveat,發布的數字是小米自己的,batch size 和 context length 等條件沒有完全指定),戰略後果是 custom-silicon vendors 建造的護城河變得更淺,因為他們作為 only-possible-on-our-hardware 出售的東西變得在你已經擁有的 hardware 上可能。那是我們在 retrieval 中的 Harness-1 和 speech 中的 Nemotron 看到的相同 open-substrate 壓力,現在應用於 inference-serving 層本身。
週一早上,如果你服務大型模型而延遲是你的約束:MiMo-V2.5-Pro-FP4-DFlash 加上 open TileRT 模組值得認真評估,但在相信演示數字之前用你自己的 batch 和 context 設置在你自己的節點上驗證 throughput,因為條件沒有完全發布。如果你專門為別人告訴你 commodity GPUs 無法達到的速度付費給 Cerebras 或 Groq:這個 release 是本季度重新運行 buy-versus-build 計算的理由,3x-成本換-10x-速度的 trial pricing 是延遲溢價實際價值多少的有用參考點。如果你設計推理基礎設施:教訓是收益現在來自將模型、decoder 和 kernel 作為一個系統 co-design,而不是單獨優化任何一層,MXFP4-僅在-experts 加 block-speculation 加 persistent-kernel 組合是要研究的具體模式。如果你追蹤 open-versus-closed substrate 線索,這是 inference 層版本的相同戰鬥:open 選項足夠快地縮小到專門化 closed 選項的差距,以至於問題現在是何時,而不是是否,commodity 節點變得足夠好以進行 frontier-scale serving。