MiniMax 今天發布了 M3,一個 API 優先的發布,開放權重和技術報告承諾在 10 天內發布。標題是 MSA(MiniMax Sparse Attention),一種新的稀疏注意力方案,在 1M token 上下文下提供大約前代 M2 模型 1/20 的每 token 計算。原生多模態包含在內:文字、圖像和影片作為輸入(僅文字輸出),從一開始就一起訓練,而不是通過視覺適配器添加。價格從 20 美元/月起,約 17 億 token;SWE-Bench Pro 達到 59.0%(MiniMax 聲稱領先 GPT-5.5 和 Gemini 3.1 Pro,接近 Opus 4.7)。
MSA 是一個兩階段注意力機制。一個輕量級索引分支掃描輸入 token 並選擇哪些 KV 快取塊是相關的;昂貴的注意力計算只在這些選定的塊上執行。MiniMax 將實現描述為 "KV outer gather Q":KV 塊作為外循環,聚合擊中它們的查詢,每個塊只讀一次,記憶體存取連續。他們聲稱比 Flash-Sparse-Attn 實現快 4 倍以上。在 1M 上下文下,MSA 比 M2 解碼快約 15.6 倍,prefill 快 9.7 倍,每 token 計算為 1/20。發布材料中未揭露參數數量。開放權重和技術報告計劃在 10 天內發布;要關注的 HuggingFace 儲存庫是 huggingface.co/MiniMaxAI。在此之前,將架構描述視為 MiniMax 自己的框架,等待獨立驗證,將基準數字視為廠商主導的(TechTimes 已經將它們框定為 "frontier claims, unverified benchmarks")。
兩個生態系統線索值得追蹤。首先是成本角度:MiniMax 將 M3 定價為 GPT-5.5 和 Gemini 3.1 Pro 類似 coding 基準成本的大約 5 到 10 個百分比。如果數字經得起獨立複現,這就是開放權重對封閉前沿的壓力點正在聚焦。其次是架構線索:MSA 是一個學習的路由器(索引分支),選擇哪些 KV 塊值得注意。這在結構上類似於 MoE 路由,應用於注意力層而不是 FFN。對於思考長上下文效率而不出現二次爆炸的 builders,索引-然後-注意模式是值得研究的方向之一,與 Hyena、Mamba 和 longformer 變體並列。智能體一側(Agent Teams 執行並發多階段工作流,producer-verifier 自我修正循環)很有趣但是廠商描述的;1959 個工具呼叫的 CUDA 優化展示和 12 小時自主複現 paper 的執行是那種在發布材料中看起來非常出色、需要真實 harness 重新執行才能告訴你關於你工作負載的事情的展示。
週一早上,如果你有長上下文工作負載(codebase 讀取、全文件 QA、多小時 agent 執行),M3 值得今天透過 API 整合並在 200K 到 1M 範圍對當前前沿模型進行基準測試。即使 M3 在品質上明顯落後,成本差距也足夠大到值得關注,512K 保證保真度的下限給你一個安全的操作頻寬。如果你致力於開放權重,10 天倒數計時很重要:在這些權重登陸 HuggingFace 之前,這是一個封閉 API 的故事。如果你正在建構自己的稀疏注意力基礎設施,MSA paper(出來時)是必讀。和往常一樣,對於廠商基準對前沿模型的比較,在重新定位你的 stack 之前,在與你工作負載相似的負載上執行你自己的 harness。