MiniMax 今天发布了 M3,一个 API 优先的发布,开放权重和技术报告承诺在 10 天内发布。标题是 MSA(MiniMax Sparse Attention),一种新的稀疏注意力方案,在 1M token 上下文下提供大约前代 M2 模型 1/20 的每 token 计算。原生多模态包含在内:文本、图像和视频作为输入(仅文本输出),从一开始就一起训练,而不是通过视觉适配器添加。价格从 20 美元/月起,约 17 亿 token;SWE-Bench Pro 达到 59.0%(MiniMax 声称领先 GPT-5.5 和 Gemini 3.1 Pro,接近 Opus 4.7)。
MSA 是一个两阶段注意力机制。一个轻量级索引分支扫描输入 token 并选择哪些 KV 缓存块是相关的;昂贵的注意力计算只在这些选定的块上运行。MiniMax 将实现描述为 "KV outer gather Q":KV 块作为外循环,聚合击中它们的查询,每个块只读一次,内存访问连续。他们声称比 Flash-Sparse-Attn 实现快 4 倍以上。在 1M 上下文下,MSA 比 M2 解码快约 15.6 倍,prefill 快 9.7 倍,每 token 计算为 1/20。发布材料中未披露参数数量。开放权重和技术报告计划在 10 天内发布;要关注的 HuggingFace 仓库是 huggingface.co/MiniMaxAI。在此之前,将架构描述视为 MiniMax 自己的框架,等待独立验证,将基准数字视为厂商主导的(TechTimes 已经将它们框定为 "frontier claims, unverified benchmarks")。
两个生态系统线索值得跟踪。首先是成本角度:MiniMax 将 M3 定价为 GPT-5.5 和 Gemini 3.1 Pro 类似 coding 基准成本的大约 5 到 10 个百分比。如果数字经得起独立复现,这就是开放权重对封闭前沿的压力点正在聚焦。其次是架构线索:MSA 是一个学习的路由器(索引分支),选择哪些 KV 块值得注意。这在结构上类似于 MoE 路由,应用于注意力层而不是 FFN。对于思考长上下文效率而不出现二次爆炸的 builders,索引-然后-注意模式是值得研究的方向之一,与 Hyena、Mamba 和 longformer 变体并列。智能体一侧(Agent Teams 运行并发多阶段工作流,producer-verifier 自我修正循环)很有趣但是厂商描述的;1959 个工具调用的 CUDA 优化演示和 12 小时自主复现 paper 的运行是那种在发布材料中看起来非常出色、需要真实 harness 重新运行才能告诉你关于你工作负载的事情的演示。
周一早上,如果你有长上下文工作负载(codebase 读取、全文档 QA、多小时 agent 运行),M3 值得今天通过 API 集成并在 200K 到 1M 范围对当前前沿模型进行基准测试。即使 M3 在质量上明显落后,成本差距也足够大到值得关注,512K 保证保真度的下限给你一个安全的操作带宽。如果你致力于开放权重,10 天倒计时很重要:在这些权重登陆 HuggingFace 之前,这是一个封闭 API 的故事。如果你正在构建自己的稀疏注意力基础设施,MSA paper(出来时)是必读。和往常一样,对于厂商基准对前沿模型的比较,在重新定位你的 stack 之前,在与你工作负载相似的负载上运行你自己的 harness。