NVIDIA 今天发布 Cosmos 3:一个开放的物理 AI 基础模型,原生输出关节角度和夹爪位置,这意味着策略训练不再需要经过单独的头部来将视频预测翻译为动作。架构是双塔的 Mixture-of-Transformers(MoT), 一个视觉语言推理塔解释运动、物体交互和物理上下文,一个生成塔通过扩散产生未来观察和动作序列。今天上线两个尺寸:Cosmos 3 Nano(16B 参数,RTX PRO 6000 级工作站)和 Cosmos 3 Super(64B,Hopper/Blackwell 数据中心)。Edge 版本即将到来。权重在 HuggingFace 上,基于 OpenMDW 1.1(Linux Foundation 的宽松许可证), 可训练、修改、再分发。
MoT 中值得停下来看的细节:信息从推理塔单向流向生成塔。推理塔是一个自回归 VLM,可以独立调用;生成塔激活两个塔。这不是完全联合的单系统架构, 这是推理塔然后生成塔,推理塔可以独立存在。动作头是原生的:数值动作数据(关节角度、夹爪位置)与文本、图像、视频和环境声音输出共存。NVIDIA 报告 Cosmos 3 在 VANTAGE-Bench(32B 和 8B 级别)、PAI-Bench、R-Bench、Physics-IQ 和 RoboLab 上的开放权重中领先。发布材料中没有出现与 GR00T N1 或 Gemini Robotics 的数值对比,每个排行榜的污染情况也没有披露。量化选项(BF16、FP8、NVFP4)和六个用于后训练的开放合成数据生成数据集同时发布。技术报告在 research.nvidia.com/labs/cosmos-lab/cosmos3。
Cosmos Coalition 是生态信号:Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI 作为共建者排队。这个帐篷从人形硬件(Agile、Skild)延伸到媒体生成(BFL、Runway、LTX),再到基础模型层(Generalist)。NVIDIA 的赌注是同样的 MoT 基底服务于两个世界, 机器人策略的合成数据和媒体的高保真视频生成。对于对在机器人感知之上堆叠基础模型持怀疑态度的 builders, 那些从 predictive coding、SLAM 和 ROS2 视觉栈这样的原语开始构建的人, 单向 MoT 实际上比营销暗示的更接近你的阵营。将"解释场景"和"生成下一个状态"分开是正确的分解方式;推理塔可独立调用意味着你可以将其用作感知头,并带上自己的控制器。OpenMDW 1.1 让这在法律上是干净的。
周一早上,如果你训练机器人策略:Cosmos 3 Super 现在是你最强的开放合成数据生成基线,领先于纯视频预测模型,因为动作头是原生的。如果你在边缘或工作站上部署推理,Cosmos 3 Nano(16B)是实际目标, 等待或关注 Edge。如果你从原语开始构建,不想要基础模型覆盖,推理塔可以在宽松许可下独立调用, 把它当作感知基线,不是黑盒。在用你的基础设施押注排行榜声明之前,在与你工作负载相似的负载上运行你自己的 harness:NVIDIA 在此处主导的基准也是 NVIDIA 帮助定义的基准。