NVIDIA 今天發布 Cosmos 3:一個開放的物理 AI 基礎模型,原生輸出關節角度和夾爪位置,這意味著策略訓練不再需要經過單獨的頭部來將影片預測翻譯為動作。架構是雙塔的 Mixture-of-Transformers(MoT), 一個視覺語言推理塔解釋運動、物體互動和物理上下文,一個生成塔通過擴散產生未來觀察和動作序列。今天上線兩個尺寸:Cosmos 3 Nano(16B 參數,RTX PRO 6000 級工作站)和 Cosmos 3 Super(64B,Hopper/Blackwell 資料中心)。Edge 版本即將到來。權重在 HuggingFace 上,基於 OpenMDW 1.1(Linux Foundation 的寬鬆授權), 可訓練、修改、再分發。
MoT 中值得停下來看的細節:資訊從推理塔單向流向生成塔。推理塔是一個自迴歸 VLM,可以獨立呼叫;生成塔啟動兩個塔。這不是完全聯合的單系統架構, 這是推理塔然後生成塔,推理塔可以獨立存在。動作頭是原生的:數值動作資料(關節角度、夾爪位置)與文字、圖像、影片和環境音訊輸出共存。NVIDIA 報告 Cosmos 3 在 VANTAGE-Bench(32B 和 8B 級別)、PAI-Bench、R-Bench、Physics-IQ 和 RoboLab 上的開放權重中領先。發布材料中沒有出現與 GR00T N1 或 Gemini Robotics 的數值對比,每個排行榜的污染情況也沒有揭露。量化選項(BF16、FP8、NVFP4)和六個用於後訓練的開放合成資料生成資料集同時發布。技術報告在 research.nvidia.com/labs/cosmos-lab/cosmos3。
Cosmos Coalition 是生態訊號:Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI 作為共建者排隊。這個帳篷從人形硬體(Agile、Skild)延伸到媒體生成(BFL、Runway、LTX),再到基礎模型層(Generalist)。NVIDIA 的賭注是同樣的 MoT 基底服務於兩個世界, 機器人策略的合成資料和媒體的高保真影片生成。對於對在機器人感知之上堆疊基礎模型持懷疑態度的 builders, 那些從 predictive coding、SLAM 和 ROS2 視覺堆疊這樣的原語開始建構的人, 單向 MoT 實際上比行銷暗示的更接近你的陣營。將「解釋場景」和「生成下一個狀態」分開是正確的分解方式;推理塔可獨立呼叫意味著你可以將其用作感知頭,並帶上自己的控制器。OpenMDW 1.1 讓這在法律上是乾淨的。
週一早上,如果你訓練機器人策略:Cosmos 3 Super 現在是你最強的開放合成資料生成基準線,領先於純影片預測模型,因為動作頭是原生的。如果你在邊緣或工作站上部署推論,Cosmos 3 Nano(16B)是實際目標, 等待或關注 Edge。如果你從原語開始建構,不想要基礎模型覆蓋,推理塔可以在寬鬆授權下獨立呼叫, 把它當作感知基準線,不是黑盒。在用你的基礎設施押注排行榜聲明之前,在與你工作負載相似的負載上執行你自己的 harness:NVIDIA 在此處主導的基準也是 NVIDIA 幫助定義的基準。