Decart 本周发布了 Oasis 3,一个实时交互式 world model,从单个文本提示生成照片级真实的驾驶场景,通过 API 提供,据 TechCrunch 报道为独家。它产生一个为自动驾驶工作打造的多摄像头视角,一路前向、两路侧向的画面流,以自回归方式每帧生成约 8000 个 token,速度为每秒数十帧。它通过 Decart 自有的优化层跑在 NVIDIA、Amazon 和 Google 硬件上,价格为每秒生成世界两美分。CEO Dean Leitersdorf 说它的运行成本比业内任何其他东西低一个数量级以上,而且它是第一个足够可用、人们可以真正在其之上编程的 world model。
注意事项没有被埋起来,它们就是重点,标题也这么说。长时间运行时世界会漂移:纽约的街道融化成通用城市,而如果你掉头回去,你离开的地方已经不见、被替换了。方向控制从你手里滑走。而且模型不模拟碰撞,车辆直接相互穿过,因为,Leitersdorf 说,训练数据里良好驾驶远多于事故。他把碰撞这一缺口称为公司正在攻克的一个重大研究难题。诚实的总结是:长时间会话感觉如梦境般、支离破碎,逐帧照片级真实,但跨越时间既不连贯也不符合物理。
这个缺口之所以重要,恰恰因为它的卖点。用例是自动驾驶训练,而一个 AV 模拟器能产出的最有价值的东西就是危险时刻:险些相撞、被别车、那场你想让车学会避免的碰撞。Oasis 3 把街道渲染得很美,却还不能在物理上渲染那场撞车。所以这一押注是照片真实-优先、物理-其次,现在就便宜且可编程。这与该领域其余的押注不同:DeepMind 的 Genie 3 是一个被锁在每月 200 美元档之后的通用 world model,Waymo 的 world model 在 5000 万真实自动驾驶英里上训练,NVIDIA 的 Cosmos 直接瞄准物理推理。Decart 成立两年,完成了一轮 3 亿美元融资、估值约 40 亿美元,投资方包括 Toyota、Adobe、eBay 和 NVIDIA,称总共烧掉的钱远低于 1 亿美元,并已为一个 10 万以上开发者的社区运行实时视频模型 Lucy。
对于我们一直追踪的这条线,这是 world-models-作为-训练-substrate 里第一个商业的、也是第一个被诚实标注注意事项的数据点,正是 Genie 3 两天前开辟的赛道。substrate 现在可交付、有标价,而且比预期便宜一个数量级,这是会把 builders 吸进来的部分。但注意事项才是真正的信号:可用和物理上忠实还不是一回事,而对 embodied 训练来说,这个区别就是全部。一个车辆相互穿过的模拟器可以教一个感知栈街道长什么样,却不能教一个规划栈在另一辆车不让行时该怎么办。Decart 的路线图,即用基于视频的生成代替图像提示、更长的上下文、以及为一致性做的记忆压缩,正直指这个缺口。照片真实-优先还是物理-优先在训练 embodied agents 上胜出,如今是一个挂着价签的活问题,而第一批真正的答案将来自任何尝试在 Oasis 3 上训练并反馈的人。