Decart 本週發布了 Oasis 3,一個即時互動式 world model,從單個文本提示生成照片級真實的駕駛場景,通過 API 提供,據 TechCrunch 報導為獨家。它產生一個為自動駕駛工作打造的多攝影機視角,一路前向、兩路側向的畫面流,以自迴歸方式每幀生成約 8000 個 token,速度為每秒數十幀。它通過 Decart 自有的優化層跑在 NVIDIA、Amazon 和 Google 硬體上,價格為每秒生成世界兩美分。CEO Dean Leitersdorf 說它的運行成本比業內任何其他東西低一個數量級以上,而且它是第一個足夠可用、人們可以真正在其之上編程的 world model。
注意事項沒有被埋起來,它們就是重點,標題也這麼說。長時間運行時世界會漂移:紐約的街道融化成通用城市,而如果你掉頭回去,你離開的地方已經不見、被替換了。方向控制從你手裡滑走。而且模型不模擬碰撞,車輛直接相互穿過,因為,Leitersdorf 說,訓練資料裡良好駕駛遠多於事故。他把碰撞這一缺口稱為公司正在攻克的一個重大研究難題。誠實的總結是:長時間會話感覺如夢境般、支離破碎,逐幀照片級真實,但跨越時間既不連貫也不符合物理。
這個缺口之所以重要,恰恰因為它的賣點。用例是自動駕駛訓練,而一個 AV 模擬器能產出的最有價值的東西就是危險時刻:險些相撞、被別車、那場你想讓車學會避免的碰撞。Oasis 3 把街道渲染得很美,卻還不能在物理上渲染那場撞車。所以這一押注是照片真實-優先、物理-其次,現在就便宜且可編程。這與該領域其餘的押注不同:DeepMind 的 Genie 3 是一個被鎖在每月 200 美元檔之後的通用 world model,Waymo 的 world model 在 5000 萬真實自動駕駛英里上訓練,NVIDIA 的 Cosmos 直接瞄準物理推理。Decart 成立兩年,完成了一輪 3 億美元融資、估值約 40 億美元,投資方包括 Toyota、Adobe、eBay 和 NVIDIA,稱總共燒掉的錢遠低於 1 億美元,並已為一個 10 萬以上開發者的社群運行即時影片模型 Lucy。
對於我們一直追蹤的這條線,這是 world-models-作為-訓練-substrate 裡第一個商業的、也是第一個被誠實標註注意事項的資料點,正是 Genie 3 兩天前開闢的賽道。substrate 現在可交付、有標價,而且比預期便宜一個數量級,這是會把 builders 吸進來的部分。但注意事項才是真正的信號:可用和物理上忠實還不是一回事,而對 embodied 訓練來說,這個區別就是全部。一個車輛相互穿過的模擬器可以教一個感知棧街道長什麼樣,卻不能教一個規劃棧在另一輛車不讓行時該怎麼辦。Decart 的路線圖,即用基於影片的生成代替圖像提示、更長的上下文、以及為一致性做的記憶壓縮,正直指這個缺口。照片真實-優先還是物理-優先在訓練 embodied agents 上勝出,如今是一個掛著價籤的活問題,而第一批真正的答案將來自任何嘗試在 Oasis 3 上訓練並回饋的人。