Luma AI 讓 AI 視頻生成平民化,就像 Stable Diffusion 讓圖像生成平民化 — 透過讓所有人都能透過瀏覽器免費、快速且輕鬆使用。他們從 3D 採集新創公司演進為領先的視頻生成公司,再加上在空間理解方面獨特的技術深度,使他們成為少數真正能彌合 AI 視頻、3D 內容與未來沉浸式媒體格式之間差距的公司之一。
Lumo AI 於 2021 年由 Amit Jain 與 Jiaming Song 共同創立,兩人皆有來自史丹佛大學及其他頂尖機構的 3D 視覺與神經渲染研究背景。公司成立之初並非從視頻生成開始,而是從 3D 捕捉技術切入 — 其早期產品讓用戶能透過手機鏡頭掃描現實世界物件,並利用神經輻射場(NeRFs)生成高品質的 3D 模型。技術上令人印象深刻,但商業應用卻較為小眾。直到 2024 年中,Luma 推出 Dream Machine,這是一款首批普通用戶無需等待名單、無需研究機構背景或雄厚資金即可使用的 AI 視頻生成器,才真正讓 Luma 走上國際。用戶只需輸入提示詞,等待一分鐘或兩分鐘,就能獲得一段視頻。雖然畫質還不完美,但其可及性卻是前所未有的。
Dream Machine 發佈時正值 AI 視頻需求快速增長,但供應卻仍有限。Runway 虽然穩定但價格高昂,Sora 虽然在演示中令人驚嘆但尚未對外開放,Pika 虽然有忠實用戶但功能有限。在這段市場空窗期,Luma 推出了一款免費層級的視頻生成器,能從文字或圖片提示中生成令人驚訝的連貫視頻片段。網際網路的反應如預期般強烈 — 首週即產生數百萬次生成,社交媒體上瘋傳的影片,以及一波創作者首次嘗試使用 AI 製作電影的風潮。雖然模型仍有明顯限制(如片段較短、偶爾出現形變瑕疵、對人類手部與面部的處理較弱),但這款工具的易用性使其成為 AI 視頻的入門藥物。許多從未接觸過 Runway 或 ComfyUI 的創作者,突然開始生成 B-roll 長鏡頭、音樂視頻構思與實驗性短片。
若 Dream Machine 是 Luma 的概念驗證,Ray2 則是讓專業人士刮目相看的產品。於 2025 年初推出的 Ray2 在視頻品質、連貫性與物理理解方面都有顯著提升。鏡頭運動變得更具電影感且可控。物件在畫面中能維持其形狀與身份,而非逐漸形變。光影與反光表現出真實的物理感知,而非早期模型常見的塗鴉式近似。對創意社群而言,Ray2 讓 Luma 與 Runway 與 Kling 等公司成為同等級的競爭者 — 不僅是易用的免費選項,更是一款能在專業情境中站得住腳的真正競爭工具。特別強大的圖像到視頻功能,讓概念藝術家與分鏡設計師能將靜態畫面以一致的風格與動態帶入生命。
Luma 在 3D 捕捉與神經渲染方面的背景不僅僅是個人履歷的註腳 — 這讓他們擁有純粹 2D 到視頻公司所缺乏的技術視角。理解物件如何存在于三維空間、光線如何與表面互動、以及鏡頭如何穿過環境,這些知識提供了影響視頻模型的建築直覺。這在 Ray2 中體現在其特別強大的鏡頭運動與空間連貫性處理上。雖然競爭對手偶爾會生成看起來像動畫畫作的片段,Luma 的輸出則更像實際拍攝的 3D 情境鏡頭。公司也持續維持其 3D 生成能力,並推出 Genie 用於 3D 模型創作 — 這種組合在視頻、遊戲與 AR/VR 應用對 3D 資產需求增加的趨勢下,將變得越來越有價值。
Luma 已籌集超過 9000 萬美元資金,包括 2024 年的 4300 萬美元 B 輪融資。他們正處於一個市場幾乎快跟不上腳步的競爭環境 — 每幾個月就會有新公司推出新模型,聲稱達成新里程碑。他們的策略似乎是結合積極的 API 定價(讓 Luma 成為開發視頻應用的開發者可負擔的基礎設施選擇)、親民的免費層級(維持讓 Dream Machine 爆紅的可及性),以及透過 3D 專長持續技術差異化。Luma 面臨的最大挑戰與所有 AI 視頻新創公司相同:Google、OpenAI 或字節跳動可能僅憑資金優勢將所有人推向無關緊要的境地。Luma 的對策是速度、社群善意,以及大型語言模型公司需要數年時間才能從頭複製的 3D 理解技術基礎。