為什麼重要
簡單的介面把流程藏了起來,這沒問題,直到你想要它們不提供的東西:兩個強度不同的 LoRA,一遍 ControlNet 之後再接放大和臉部修復,或者用生成的首幀去驅動影片模型。在 ComfyUI 裡,這些只是多加幾個節點而已。
工作流程還可分享、可重現。一個工作流程就是一個 JSON 檔案,ComfyUI 會把它嵌入自己儲存的每張圖片的中繼資料裡。把別人的 PNG 拖到畫布上,你就得到了生成它的那張完整的圖。這讓 ComfyUI 成了開放影像和影片社群的通用語言,也成了工作室和廣告代理商的生產工具。
深度解析
ComfyUI 是一款免費的開源應用程式,用來在你自己的硬體上執行生成式模型。它給你的不是一個帶提示框和幾個滑桿的表單,而是一張由連線連接起來的節點畫布。每個節點只做一件事:載入模型、編碼提示、取樣、解碼影像、放大、儲存。你把它們連起來搭成一條流程,每一步都看得見、改得了。
它由一位網名 comfyanonymous 的開發者在 2023 年 1 月建立,最初是為了弄明白 Stable Diffusion 的工作原理。此後它成了進階本地影像和影片生成的標準工具,通常也是最早支援新開放模型的介面之一。
一張基礎的圖
預設的文生圖工作流程展示了擴散流程究竟由什麼組成:
- Load Checkpoint 輸出三樣東西:擴散模型、文字編碼器(CLIP)和 VAE。
- 兩個 CLIP Text Encode 節點把正向和負向提示轉成條件資訊(conditioning)。
- Empty Latent Image 設定解析度。
- KSampler 執行去噪步驟,使用你選擇的種子、步數、引導比例和取樣器。
- VAE Decode 把潛變數轉成像素。
- Save Image 寫入檔案。
弄懂這些之後,其他一切都是變體。把空的潛變數換成編碼後的影像,就成了圖生圖。在 checkpoint 和取樣器之間插入一個 LoRA 載入器。給條件資訊加上一個 ControlNet。
支援什麼
ComfyUI 可以執行 Stable Diffusion 1.5、SDXL、SD3 和 FLUX,Wan、HunyuanVideo 和 LTX-Video 等影片模型,以及音訊和 3D 模型。它以細緻的記憶體管理著稱:只載入模型中某一步需要的部分,其餘的可以卸載到系統記憶體,所以大模型也能在 VRAM 不多的 GPU 上跑起來,慢一些,但跑得通。它支援 NVIDIA、AMD、Intel 和 Apple Silicon 硬體。
自訂節點
ComfyUI 的強大很大程度上來自社群貢獻的數千個自訂節點(custom nodes),通常透過 ComfyUI-Manager 安裝。它們帶來新模型、放大器、臉部工具、影片工具和各種整合。
它們也是主要的風險所在。自訂節點是以你的使用者權限執行的任意 Python 程式碼,現實中已經發現過竊取憑證或挖加密貨幣的惡意節點。只安裝知名的節點,保持更新,並且不要在沒有保護的情況下把 ComfyUI 伺服器暴露到網際網路上。
畫布之外
ComfyUI 以本地伺服器的形式執行,並帶有 API。你可以把工作流程匯出為 API 格式,再用程式碼把它加入佇列,很多團隊就是這樣把一個測試過的工作流程放到產品背後的。自 2024 年起,這個專案由一家名為 Comfy Org 的公司營運,它發布了桌面版安裝程式,維護著自訂節點的註冊表,還加入了可選的節點來呼叫付費的託管模型。也有雲端服務為沒有合適 GPU 的人託管 ComfyUI。
與替代方案相比
AUTOMATIC1111 的 Stable Diffusion WebUI 及其後繼者 Forge 提供傳統的表單式介面,第一天上手更容易。InvokeAI 專注於為藝術家打磨的畫布。Fooocus 幾乎把一切都藏了起來。ComfyUI 的學習曲線最陡,上限也最高。一個不錯的入門方式是載入一個範本工作流程,生成一張圖,然後每次只改一個節點。