跳到主要內容
Zubnet AI › 學習 › Wiki › ComfyUI
工具

ComfyUI

別名:Comfy
一個開源的節點式介面,透過把模型和處理步驟連接成圖來搭建影像、影片和音訊生成流程。

為什麼重要

簡單的介面把流程藏了起來,這沒問題,直到你想要它們不提供的東西:兩個強度不同的 LoRA,一遍 ControlNet 之後再接放大和臉部修復,或者用生成的首幀去驅動影片模型。在 ComfyUI 裡,這些只是多加幾個節點而已。

工作流程還可分享、可重現。一個工作流程就是一個 JSON 檔案,ComfyUI 會把它嵌入自己儲存的每張圖片的中繼資料裡。把別人的 PNG 拖到畫布上,你就得到了生成它的那張完整的圖。這讓 ComfyUI 成了開放影像和影片社群的通用語言,也成了工作室和廣告代理商的生產工具。

深度解析

ComfyUI 是一款免費的開源應用程式,用來在你自己的硬體上執行生成式模型。它給你的不是一個帶提示框和幾個滑桿的表單,而是一張由連線連接起來的節點畫布。每個節點只做一件事:載入模型、編碼提示、取樣、解碼影像、放大、儲存。你把它們連起來搭成一條流程,每一步都看得見、改得了。

它由一位網名 comfyanonymous 的開發者在 2023 年 1 月建立,最初是為了弄明白 Stable Diffusion 的工作原理。此後它成了進階本地影像和影片生成的標準工具,通常也是最早支援新開放模型的介面之一。

一張基礎的圖

預設的文生圖工作流程展示了擴散流程究竟由什麼組成:

  1. Load Checkpoint 輸出三樣東西:擴散模型、文字編碼器(CLIP)和 VAE。
  2. 兩個 CLIP Text Encode 節點把正向和負向提示轉成條件資訊(conditioning)。
  3. Empty Latent Image 設定解析度。
  4. KSampler 執行去噪步驟,使用你選擇的種子、步數、引導比例和取樣器。
  5. VAE Decode 把潛變數轉成像素。
  6. Save Image 寫入檔案。

弄懂這些之後,其他一切都是變體。把空的潛變數換成編碼後的影像,就成了圖生圖。在 checkpoint 和取樣器之間插入一個 LoRA 載入器。給條件資訊加上一個 ControlNet。

支援什麼

ComfyUI 可以執行 Stable Diffusion 1.5、SDXL、SD3 和 FLUX,Wan、HunyuanVideo 和 LTX-Video 等影片模型,以及音訊和 3D 模型。它以細緻的記憶體管理著稱:只載入模型中某一步需要的部分,其餘的可以卸載到系統記憶體,所以大模型也能在 VRAM 不多的 GPU 上跑起來,慢一些,但跑得通。它支援 NVIDIA、AMD、Intel 和 Apple Silicon 硬體。

自訂節點

ComfyUI 的強大很大程度上來自社群貢獻的數千個自訂節點(custom nodes),通常透過 ComfyUI-Manager 安裝。它們帶來新模型、放大器、臉部工具、影片工具和各種整合。

它們也是主要的風險所在。自訂節點是以你的使用者權限執行的任意 Python 程式碼,現實中已經發現過竊取憑證或挖加密貨幣的惡意節點。只安裝知名的節點,保持更新,並且不要在沒有保護的情況下把 ComfyUI 伺服器暴露到網際網路上。

畫布之外

ComfyUI 以本地伺服器的形式執行,並帶有 API。你可以把工作流程匯出為 API 格式,再用程式碼把它加入佇列,很多團隊就是這樣把一個測試過的工作流程放到產品背後的。自 2024 年起,這個專案由一家名為 Comfy Org 的公司營運,它發布了桌面版安裝程式,維護著自訂節點的註冊表,還加入了可選的節點來呼叫付費的託管模型。也有雲端服務為沒有合適 GPU 的人託管 ComfyUI。

與替代方案相比

AUTOMATIC1111 的 Stable Diffusion WebUI 及其後繼者 Forge 提供傳統的表單式介面,第一天上手更容易。InvokeAI 專注於為藝術家打磨的畫布。Fooocus 幾乎把一切都藏了起來。ComfyUI 的學習曲線最陡,上限也最高。一個不錯的入門方式是載入一個範本工作流程,生成一張圖,然後每次只改一個節點。

← 所有術語
ESC