跳到主要内容
Zubnet AI › 学习 › Wiki › ComfyUI
工具

ComfyUI

别名:Comfy
一个开源的节点式界面,通过把模型和处理步骤连接成图来搭建图像、视频和音频生成流程。

为什么重要

简单的界面把流程藏了起来,这没问题,直到你想要它们不提供的东西:两个强度不同的 LoRA,一遍 ControlNet 之后再接放大和面部修复,或者用生成的首帧去驱动视频模型。在 ComfyUI 里,这些只是多加几个节点而已。

工作流还可分享、可复现。一个工作流就是一个 JSON 文件,ComfyUI 会把它嵌入自己保存的每张图片的元数据里。把别人的 PNG 拖到画布上,你就得到了生成它的那张完整的图。这让 ComfyUI 成了开放图像和视频社区的通用语言,也成了工作室和代理公司的生产工具。

深度解析

ComfyUI 是一款免费的开源应用,用来在你自己的硬件上运行生成式模型。它给你的不是一个带提示框和几个滑块的表单,而是一张由连线连接起来的节点画布。每个节点只做一件事:加载模型、编码提示、采样、解码图像、放大、保存。你把它们连起来搭成一条流程,每一步都看得见、改得了。

它由一位网名 comfyanonymous 的开发者在 2023 年 1 月创建,最初是为了弄明白 Stable Diffusion 的工作原理。此后它成了高级本地图像和视频生成的标准工具,通常也是最早支持新开放模型的界面之一。

一张基础的图

默认的文生图工作流展示了扩散流程究竟由什么组成:

  1. Load Checkpoint 输出三样东西:扩散模型、文本编码器(CLIP)和 VAE。
  2. 两个 CLIP Text Encode 节点把正向和负向提示转成条件信息(conditioning)。
  3. Empty Latent Image 设定分辨率。
  4. KSampler 执行去噪步骤,使用你选择的种子、步数、引导比例和采样器。
  5. VAE Decode 把潜变量转成像素。
  6. Save Image 写入文件。

弄懂这些之后,其他一切都是变体。把空的潜变量换成编码后的图像,就成了图生图。在 checkpoint 和采样器之间插入一个 LoRA 加载器。给条件信息加上一个 ControlNet。

支持什么

ComfyUI 可以运行 Stable Diffusion 1.5、SDXL、SD3 和 FLUX,Wan、HunyuanVideo 和 LTX-Video 等视频模型,以及音频和 3D 模型。它以细致的内存管理著称:只加载模型中某一步需要的部分,其余的可以卸载到系统内存,所以大模型也能在 VRAM 不多的 GPU 上跑起来,慢一些,但跑得通。它支持 NVIDIA、AMD、Intel 和 Apple Silicon 硬件。

自定义节点

ComfyUI 的强大很大程度上来自社区贡献的数千个自定义节点(custom nodes),通常通过 ComfyUI-Manager 安装。它们带来新模型、放大器、面部工具、视频工具和各种集成。

它们也是主要的风险所在。自定义节点是以你的用户权限运行的任意 Python 代码,现实中已经发现过窃取凭据或挖加密货币的恶意节点。只安装知名的节点,保持更新,并且不要在没有保护的情况下把 ComfyUI 服务器暴露到互联网上。

画布之外

ComfyUI 以本地服务器的形式运行,并带有 API。你可以把工作流导出为 API 格式,再用代码把它加入队列,很多团队就是这样把一个测试过的工作流放到产品背后的。自 2024 年起,这个项目由一家名为 Comfy Org 的公司运营,它发布了桌面版安装程序,维护着自定义节点的注册表,还加入了可选的节点来调用付费的托管模型。也有云服务为没有合适 GPU 的人托管 ComfyUI。

与替代方案相比

AUTOMATIC1111 的 Stable Diffusion WebUI 及其后继者 Forge 提供传统的表单式界面,第一天上手更容易。InvokeAI 专注于为艺术家打磨的画布。Fooocus 几乎把一切都藏了起来。ComfyUI 的学习曲线最陡,上限也最高。一个不错的入门方式是加载一个模板工作流,生成一张图,然后每次只改一个节点。

← 所有术语
ESC