为什么重要
简单的界面把流程藏了起来,这没问题,直到你想要它们不提供的东西:两个强度不同的 LoRA,一遍 ControlNet 之后再接放大和面部修复,或者用生成的首帧去驱动视频模型。在 ComfyUI 里,这些只是多加几个节点而已。
工作流还可分享、可复现。一个工作流就是一个 JSON 文件,ComfyUI 会把它嵌入自己保存的每张图片的元数据里。把别人的 PNG 拖到画布上,你就得到了生成它的那张完整的图。这让 ComfyUI 成了开放图像和视频社区的通用语言,也成了工作室和代理公司的生产工具。
深度解析
ComfyUI 是一款免费的开源应用,用来在你自己的硬件上运行生成式模型。它给你的不是一个带提示框和几个滑块的表单,而是一张由连线连接起来的节点画布。每个节点只做一件事:加载模型、编码提示、采样、解码图像、放大、保存。你把它们连起来搭成一条流程,每一步都看得见、改得了。
它由一位网名 comfyanonymous 的开发者在 2023 年 1 月创建,最初是为了弄明白 Stable Diffusion 的工作原理。此后它成了高级本地图像和视频生成的标准工具,通常也是最早支持新开放模型的界面之一。
一张基础的图
默认的文生图工作流展示了扩散流程究竟由什么组成:
- Load Checkpoint 输出三样东西:扩散模型、文本编码器(CLIP)和 VAE。
- 两个 CLIP Text Encode 节点把正向和负向提示转成条件信息(conditioning)。
- Empty Latent Image 设定分辨率。
- KSampler 执行去噪步骤,使用你选择的种子、步数、引导比例和采样器。
- VAE Decode 把潜变量转成像素。
- Save Image 写入文件。
弄懂这些之后,其他一切都是变体。把空的潜变量换成编码后的图像,就成了图生图。在 checkpoint 和采样器之间插入一个 LoRA 加载器。给条件信息加上一个 ControlNet。
支持什么
ComfyUI 可以运行 Stable Diffusion 1.5、SDXL、SD3 和 FLUX,Wan、HunyuanVideo 和 LTX-Video 等视频模型,以及音频和 3D 模型。它以细致的内存管理著称:只加载模型中某一步需要的部分,其余的可以卸载到系统内存,所以大模型也能在 VRAM 不多的 GPU 上跑起来,慢一些,但跑得通。它支持 NVIDIA、AMD、Intel 和 Apple Silicon 硬件。
自定义节点
ComfyUI 的强大很大程度上来自社区贡献的数千个自定义节点(custom nodes),通常通过 ComfyUI-Manager 安装。它们带来新模型、放大器、面部工具、视频工具和各种集成。
它们也是主要的风险所在。自定义节点是以你的用户权限运行的任意 Python 代码,现实中已经发现过窃取凭据或挖加密货币的恶意节点。只安装知名的节点,保持更新,并且不要在没有保护的情况下把 ComfyUI 服务器暴露到互联网上。
画布之外
ComfyUI 以本地服务器的形式运行,并带有 API。你可以把工作流导出为 API 格式,再用代码把它加入队列,很多团队就是这样把一个测试过的工作流放到产品背后的。自 2024 年起,这个项目由一家名为 Comfy Org 的公司运营,它发布了桌面版安装程序,维护着自定义节点的注册表,还加入了可选的节点来调用付费的托管模型。也有云服务为没有合适 GPU 的人托管 ComfyUI。
与替代方案相比
AUTOMATIC1111 的 Stable Diffusion WebUI 及其后继者 Forge 提供传统的表单式界面,第一天上手更容易。InvokeAI 专注于为艺术家打磨的画布。Fooocus 几乎把一切都藏了起来。ComfyUI 的学习曲线最陡,上限也最高。一个不错的入门方式是加载一个模板工作流,生成一张图,然后每次只改一个节点。