为什么重要
U-Net 有过两段职业生涯。第一段,它成了图像分割的标准架构,在医学影像领域尤其如此,至今仍随处可见。
第二段,它成了生成式 AI 图像热潮的引擎。Stable Diffusion 1.5、SDXL、DALL-E 2 和 Imagen 内部的去噪网络都是 U-Net。扩散模型要接收一张带噪声的图像,预测出一张同样大小、更干净的图像,这正是 U-Net 天生擅长的“图进图出”任务。如果你用过 ComfyUI 或下载过 Stable Diffusion 的检查点,那个很大的“UNet”文件就是它。
深度解析
U-Net 由弗莱堡大学的 Olaf Ronneberger、Philipp Fischer 和 Thomas Brox 在 2015 年提出,最初只为一件具体的事:用极少的训练数据在显微镜图像中勾画出细胞轮廓。它的名字来自它的形状。在下行路径上,卷积层一边反复缩小图像,一边提取越来越抽象的特征。在上行路径上,网络再把这些特征放大回完整分辨率。两侧对应的层级之间有跳跃连接(skip connection),把细节直接复制到另一侧。
最终得到的网络,输出是一张与输入同样大小的图像,既包含全局信息,也保留了像素级的细节。
跳跃连接为什么重要
缩小图像能让网络理解图里有什么,但会丢掉东西具体在哪里。跳跃连接把精确的空间细节从下行路径交给上行路径,让输出既语义正确又清晰锐利。没有它们,输出会发糊。
扩散模型里的 U-Net
扩散模型中的 U-Net 在 2015 年的设计上增加了几个部件:
- 残差块取代了普通卷积,让训练更稳定。
- 时间步条件:网络会被告知输入的噪声有多重,这样它才知道该去掉多少。
- 自注意力层放在较低分辨率处,让图像中相距很远的部分能够相互协调。
- 交叉注意力层负责读取文本提示的嵌入。文字正是在这里引导画面。
在潜在扩散中,U-Net 处理的不是像素,而是 VAE 压缩后的潜在表示,这才让它快到能在消费级 GPU 上运行。ControlNet 和 LoRA 这类附加组件都是围绕这个结构设计的。
转向 Transformer
大约从 2023 年起,顶尖的图像和视频模型开始用 Diffusion Transformer(DiT)取代 U-Net,它把潜在表示切成小块,像处理 token 一样处理它们。Stable Diffusion 3、FLUX、Sora 和大多数较新的视频模型都使用 DiT,因为 Transformer 随数据和算力的扩展更可预测,处理文本条件也更灵活。
依然活跃
在分割、去噪、超分辨率和其他密集预测任务上,U-Net 仍是默认选择,而且在小规模下很高效。SD 1.5 和 SDXL 这两个 U-Net 模型也仍然拥有庞大的社区,因为它们能在普通硬件上运行,而且背后积累了多年的微调成果。