跳到主要內容
Zubnet AI › 學習 › Wiki › U-Net
模型

U-Net

別名:UNet
一種 U 形卷積網路,先把影像逐步縮小,再藉助跳躍連接把它重建回來,也是第一波擴散模型的骨幹。

為什麼重要

U-Net 有過兩段職業生涯。第一段,它成了影像分割的標準架構,在醫學影像領域尤其如此,至今仍隨處可見。

第二段,它成了生成式 AI 影像熱潮的引擎。Stable Diffusion 1.5、SDXL、DALL-E 2 和 Imagen 內部的去噪網路都是 U-Net。擴散模型要接收一張帶雜訊的影像,預測出一張同樣大小、更乾淨的影像,這正是 U-Net 天生擅長的「圖進圖出」任務。如果你用過 ComfyUI 或下載過 Stable Diffusion 的檢查點,那個很大的「UNet」檔案就是它。

深度解析

U-Net 由弗萊堡大學的 Olaf Ronneberger、Philipp Fischer 和 Thomas Brox 在 2015 年提出,最初只為一件具體的事:用極少的訓練資料在顯微鏡影像中勾畫出細胞輪廓。它的名字來自它的形狀。在下行路徑上,卷積層一邊反覆縮小影像,一邊提取越來越抽象的特徵。在上行路徑上,網路再把這些特徵放大回完整解析度。兩側對應的層級之間有跳躍連接(skip connection),把細節直接複製到另一側。

最終得到的網路,輸出是一張與輸入同樣大小的影像,既包含全域資訊,也保留了像素級的細節。

跳躍連接為什麼重要

縮小影像能讓網路理解圖裡有什麼,但會丟掉東西具體在哪裡。跳躍連接把精確的空間細節從下行路徑交給上行路徑,讓輸出既語意正確又清晰銳利。沒有它們,輸出會發糊。

擴散模型裡的 U-Net

擴散模型中的 U-Net 在 2015 年的設計上增加了幾個部件:

  • 殘差塊取代了普通卷積,讓訓練更穩定。
  • 時間步條件:網路會被告知輸入的雜訊有多重,這樣它才知道該去掉多少。
  • 自注意力層放在較低解析度處,讓影像中相距很遠的部分能夠相互協調。
  • 交叉注意力層負責讀取文字提示的嵌入。文字正是在這裡引導畫面。

在潛在擴散中,U-Net 處理的不是像素,而是 VAE 壓縮後的潛在表示,這才讓它快到能在消費級 GPU 上執行。ControlNet 和 LoRA 這類附加元件都是圍繞這個結構設計的。

轉向 Transformer

大約從 2023 年起,頂尖的影像和影片模型開始用 Diffusion Transformer(DiT)取代 U-Net,它把潛在表示切成小塊,像處理 token 一樣處理它們。Stable Diffusion 3、FLUX、Sora 和大多數較新的影片模型都使用 DiT,因為 Transformer 隨資料和算力的擴展更可預測,處理文字條件也更靈活。

依然活躍

在分割、去噪、超解析度和其他密集預測任務上,U-Net 仍是預設選擇,而且在小規模下很高效。SD 1.5 和 SDXL 這兩個 U-Net 模型也仍然擁有龐大的社群,因為它們能在普通硬體上執行,而且背後累積了多年的微調成果。

← 所有術語
ESC