跳到主要內容
Zubnet AI › 學習 › Wiki › 自編碼器
基礎

自編碼器

別名:Autoencoder、VAE、變分自編碼器
一種神經網路,它學會把資料壓縮成一小段編碼,再從這段編碼把資料重建出來。

為什麼重要

如果你用過 Stable Diffusion、FLUX 或者大多數影片生成器,你就用過 VAE。這些模型並不直接生成像素,那樣代價太高。它們在 VAE 壓縮後的潛空間裡生成(每個方向通常縮小 8 倍,位置數量就少了 64 倍),最後由 VAE 的解碼器把結果還原成完整圖片。消費級 GPU 能在幾秒內生成一張 1024×1024 的圖片,靠的就是 VAE。一些常見的瑕疵也來自它:小字糊成一團、遠處的人臉發糊、顏色偏移,往往是 VAE 的問題,而不是擴散模型本身的問題。

自編碼器還用於異常偵測(模型重建不好的東西多半不尋常)、去噪,以及近年來藉助稀疏自編碼器開展的可解釋性研究。

深度解析

自編碼器由兩半組成。編碼器接收輸入(比如一張圖片),把它壓縮成一組小得多的數字。解碼器拿到這段壓縮後的編碼,嘗試重建出原始輸入。網路的訓練目標很簡單:讓輸出儘可能接近輸入。由於中間的編碼很小,網路沒法把輸入原樣抄過去,它必須學會資料裡真正重要的東西。

變分自編碼器(VAE)多了一層設計:編碼器不是把每個輸入對應到一個點,而是輸出一個小的機率分布,訓練過程會把這些分布推向一個平滑、有序的空間。這樣的空間可以取樣,也可以在裡面移動,而這正是生成模型需要的。

瓶頸正是關鍵

普通自編碼器不需要任何標籤就能學到壓縮表示,是自監督式學習的經典例子。瓶頸越窄,網路就越要丟掉雜訊、保留結構。太窄,重建結果會模糊;太寬,它學到的就只是照抄。合適的大小取決於用途:影像生成用的 VAE 追求近乎完美的重建,而用於搜尋的壓縮模型可以接受更多損失。

「變分」帶來了什麼

普通自編碼器的潛空間可能到處是空洞:隨便取一個點,解碼器輸出的是垃圾,因為訓練時從來沒有資料落在那裡。VAE 在損失函數裡加了第二項(KL 散度),把每個編碼分布拉向一個簡單的標準形狀。結果是一個連續的空間:相鄰的點解碼出相似的輸出,隨機取樣也能解碼出合理的結果。代價是,經典 VAE 單獨使用時生成的影像往往略顯模糊,所以現在它主要作為擴散模型的壓縮環節,而不是自己充當生成器。

影像和影片模型裡的 VAE

在潛空間擴散中,流程是:用 VAE 編碼訓練圖片,訓練擴散模型在這個潛空間裡去噪,最後把潛變數解碼回像素。只升級 VAE 就能讓結果明顯變清晰。新模型從 4 個潛通道(Stable Diffusion 1.x 和 SDXL)換到了 16 個通道(Stable Diffusion 3、FLUX),能保留文字、手部這類更精細的細節。影片模型使用 3D VAE,在時間維度上也做壓縮,幾秒鐘的影片才放得進記憶體。

稀疏自編碼器

一個相關的變體是稀疏自編碼器,它不是在圖片上訓練,而是在語言模型的內部激活上訓練。強制讓編碼中的大部分值為零,每個單元就傾向於表示一個可辨認的概念,這使它成為觀察模型內部的重要工具。

← 所有術語
ESC