跳到主要内容
Zubnet AI › 学习 › Wiki › 自编码器
基础

自编码器

别名:Autoencoder、VAE、变分自编码器
一种神经网络,它学会把数据压缩成一小段编码,再从这段编码把数据重建出来。

为什么重要

如果你用过 Stable Diffusion、FLUX 或者大多数视频生成器,你就用过 VAE。这些模型并不直接生成像素,那样代价太高。它们在 VAE 压缩后的潜空间里生成(每个方向通常缩小 8 倍,位置数量就少了 64 倍),最后由 VAE 的解码器把结果还原成完整图片。消费级 GPU 能在几秒内生成一张 1024×1024 的图片,靠的就是 VAE。一些常见的瑕疵也来自它:小字糊成一团、远处的人脸发糊、颜色偏移,往往是 VAE 的问题,而不是扩散模型本身的问题。

自编码器还用于异常检测(模型重建不好的东西多半不寻常)、去噪,以及近年来借助稀疏自编码器开展的可解释性研究。

深度解析

自编码器由两半组成。编码器接收输入(比如一张图片),把它压缩成一组小得多的数字。解码器拿到这段压缩后的编码,尝试重建出原始输入。网络的训练目标很简单:让输出尽可能接近输入。由于中间的编码很小,网络没法把输入原样抄过去,它必须学会数据里真正重要的东西。

变分自编码器(VAE)多了一层设计:编码器不是把每个输入映射到一个点,而是输出一个小的概率分布,训练过程会把这些分布推向一个平滑、有序的空间。这样的空间可以采样,也可以在里面移动,而这正是生成模型需要的。

瓶颈正是关键

普通自编码器不需要任何标签就能学到压缩表示,是自监督学习的经典例子。瓶颈越窄,网络就越要丢掉噪声、保留结构。太窄,重建结果会模糊;太宽,它学到的就只是照抄。合适的大小取决于用途:图像生成用的 VAE 追求近乎完美的重建,而用于搜索的压缩模型可以接受更多损失。

“变分”带来了什么

普通自编码器的潜空间可能到处是空洞:随便取一个点,解码器输出的是垃圾,因为训练时从来没有数据落在那里。VAE 在损失函数里加了第二项(KL 散度),把每个编码分布拉向一个简单的标准形状。结果是一个连续的空间:相邻的点解码出相似的输出,随机采样也能解码出合理的结果。代价是,经典 VAE 单独使用时生成的图像往往略显模糊,所以现在它主要作为扩散模型的压缩环节,而不是自己充当生成器。

图像和视频模型里的 VAE

在潜空间扩散中,流程是:用 VAE 编码训练图片,训练扩散模型在这个潜空间里去噪,最后把潜变量解码回像素。只升级 VAE 就能让结果明显变清晰。新模型从 4 个潜通道(Stable Diffusion 1.x 和 SDXL)换到了 16 个通道(Stable Diffusion 3、FLUX),能保留文字、手部这类更精细的细节。视频模型使用 3D VAE,在时间维度上也做压缩,几秒钟的视频才放得进内存。

稀疏自编码器

一个相关的变体是稀疏自编码器,它不是在图片上训练,而是在语言模型的内部激活上训练。强制让编码中的大部分值为零,每个单元就倾向于表示一个可辨认的概念,这使它成为观察模型内部的重要工具。

← 所有术语
ESC