为什么重要
现代 AI 的大部分实际工作都发生在潜空间里。Stable Diffusion、FLUX 这类图像生成器先生成一个很小的潜变量,最后才解码成像素,所以快到能在笔记本上运行。RAG 系统把文本变成嵌入,再按点与点之间的距离来搜索。可解释性研究则试图从语言模型内部的潜在状态里读出含义。
理解潜空间也能解释很多现象。图像模型把两个概念搞混,常常是因为它们在空间里离得很近。语义搜索返回了关系很奇怪的结果,是因为嵌入模型出于人看不出来的原因把它放在了附近。
深度解析
“潜”就是隐藏的意思。潜空间是模型用来描述输入的一组内部数字,而不是原始输入本身。一张猫的图片可能有 300 万个像素值,但在模型内部,它变成几千个数字,记录的是“像不像猫”、姿态、光线和风格。每个输入都成为这个空间里的一个点,模型学着安排这个空间,让相似的东西落在一起。
你永远不会直接看到潜空间,你看到的是它带来的能力:能找到“相似”文档的搜索、能混合风格的图像生成器,以及懂得“国王”和“女王”有关联的模型。
几何承载含义
在训练良好的潜空间里,距离和方向都有意义。相近的点彼此相似。方向可以编码属性:词嵌入里那个著名的例子是,从“男人”到“女人”的向量,与从“国王”到“女王”的向量大致相同。在图像模型里,沿某个方向移动可能会加上笑容,或者改变一天中的时间。插值之所以有效也是这个原因:在两个潜变量之间走一条直线,就能得到两张图片之间的平滑过渡。
你会遇到的潜空间
- 嵌入空间:来自文本或图像嵌入模型,用于搜索、聚类和推荐。这里通常用余弦相似度来比较各个点。
- VAE 潜变量:用在图像和视频生成器里,是一张压缩后的网格,在空间上仍然像一张很小的图片,每条边通常缩小 8 倍。
- 隐藏状态:LLM 内部每一层、每个 token 对应的向量。它们维度极高(几千维),不是给人看的,却装着模型对文本的即时理解。
并非所有空间都平滑
潜空间好不好用,取决于它组织得好不好。普通自编码器可能留下空洞,随机取点会解码出毫无意义的东西。变分自编码器和扩散训练会让空间变得连续,在任何地方采样都能得到合理的结果。不同模型的嵌入空间也互不兼容:一个模型的向量对另一个模型毫无意义,所以更换嵌入模型时必须把整个语料库重新嵌入一遍。
高维空间很反直觉
潜空间往往有几百到几千维,二维、三维的直觉在这里不再适用。几乎所有随机向量都彼此近乎垂直,模型正是利用这一点,装下了比维度数量多得多的概念(参见“叠加”)。t-SNE、UMAP 这类可视化方法把这些空间压到二维画成图,但总会带来失真,所以只能把这些图当作草图,不能当作地图。