为什么重要
JAX 是 Google DeepMind 以及 Google 大部分研究工作的主力框架。Gemini 和 AlphaFold 这样的模型都是用它构建的。Google 之外也有人用:xAI 表示其训练技术栈使用了 JAX;它在科学计算、物理仿真和概率编程领域也很受欢迎,可组合的变换在这些地方大放异彩。
在更广泛的社区里,PyTorch 仍然常见得多。但如果你读 Google 的研究代码,或者需要逐样本梯度、为 TPU 高度优化的代码这类东西,你就会遇到 JAX。
深度解析
JAX 是 Google 的一个开源库,最早发布于 2018 年。表面上它看起来像 NumPy:你用数组和数学函数写 jax.numpy 代码。在底层,它加入了一组函数变换,把普通的 Python 函数变成能在 GPU 和 TPU 上运行的快速、可微分、可并行的程序。
它本身不是一个深度学习框架。它没有内置的层或优化器。这些来自构建在它之上的库,比如用于神经网络的 Flax 和 Equinox,以及用于优化器的 Optax。JAX 是它们底下的引擎。
四种变换
grad接收一个函数,返回一个计算其梯度的新函数。应用两次就得到二阶导数。jit用 XLA 编译器把函数编译成针对 CPU、GPU 或 TPU 优化的代码。vmap把为单个样本写的函数自动向量化,让它在整个批次上运行。pmap和更新的分片(sharding)工具把计算分散到多个设备上。
它们的威力在于可以组合:
import jax
import jax.numpy as jnp
def loss(w, x, y):
return jnp.mean((x @ w - y) ** 2)
# a compiled gradient function
grad_fn = jax.jit(jax.grad(loss))
# one gradient per example instead of one for the batch
per_example = jax.vmap(jax.grad(loss), in_axes=(None, 0, 0))
函数式的设计
JAX 要求使用纯函数:输出只取决于输入,并且不做任何原地修改。这带来了一些让新手意外的后果。
- 数组不可变。 你不能写
x[0] = 1,而要写x = x.at[0].set(1)。 - 模型参数放在模型之外。 它们以嵌套字典或其他“pytree”的形式传入函数,更新后再返回,而不是藏在对象里。
- 随机数是显式的。 没有全局种子。你创建一个 key,每次需要随机性时把它拆分一次,这样即使在并行代码里结果也可复现。
- 在
jit下 Python 控制流受限。 编译后的函数只会被追踪一次,所以依赖数组取值的if必须改用jax.lax.cond或类似的结构。
正是这些规则让编译器可以大胆优化,但也让 JAX 比 PyTorch 更难学、更难调试。
生态系统
- Flax 和 Equinox:神经网络库。
- Optax:优化器和学习率调度。
- Keras 3:可以把 JAX、PyTorch 或 TensorFlow 作为可互换的后端来运行。
- 参考代码:Google 经常用 JAX 发布模型代码,AlphaFold 和 Gemma 都是如此。
JAX 的思想已经扩散开来。PyTorch 加入了 torch.func,提供 JAX 风格的 vmap 和 grad,Apple 的 MLX 也借鉴了它可组合的变换。
JAX 还是 PyTorch?
默认选 PyTorch:教程更多、预训练模型更多、库更多、调试更容易,社区也最大。当你想从编译后的代码里榨出最高性能、在 TPU 上运行、工作中科学计算和深度学习各占一半,或者需要逐样本梯度、雅可比矩阵、海森矩阵这类变换变得简单时,就选 JAX。