為什麼重要
JAX 是 Google DeepMind 以及 Google 大部分研究工作的主力框架。Gemini 和 AlphaFold 這樣的模型都是用它建構的。Google 之外也有人用:xAI 表示其訓練技術堆疊使用了 JAX;它在科學運算、物理模擬和機率程式設計領域也很受歡迎,可組合的轉換在這些地方大放異彩。
在更廣泛的社群裡,PyTorch 仍然常見得多。但如果你讀 Google 的研究程式碼,或者需要逐樣本梯度、為 TPU 高度最佳化的程式碼這類東西,你就會遇到 JAX。
深度解析
JAX 是 Google 的一個開源函式庫,最早發布於 2018 年。表面上它看起來像 NumPy:你用陣列和數學函數寫 jax.numpy 程式碼。在底層,它加入了一組函式轉換,把普通的 Python 函式變成能在 GPU 和 TPU 上執行的快速、可微分、可平行化的程式。
它本身不是一個深度學習框架。它沒有內建的層或最佳化器。這些來自建構在它之上的函式庫,比如用於神經網路的 Flax 和 Equinox,以及用於最佳化器的 Optax。JAX 是它們底下的引擎。
四種轉換
grad接收一個函式,回傳一個計算其梯度的新函式。應用兩次就得到二階導數。jit用 XLA 編譯器把函式編譯成針對 CPU、GPU 或 TPU 最佳化的程式碼。vmap把為單個樣本寫的函式自動向量化,讓它在整個批次上執行。pmap和更新的分片(sharding)工具把計算分散到多個裝置上。
它們的威力在於可以組合:
import jax
import jax.numpy as jnp
def loss(w, x, y):
return jnp.mean((x @ w - y) ** 2)
# a compiled gradient function
grad_fn = jax.jit(jax.grad(loss))
# one gradient per example instead of one for the batch
per_example = jax.vmap(jax.grad(loss), in_axes=(None, 0, 0))
函數式的設計
JAX 要求使用純函式:輸出只取決於輸入,並且不做任何原地修改。這帶來了一些讓新手意外的後果。
- 陣列不可變。 你不能寫
x[0] = 1,而要寫x = x.at[0].set(1)。 - 模型參數放在模型之外。 它們以巢狀字典或其他「pytree」的形式傳入函式,更新後再回傳,而不是藏在物件裡。
- 亂數是顯式的。 沒有全域種子。你建立一個 key,每次需要隨機性時把它拆分一次,這樣即使在平行程式碼裡結果也可重現。
- 在
jit下 Python 控制流受限。 編譯後的函式只會被追蹤一次,所以依賴陣列取值的if必須改用jax.lax.cond或類似的結構。
正是這些規則讓編譯器可以大膽最佳化,但也讓 JAX 比 PyTorch 更難學、更難除錯。
生態系統
- Flax 和 Equinox:神經網路函式庫。
- Optax:最佳化器和學習率排程。
- Keras 3:可以把 JAX、PyTorch 或 TensorFlow 作為可互換的後端來執行。
- 參考程式碼:Google 經常用 JAX 發布模型程式碼,AlphaFold 和 Gemma 都是如此。
JAX 的思想已經擴散開來。PyTorch 加入了 torch.func,提供 JAX 風格的 vmap 和 grad,Apple 的 MLX 也借鑑了它可組合的轉換。
JAX 還是 PyTorch?
預設選 PyTorch:教學更多、預訓練模型更多、函式庫更多、除錯更容易,社群也最大。當你想從編譯後的程式碼裡榨出最高效能、在 TPU 上執行、工作中科學運算和深度學習各佔一半,或者需要逐樣本梯度、雅可比矩陣、海森矩陣這類轉換變得簡單時,就選 JAX。