跳到主要內容
Zubnet AI › 學習 › Wiki › JAX
工具

JAX

別名:Google JAX
Google 的高效能數值運算 Python 函式庫,把類似 NumPy 的 API 與自動微分、JIT 編譯和便捷的平行化結合在一起。

為什麼重要

JAX 是 Google DeepMind 以及 Google 大部分研究工作的主力框架。Gemini 和 AlphaFold 這樣的模型都是用它建構的。Google 之外也有人用:xAI 表示其訓練技術堆疊使用了 JAX;它在科學運算、物理模擬和機率程式設計領域也很受歡迎,可組合的轉換在這些地方大放異彩。

在更廣泛的社群裡,PyTorch 仍然常見得多。但如果你讀 Google 的研究程式碼,或者需要逐樣本梯度、為 TPU 高度最佳化的程式碼這類東西,你就會遇到 JAX。

深度解析

JAX 是 Google 的一個開源函式庫,最早發布於 2018 年。表面上它看起來像 NumPy:你用陣列和數學函數寫 jax.numpy 程式碼。在底層,它加入了一組函式轉換,把普通的 Python 函式變成能在 GPU 和 TPU 上執行的快速、可微分、可平行化的程式。

它本身不是一個深度學習框架。它沒有內建的層或最佳化器。這些來自建構在它之上的函式庫,比如用於神經網路的 Flax 和 Equinox,以及用於最佳化器的 Optax。JAX 是它們底下的引擎。

四種轉換

  • grad 接收一個函式,回傳一個計算其梯度的新函式。應用兩次就得到二階導數。
  • jit 用 XLA 編譯器把函式編譯成針對 CPU、GPU 或 TPU 最佳化的程式碼。
  • vmap 把為單個樣本寫的函式自動向量化,讓它在整個批次上執行。
  • pmap 和更新的分片(sharding)工具把計算分散到多個裝置上。

它們的威力在於可以組合:

import jax
import jax.numpy as jnp

def loss(w, x, y):
    return jnp.mean((x @ w - y) ** 2)

# a compiled gradient function
grad_fn = jax.jit(jax.grad(loss))

# one gradient per example instead of one for the batch
per_example = jax.vmap(jax.grad(loss), in_axes=(None, 0, 0))

函數式的設計

JAX 要求使用純函式:輸出只取決於輸入,並且不做任何原地修改。這帶來了一些讓新手意外的後果。

  • 陣列不可變。 你不能寫 x[0] = 1,而要寫 x = x.at[0].set(1)。
  • 模型參數放在模型之外。 它們以巢狀字典或其他「pytree」的形式傳入函式,更新後再回傳,而不是藏在物件裡。
  • 亂數是顯式的。 沒有全域種子。你建立一個 key,每次需要隨機性時把它拆分一次,這樣即使在平行程式碼裡結果也可重現。
  • 在 jit 下 Python 控制流受限。 編譯後的函式只會被追蹤一次,所以依賴陣列取值的 if 必須改用 jax.lax.cond 或類似的結構。

正是這些規則讓編譯器可以大膽最佳化,但也讓 JAX 比 PyTorch 更難學、更難除錯。

生態系統

  • Flax 和 Equinox:神經網路函式庫。
  • Optax:最佳化器和學習率排程。
  • Keras 3:可以把 JAX、PyTorch 或 TensorFlow 作為可互換的後端來執行。
  • 參考程式碼:Google 經常用 JAX 發布模型程式碼,AlphaFold 和 Gemma 都是如此。

JAX 的思想已經擴散開來。PyTorch 加入了 torch.func,提供 JAX 風格的 vmap 和 grad,Apple 的 MLX 也借鑑了它可組合的轉換。

JAX 還是 PyTorch?

預設選 PyTorch:教學更多、預訓練模型更多、函式庫更多、除錯更容易,社群也最大。當你想從編譯後的程式碼裡榨出最高效能、在 TPU 上執行、工作中科學運算和深度學習各佔一半,或者需要逐樣本梯度、雅可比矩陣、海森矩陣這類轉換變得簡單時,就選 JAX。

← 所有術語
ESC