Saltar al contenido principal
Zubnet AI › Aprender › Wiki › JAX
Herramientas

JAX

También conocido como: Google JAX
La biblioteca de Python de Google para cómputo numérico de alto rendimiento, que combina una API al estilo de NumPy con diferenciación automática, compilación JIT y paralelismo sencillo.

Por qué importa

JAX es el framework principal en Google DeepMind y en buena parte de la investigación de Google. Modelos como Gemini y AlphaFold se construyeron con ella. También se usa fuera de Google: xAI ha dicho que usa JAX en su stack de entrenamiento, y es popular en computación científica, simulación física y programación probabilística, donde sus transformaciones componibles brillan.

PyTorch sigue siendo mucho más común en la comunidad en general. Pero si lees código de investigación de Google, o necesitas cosas como gradientes por muestra o código muy optimizado para TPU, te vas a encontrar con JAX.

En profundidad

JAX es una biblioteca de código abierto de Google, publicada por primera vez en 2018. En la superficie se parece a NumPy: escribes código con jax.numpy usando arreglos y funciones matemáticas. Por debajo, agrega un conjunto de transformaciones de funciones que convierten funciones simples de Python en programas rápidos, diferenciables y paralelos que corren en GPU y TPU.

No es un framework de deep learning por sí sola. No trae capas ni optimizadores integrados. Esos vienen de bibliotecas construidas encima, como Flax y Equinox para redes neuronales y Optax para optimizadores. JAX es el motor que está debajo.

Las cuatro transformaciones

  • grad toma una función y devuelve una nueva función que calcula su gradiente. Aplícala dos veces para obtener segundas derivadas.
  • jit compila una función con el compilador XLA en código optimizado para CPU, GPU o TPU.
  • vmap vectoriza automáticamente una función escrita para un solo ejemplo para que corra sobre un lote completo.
  • pmap y las herramientas de sharding más nuevas reparten el cómputo entre varios dispositivos.

Su poder está en que se componen:

import jax
import jax.numpy as jnp

def loss(w, x, y):
    return jnp.mean((x @ w - y) ** 2)

# a compiled gradient function
grad_fn = jax.jit(jax.grad(loss))

# one gradient per example instead of one for the batch
per_example = jax.vmap(jax.grad(loss), in_axes=(None, 0, 0))

Funcional por diseño

JAX exige funciones puras: la salida depende solo de las entradas, y nada se modifica en el lugar. Esto tiene consecuencias que sorprenden a quienes recién llegan.

  • Los arreglos son inmutables. En lugar de x[0] = 1, escribes x = x.at[0].set(1).
  • Los parámetros del modelo viven fuera del modelo. Se pasan a las funciones como diccionarios anidados u otros «pytrees» y se devuelven actualizados, en lugar de estar escondidos dentro de objetos.
  • Los números aleatorios son explícitos. No hay una semilla global. Creas una clave y la divides cada vez que necesitas aleatoriedad, lo que mantiene los resultados reproducibles incluso en código paralelo.
  • El control de flujo de Python está limitado bajo jit. Una función compilada se traza una sola vez, así que un if que depende del valor de un arreglo debe usar jax.lax.cond o una construcción similar.

Estas reglas son las que le permiten al compilador optimizar agresivamente, pero hacen que JAX sea más difícil de aprender y de depurar que PyTorch.

El ecosistema

  • Flax y Equinox: bibliotecas de redes neuronales.
  • Optax: optimizadores y programas de tasa de aprendizaje.
  • Keras 3: corre sobre JAX, PyTorch o TensorFlow como backends intercambiables.
  • Código de referencia: Google suele publicar el código de sus modelos en JAX, como hizo con AlphaFold y Gemma.

Las ideas de JAX se han extendido. PyTorch agregó torch.func, con vmap y grad al estilo de JAX, y MLX de Apple toma prestadas sus transformaciones componibles.

¿JAX o PyTorch?

Elige PyTorch por defecto: más tutoriales, más modelos preentrenados, más bibliotecas, depuración más fácil y la comunidad más grande. Elige JAX cuando quieras el máximo rendimiento del código compilado, cuando corras en TPU, cuando tu trabajo sea tanto computación científica como deep learning, o cuando necesites que transformaciones como los gradientes por muestra, los jacobianos o los hessianos sean fáciles.

← Todos los términos
ESC