Pourquoi c'est important
JAX est le framework principal chez Google DeepMind et dans une grande partie de la recherche de Google. Des modèles comme Gemini et AlphaFold ont été construits avec. Elle est aussi utilisée en dehors de Google : xAI a déclaré utiliser JAX dans sa pile d'entraînement, et elle est populaire en calcul scientifique, en simulation physique et en programmation probabiliste, où ses transformations composables font merveille.
PyTorch reste bien plus répandu dans l'ensemble de la communauté. Mais si vous lisez du code de recherche de Google, ou si vous avez besoin de choses comme des gradients par échantillon ou du code très optimisé pour les TPU, vous croiserez JAX.
En profondeur
JAX est une bibliothèque open source de Google, publiée pour la première fois en 2018. En surface, elle ressemble à NumPy : vous écrivez du code jax.numpy avec des tableaux et des fonctions mathématiques. En dessous, elle ajoute un ensemble de transformations de fonctions qui changent de simples fonctions Python en programmes rapides, différentiables et parallèles, capables de tourner sur GPU et TPU.
Ce n'est pas un framework de deep learning à elle seule. Elle n'a ni couches ni optimiseurs intégrés. Ceux-ci viennent de bibliothèques construites par-dessus, comme Flax et Equinox pour les réseaux de neurones et Optax pour les optimiseurs. JAX est le moteur en dessous.
Les quatre transformations
gradprend une fonction et renvoie une nouvelle fonction qui calcule son gradient. Appliquez-la deux fois pour obtenir les dérivées secondes.jitcompile une fonction avec le compilateur XLA en code optimisé pour CPU, GPU ou TPU.vmapvectorise automatiquement une fonction écrite pour un seul exemple afin qu'elle s'exécute sur un lot entier.pmapet les outils de sharding plus récents répartissent le calcul sur plusieurs appareils.
Leur force est qu'elles se composent :
import jax
import jax.numpy as jnp
def loss(w, x, y):
return jnp.mean((x @ w - y) ** 2)
# a compiled gradient function
grad_fn = jax.jit(jax.grad(loss))
# one gradient per example instead of one for the batch
per_example = jax.vmap(jax.grad(loss), in_axes=(None, 0, 0))
Fonctionnelle par conception
JAX exige des fonctions pures : la sortie ne dépend que des entrées, et rien n'est modifié sur place. Cela a des conséquences qui surprennent les nouveaux venus.
- Les tableaux sont immuables. Au lieu de
x[0] = 1, vous écrivezx = x.at[0].set(1). - Les paramètres du modèle vivent en dehors du modèle. Ils sont passés aux fonctions sous forme de dictionnaires imbriqués ou d'autres « pytrees » et renvoyés mis à jour, au lieu d'être cachés dans des objets.
- Les nombres aléatoires sont explicites. Il n'y a pas de seed globale. Vous créez une clé et vous la divisez chaque fois que vous avez besoin d'aléatoire, ce qui garde les résultats reproductibles même dans du code parallèle.
- Le contrôle de flux Python est limité sous
jit. Une fonction compilée est tracée une seule fois, donc unifqui dépend de la valeur d'un tableau doit utiliserjax.lax.condou une construction similaire.
Ces règles sont ce qui permet au compilateur d'optimiser agressivement, mais elles rendent JAX plus difficile à apprendre et à déboguer que PyTorch.
L'écosystème
- Flax et Equinox : des bibliothèques de réseaux de neurones.
- Optax : des optimiseurs et des plannings de taux d'apprentissage.
- Keras 3 : fonctionne avec JAX, PyTorch ou TensorFlow comme backends interchangeables.
- Code de référence : Google publie souvent le code de ses modèles en JAX, comme il l'a fait pour AlphaFold et Gemma.
Les idées de JAX se sont diffusées. PyTorch a ajouté torch.func, avec des vmap et grad à la manière de JAX, et MLX d'Apple lui emprunte ses transformations composables.
JAX ou PyTorch ?
Choisissez PyTorch par défaut : plus de tutoriels, plus de modèles préentraînés, plus de bibliothèques, un débogage plus facile et la plus grande communauté. Choisissez JAX quand vous voulez des performances maximales grâce au code compilé, quand vous tournez sur des TPU, quand votre travail relève autant du calcul scientifique que du deep learning, ou quand vous avez besoin que des transformations comme les gradients par échantillon, les jacobiennes ou les hessiennes soient faciles.