Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › JAX
Ferramentas

JAX

Também conhecido como: Google JAX
A biblioteca Python do Google para computação numérica de alto desempenho, que combina uma API no estilo do NumPy com diferenciação automática, compilação JIT e paralelismo fácil.

Por que isso importa

JAX é o principal framework do Google DeepMind e de boa parte da pesquisa do Google. Modelos como Gemini e AlphaFold foram construídos com ela. Também é usada fora do Google: a xAI disse que usa JAX na sua pilha de treinamento, e ela é popular em computação científica, simulação física e programação probabilística, onde suas transformações componíveis brilham.

O PyTorch continua bem mais comum na comunidade em geral. Mas, se você lê código de pesquisa do Google, ou precisa de coisas como gradientes por amostra ou código altamente otimizado para TPUs, vai encontrar JAX.

Em profundidade

JAX é uma biblioteca de código aberto do Google, lançada em 2018. Na superfície, ela se parece com o NumPy: você escreve código jax.numpy com arrays e funções matemáticas. Por baixo, ela acrescenta um conjunto de transformações de funções que convertem funções Python comuns em programas rápidos, diferenciáveis e paralelos que rodam em GPUs e TPUs.

Sozinha, ela não é um framework de deep learning. Não tem camadas nem otimizadores embutidos. Eles vêm de bibliotecas construídas por cima, como Flax e Equinox para redes neurais e Optax para otimizadores. JAX é o motor por baixo delas.

As quatro transformações

  • grad recebe uma função e devolve uma nova função que calcula o gradiente dela. Aplique duas vezes para obter derivadas de segunda ordem.
  • jit compila uma função com o compilador XLA em código otimizado para CPU, GPU ou TPU.
  • vmap vetoriza automaticamente uma função escrita para um único exemplo, para que ela rode em um lote inteiro.
  • pmap e as ferramentas de sharding mais novas distribuem a computação por vários dispositivos.

A força delas está em poderem ser compostas:

import jax
import jax.numpy as jnp

def loss(w, x, y):
    return jnp.mean((x @ w - y) ** 2)

# a compiled gradient function
grad_fn = jax.jit(jax.grad(loss))

# one gradient per example instead of one for the batch
per_example = jax.vmap(jax.grad(loss), in_axes=(None, 0, 0))

Funcional por design

JAX exige funções puras: a saída depende apenas das entradas, e nada é modificado no lugar. Isso tem consequências que surpreendem quem está começando.

  • Arrays são imutáveis. Em vez de x[0] = 1, você escreve x = x.at[0].set(1).
  • Os parâmetros do modelo vivem fora do modelo. Eles são passados para as funções como dicionários aninhados ou outras "pytrees" e devolvidos atualizados, em vez de ficarem escondidos dentro de objetos.
  • Números aleatórios são explícitos. Não existe seed global. Você cria uma chave e a divide toda vez que precisa de aleatoriedade, o que mantém os resultados reproduzíveis mesmo em código paralelo.
  • O controle de fluxo do Python é limitado sob jit. Uma função compilada é rastreada uma única vez, então um if que depende do valor de um array precisa usar jax.lax.cond ou uma construção parecida.

Essas regras são o que permite ao compilador otimizar de forma agressiva, mas tornam JAX mais difícil de aprender e de depurar do que o PyTorch.

O ecossistema

  • Flax e Equinox: bibliotecas de redes neurais.
  • Optax: otimizadores e learning rate schedules.
  • Keras 3: roda sobre JAX, PyTorch ou TensorFlow como backends intercambiáveis.
  • Código de referência: o Google costuma publicar o código dos seus modelos em JAX, como fez com AlphaFold e Gemma.

As ideias de JAX se espalharam. O PyTorch adicionou o torch.func, com vmap e grad no estilo de JAX, e o MLX da Apple pega emprestadas as suas transformações componíveis.

JAX ou PyTorch?

Escolha PyTorch por padrão: mais tutoriais, mais modelos pré-treinados, mais bibliotecas, depuração mais fácil e a maior comunidade. Escolha JAX quando quiser desempenho máximo de código compilado, quando rodar em TPUs, quando o seu trabalho for tanto computação científica quanto deep learning, ou quando precisar que transformações como gradientes por amostra, jacobianas ou hessianas sejam fáceis.

← Todos os termos
ESC