मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › JAX
टूल्स

JAX

इसे भी कहा जाता है: Google JAX
High-performance numerical computing के लिए Google की Python library, जो NumPy जैसी API को automatic differentiation, JIT compilation और आसान parallelism के साथ जोड़ती है।

यह क्यों मायने रखता है

JAX Google DeepMind में और Google की ज़्यादातर research में मुख्य framework है। Gemini और AlphaFold जैसे models इसी से बनाए गए। यह Google के बाहर भी इस्तेमाल होती है: xAI ने कहा है कि वह अपने training stack में JAX इस्तेमाल करता है, और यह scientific computing, physics simulation और probabilistic programming में लोकप्रिय है, जहाँ इसके composable transformations खूब काम आते हैं।

व्यापक community में PyTorch अब भी कहीं ज़्यादा आम है। लेकिन अगर आप Google का research code पढ़ते हैं, या आपको per-example gradients या TPUs के लिए highly optimized code जैसी चीज़ें चाहिए, तो JAX से आपका सामना होगा।

गहन अध्ययन

JAX Google की एक open-source library है, जो पहली बार 2018 में release हुई। ऊपर से यह NumPy जैसी दिखती है: आप arrays और math functions के साथ jax.numpy code लिखते हैं। अंदर से यह function transformations का एक set जोड़ती है जो सादे Python functions को तेज़, differentiable, parallel programs में बदल देते हैं जो GPUs और TPUs पर चलते हैं।

यह अपने-आप में deep learning framework नहीं है। इसमें कोई built-in layers या optimizers नहीं हैं। वे इसके ऊपर बनी libraries से आते हैं, जैसे neural networks के लिए Flax और Equinox, और optimizers के लिए Optax। JAX इनके नीचे का engine है।

चार Transformations

  • grad एक function लेता है और एक नया function लौटाता है जो उसका gradient निकालता है। Second derivatives के लिए इसे दो बार लगाइए।
  • jit XLA compiler से किसी function को CPU, GPU या TPU के लिए optimized code में compile करता है।
  • vmap एक example के लिए लिखे function को अपने-आप vectorize कर देता है ताकि वह पूरे batch पर चले।
  • pmap और नए sharding tools computation को कई devices में फैला देते हैं।

इनकी ताकत यह है कि ये आपस में compose होते हैं:

import jax
import jax.numpy as jnp

def loss(w, x, y):
    return jnp.mean((x @ w - y) ** 2)

# a compiled gradient function
grad_fn = jax.jit(jax.grad(loss))

# one gradient per example instead of one for the batch
per_example = jax.vmap(jax.grad(loss), in_axes=(None, 0, 0))

Design से Functional

JAX को pure functions चाहिए: output सिर्फ़ inputs पर निर्भर करता है, और कुछ भी in place नहीं बदला जाता। इसके ऐसे नतीजे हैं जो नए लोगों को चौंकाते हैं।

  • Arrays immutable हैं। x[0] = 1 के बजाय आप x = x.at[0].set(1) लिखते हैं।
  • Model parameters model के बाहर रहते हैं। वे objects के अंदर छिपे होने के बजाय nested dictionaries या दूसरे "pytrees" के रूप में functions में दिए जाते हैं और update होकर लौटते हैं।
  • Random numbers explicit हैं। कोई global seed नहीं है। आप एक key बनाते हैं और जब भी randomness चाहिए उसे split करते हैं, जिससे parallel code में भी नतीजे reproducible रहते हैं।
  • jit के अंदर Python control flow सीमित है। Compiled function एक ही बार trace होता है, इसलिए किसी array की value पर निर्भर if को jax.lax.cond या ऐसे ही किसी construct का इस्तेमाल करना पड़ता है।

यही नियम compiler को आक्रामक optimization करने देते हैं, लेकिन इनकी वजह से JAX को सीखना और debug करना PyTorch से मुश्किल है।

Ecosystem

  • Flax और Equinox: neural network libraries।
  • Optax: optimizers और learning rate schedules।
  • Keras 3: JAX, PyTorch या TensorFlow पर, बदले जा सकने वाले backends के रूप में चलता है।
  • Reference code: Google अक्सर model code JAX में प्रकाशित करता है, जैसा उसने AlphaFold और Gemma के लिए किया।

JAX के विचार फैल चुके हैं। PyTorch ने torch.func जोड़ा, जिसमें JAX-style vmap और grad हैं, और Apple का MLX इसके composable transformations उधार लेता है।

JAX या PyTorch?

Default रूप से PyTorch चुनिए: ज़्यादा tutorials, ज़्यादा pretrained models, ज़्यादा libraries, आसान debugging और सबसे बड़ी community। JAX तब चुनिए जब आपको compiled code से अधिकतम performance चाहिए, जब आप TPUs पर चलाते हैं, जब आपका काम जितना deep learning है उतना ही scientific computing भी है, या जब आपको per-example gradients, Jacobians या Hessians जैसे transformations आसान चाहिए।

संबंधित अवधारणाएँ

← सभी शब्द
ESC