PyTorch
यह क्यों मायने रखता है
PyTorch modern AI की default भाषा है। ज़्यादातर research papers PyTorch code के साथ आते हैं, और Hugging Face से download होने वाले models, जैसे Llama, Qwen, Mistral और DeepSeek, आमतौर पर PyTorch में define होते हैं। Hugging Face की Transformers library, vLLM, SGLang और ज़्यादातर fine-tuning tools इसी पर बने हैं।
आप कभी training loop न भी लिखें, तब भी आप जो चलाते हैं उसके नीचे अक्सर PyTorch होता है। जब आपको CUDA out of memory error, कोई .pt file या ऐसा installation step दिखे जो PyTorch और CUDA का खास version माँगता है, तो वह PyTorch है।
गहन अध्ययन
PyTorch neural networks बनाने और train करने की एक Python library है। यह आपको tensors (multi-dimensional arrays जो GPU पर रह सकते हैं), automatic differentiation (यह gradients खुद निकाल देता है, इसलिए backpropagation code की एक line है) और layers, optimizers और data loading के building blocks देता है। इसे Facebook की AI research lab (अब Meta का हिस्सा) ने 2017 की शुरुआत में जारी किया था, और यह पुरानी Lua-आधारित Torch library पर बना था।
2022 से PyTorch का संचालन Linux Foundation के तहत PyTorch Foundation करता है, जिसके सदस्यों में Meta, Microsoft, Google, NVIDIA, AMD और AWS शामिल हैं।
यह क्यों जीता
जब PyTorch आया, तब सबसे आगे Google का TensorFlow था, जिसमें उस समय पहले पूरा computation graph define करना पड़ता था और फिर उसे चलाना पड़ता था। PyTorch code को eagerly चलाता था: हर line तुरंत चलती थी, साधारण Python की तरह। आप model के बीच में tensor print कर सकते थे, सामान्य if statements और loops इस्तेमाल कर सकते थे और standard tools से debug कर सकते थे। Researchers को यह बहुत पसंद आया, और करीब 2019 से 2020 तक नई research पर इसका दबदबा हो गया। Industry पीछे-पीछे आई, क्योंकि research models PyTorch में थे।
मुख्य हिस्से
torch.Tensor: core data type, CPU या GPU पर (.to("cuda"))।- Autograd: tensors पर होने वाले operations दर्ज करता है और
loss.backward()से gradients निकालता है। torch.nn: models जोड़ने के लिए layers, activation functions और loss functions।torch.optim: SGD और AdamW जैसे optimizers।torch.compile: PyTorch 2.0 (2023) में जुड़ा। यह आपका code दोबारा लिखे बिना models को तेज़ kernels में compile करता है।- Distributed tools: कई GPUs पर training के लिए DDP और FSDP।
Hardware support
PyTorch CUDA के ज़रिए NVIDIA GPUs पर सबसे अच्छा चलता है, और यही सबसे ज़्यादा परखा हुआ रास्ता है। यह ROCm के ज़रिए AMD GPUs, MPS backend के ज़रिए Apple Silicon, Intel GPUs और Google TPUs (PyTorch/XLA के ज़रिए) को भी support करता है। NVIDIA के बाहर support काफ़ी सुधरा है, लेकिन नए features और custom kernels में अब भी पीछे रह सकता है।
इसके आसपास का ecosystem
- Hugging Face Transformers, Diffusers, PEFT, TRL: model libraries और fine-tuning tools।
- PyTorch Lightning: training code के लिए structure।
- vLLM और SGLang: high-throughput inference servers।
- ExecuTorch: phones और edge devices पर PyTorch models चलाना।
आज इसका मुख्य विकल्प Google का JAX है, जिससे Gemini train होता है और जो कुछ research labs में लोकप्रिय है। Mac पर Apple का MLX local काम के लिए एक हल्का विकल्प है।