मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › CUDA
बुनियादी ढांचा

CUDA

इसे भी कहा जाता है: Compute Unified Device Architecture
NVIDIA का platform जो उसके GPUs पर general-purpose code चलाता है, और वह software नींव जिस पर ज़्यादातर AI चलता है।

यह क्यों मायने रखता है

AI hardware पर NVIDIA के दबदबे की एक बड़ी वजह CUDA है। बात सिर्फ़ इतनी नहीं कि NVIDIA के chips तेज़ हैं। बात यह है कि करीब दो दशकों का software, research code और developers का हुनर CUDA पर बना है। AlexNet, वह 2012 का network जिसने deep learning का उछाल शुरू किया, CUDA की मदद से दो NVIDIA gaming GPUs पर train हुआ था। तब से हर बड़े framework ने CUDA को अपना पहला और सबसे अच्छी तरह supported target माना है।

यही मशहूर CUDA moat है। AMD, Intel और दूसरों के chips कागज़ पर NVIDIA की बराबरी कर सकते हैं, लेकिन उन्हें developers को अपना software हटाकर लाने के लिए भी मनाना पड़ता है, और यही ज़्यादा कठिन समस्या है।

Builders के लिए CUDA रोज़मर्रा में दिखता है: PyTorch को सही CUDA version से मिलाना, drivers install करना, और AI की सबसे आम error, CUDA out of memory।

गहन अध्ययन

GPUs graphics बनाने के लिए बने थे: हज़ारों छोटे cores जो pixels पर parallel में काम करते हैं। 2006 में NVIDIA ने CUDA पेश किया, जिससे programmers इन cores को सिर्फ़ graphics नहीं, किसी भी तरह के math के लिए इस्तेमाल कर सकते थे। CUDA में एक programming model (C और C++ का extension), एक compiler, drivers और सबसे अहम, optimized libraries का बड़ा set शामिल है, जैसे matrix math के लिए cuBLAS और neural networks के लिए cuDNN।

आज जब PyTorch आपका model NVIDIA GPU पर चलाता है, तो वह अंदर से CUDA और उसकी libraries को ही call कर रहा होता है।

CUDA code कैसे चलता है

CUDA program kernels चलाता है: ऐसे functions जिन्हें हज़ारों threads parallel में चलाते हैं। Threads को blocks में और blocks को एक grid में बाँटा जाता है। हर thread काम का एक छोटा टुकड़ा संभालता है, जैसे matrix multiplication का एक हिस्सा। तेज़ kernels लिखने का मतलब है memory को सावधानी से संभालना: data को GPU की बड़ी पर धीमी memory (HBM) से छोटी, बहुत तेज़ on-chip memory में लाना और उसे जितना हो सके दोबारा इस्तेमाल करना।

ठीक इसी वजह से Flash Attention इतना अहम बना: उसने attention की गणना को ऐसे दोबारा जमाया कि वह तेज़ on-chip memory में ही रहे, और math बदले बिना बड़ी speedup मिली।

Tensor Cores

2017 की Volta generation से NVIDIA GPUs में Tensor Cores होते हैं, यानी उन छोटी matrix multiplications के लिए खास units जो neural networks के केंद्र में हैं। FP16, BF16, FP8 और FP4 जैसे कम precision वाले formats से इतनी बड़ी speedup इन्हीं की वजह से मिलती है: हर नई generation और छोटे numeric formats का support जोड़ती है, जिन्हें Tensor Cores ज़्यादा तेज़ी से process करते हैं।

Versions और compatibility

CUDA में दो numbers मायने रखते हैं: machine पर install driver का version, और वह toolkit (या runtime) version जिसके सामने कोई library build हुई थी। नया driver आमतौर पर पुराने toolkits चला लेता है, लेकिन उलटा नहीं होता। Installation के ज़्यादातर सिरदर्द driver, CUDA toolkit और PyTorch build के बीच बेमेल से आते हैं।

विकल्प

  • ROCm और HIP: AMD का समकक्ष, जहाँ HIP इस तरह बना है कि CUDA code को port करना सीधा हो।
  • Triton: OpenAI की Python जैसी भाषा, जिससे raw CUDA के बिना GPU kernels लिखे जा सकते हैं। यह PyTorch के compiler के अंदर इस्तेमाल होती है।
  • Metal: Apple का GPU framework, जिसे Mac पर MLX और llama.cpp इस्तेमाल करते हैं।
  • Vendor-neutral कोशिशें जैसे SYCL, oneAPI और Vulkan compute।

ज़्यादातर developers कभी सीधे CUDA नहीं लिखते। लेकिन यह जानना कि वह वहाँ है, समझा देता है कि hardware के चुनाव जितने chips के बारे में हैं, उतने ही software के बारे में भी।

← सभी शब्द
ESC