NPU
यह क्यों मायने रखता है
NPUs ही battery से चलने वाले devices पर हमेशा चालू रहने वाले AI features को व्यावहारिक बनाते हैं: face unlock, camera processing, live captions, video calls में background blur, voice typing, on-device translation। इन्हें CPU या GPU पर चलाने से battery जल्दी खत्म होगी और device गरम होगा।
2024 में ये marketing की सुर्खी बन गए, जब Microsoft ने Copilot+ PCs पेश किए, एक ऐसी category जिसमें 40 TOPS या उससे ज़्यादा rating वाला NPU ज़रूरी है। इसने हर laptop chip maker को तेज़ NPUs लाने पर मजबूर किया, और "AI PC" ज़्यादातर नई machines पर एक label बन गया।
गहन अध्ययन
Neural processing unit एक ऐसा processor है जो एक ही काम के लिए बना है: neural network inference का matrix arithmetic। जहाँ CPU हर तरह का काम करने वाला generalist है और GPU एक ताकतवर parallel engine, वहीं NPU efficiency के बदले flexibility छोड़ देता है। यह operations का एक सीमित set चलाता है, आम तौर पर low-precision integers पर, और बहुत कम बिजली खर्च करता है।
ज़्यादातर NPUs अलग chips नहीं होते। वे system-on-chip के अंदर CPU और GPU के बगल में एक block होते हैं। Apple का Neural Engine 2017 के A11 से iPhones में है और हर Apple Silicon Mac में मौजूद है। Qualcomm के Snapdragon chips में Hexagon NPU है, Intel के Core Ultra processors में AI Boost नाम का NPU है, और AMD अपना NPU Ryzen AI chips में देता है।
TOPS का मतलब
NPU की performance TOPS में बताई जाती है, यानी trillions of operations per second (प्रति second लाख करोड़ operations)। Snapdragon X Elite 45 TOPS के साथ launch हुआ, Intel का Lunar Lake 48 के साथ और AMD की Ryzen AI 300 series 50 के साथ। इन संख्याओं को सावधानी से लीजिए। TOPS एक theoretical peak है, जो आम तौर पर 8-bit integer math से मापा जाता है, और यह memory bandwidth, supported operations या software की quality के बारे में कुछ नहीं बताता, जो व्यवहार में अक्सर ज़्यादा मायने रखते हैं। एक जैसे TOPS वाले दो NPUs किसी असली model पर बहुत अलग प्रदर्शन कर सकते हैं।
NPUs किसमें अच्छे हैं, और किसमें नहीं
NPUs उन छोटे से मध्यम आकार के models में बेहतरीन हैं जिनके shapes तय होते हैं और जो लगातार चलते हैं: vision models, speech recognition, noise suppression, small language models। इनके लिए आम तौर पर model को 8-bit integers में quantize करना और vendor के format में बदलना पड़ता है।
Large language models के लिए ये काफ़ी कम काम के रहे हैं। LLMs की सीमा raw arithmetic से ज़्यादा memory capacity और bandwidth होती है, वे बदलती sequence lengths के साथ काम करते हैं, और कई NPUs में उन operations का support नहीं होता जिनकी उन्हें ज़रूरत है। इसीलिए Ollama, LM Studio और llama.cpp जैसे लोकप्रिय local LLM tools ज़्यादातर GPU या CPU पर चलते हैं और NPU को अनदेखा करते हैं। अपवाद वे models हैं जिन्हें platform vendor ने खास तौर पर ढाला है, जैसे Copilot+ PCs पर Microsoft का Phi Silica, Android पर Google का Gemini Nano और Apple Intelligence के on-device models।
बिखरा हुआ Software Stack
हर vendor का अपना toolchain है: Apple के लिए Core ML, Qualcomm के लिए QNN, Intel के लिए OpenVINO, AMD के लिए Ryzen AI software और Android पर LiteRT (पहले TensorFlow Lite)। ONNX Runtime और Windows ML जैसी cross-platform layers इन अंतरों को छिपाने की कोशिश करती हैं, और नतीजे मिले-जुले हैं। Developers के लिए यही बिखराव मुख्य रुकावट है। जो model एक NPU पर चलता है उसे दूसरे के लिए अक्सर अलग conversion और testing चाहिए, और अगर कोई operation supported नहीं है, तो वह चुपचाप CPU पर fall back कर सकता है, जहाँ performance गिर जाती है।
AI Accelerators का बड़ा परिवार
"AI accelerator" एक व्यापक शब्द है जो neural networks के लिए specialized किसी भी hardware के लिए इस्तेमाल होता है। Data centers में इसमें Google के TPUs, Amazon का Trainium, Microsoft का Maia, Meta का MTIA और Cerebras व Groq जैसी companies के chips शामिल हैं। वे कहीं ज़्यादा बड़े हैं और बड़े models की training या serving के लिए बने हैं, लेकिन सिद्धांत वही है: एक ही workload पर efficiency पाने के लिए generality छोड़ देना।
क्या खरीदते समय इसकी परवाह करनी चाहिए?
LLMs को locally चलाने के लिए पहले memory और GPU देखिए: machine में कितनी RAM या VRAM है, और वह कितनी तेज़ है। Battery life और live captions या webcam effects जैसे built-in features के लिए NPU मायने रखता है। अगर आप apps बनाते हैं, तो NPU को तभी target कीजिए जब आपको किसी छोटे model के लिए लगातार, कम बिजली वाला inference चाहिए, और GPU या CPU fallback की योजना रखिए।