Apple Silicon
यह क्यों मायने रखता है
Unified memory ने Mac को बड़े models locally चलाने के सबसे लोकप्रिय तरीकों में से एक बना दिया। 128 GB memory वाला MacBook Pro ऐसा quantized 70B-parameter model load कर सकता है जिसके लिए PC पर कई high-end NVIDIA cards चाहिए होते। ज़्यादा memory वाले Mac Studio घर या छोटे दफ़्तरों में बहुत बड़े open models चलाने का आम चुनाव बन गए, बिना शोर और कम बिजली में।
Apple Silicon, Apple Intelligence के on-device models के पीछे का hardware भी है, और Local AI के रास्ते का एक अहम target है: Ollama, LM Studio, llama.cpp और MLX जैसे tools, सबमें Mac का first-class support है।
गहन अध्ययन
2020 में Apple ने Mac में Intel processors की जगह अपने chips लगाना शुरू किया, और शुरुआत M1 से हुई। हर chip में CPU cores, एक GPU और एक Neural Engine silicon के एक ही टुकड़े पर होते हैं, सिवाय Ultra chips और M5 Pro व Max के, जो आपस में जुड़े दो dies से बने हैं। AI के लिए सबसे अहम feature unified memory है: GPU की अपनी अलग memory (VRAM) होने के बजाय chip के सभी हिस्से तेज़ memory का एक बड़ा pool share करते हैं।
आम PC में model को graphics card के VRAM में समाना पड़ता है, जो consumer cards पर 8 से 32 GB होता है। Mac पर GPU system की ज़्यादातर memory इस्तेमाल कर सकता है, जो 64 GB, 128 GB या सबसे ऊपर के configurations में 512 GB तक हो सकती है।
Memory का आकार बनाम memory की रफ़्तार
Local LLMs के लिए दो numbers मायने रखते हैं। Memory capacity तय करती है कि आप कितना बड़ा model load कर सकते हैं। Memory bandwidth तय करती है कि वह text कितनी तेज़ी से generate करेगा, क्योंकि हर token बनाने का मतलब है model के weights को पूरा पढ़ना। Bandwidth chip के tier के हिसाब से बहुत बदलती है: base chips करीब 100 से 150 GB/s देते हैं, Pro chips उसका लगभग दोगुना, Max chips M5 Max पर 614 GB/s तक, और Ultra chips 800 GB/s से ज़्यादा। एक dedicated high-end NVIDIA GPU में अब भी ज़्यादा होती है, अक्सर 1,000 से 1,800 GB/s, लेकिन उसकी memory कहीं छोटी होती है।
एक मोटा नियम: tokens प्रति second ≈ bandwidth ÷ memory में model का आकार। 400 GB/s वाले chip पर 40 GB का model करीब 10 tokens प्रति second पर जाकर रुक जाता है।
Mac कहाँ पीछे हैं
अपनी कीमत और बिजली के हिसाब से Mac tokens generate करने में मज़बूत हैं, लेकिन prompt processing (जवाब देने से पहले लंबा input पढ़ना) में धीमे हैं, जो raw compute पर निर्भर करती है। लंबे documents या बड़े codebases को "पढ़ने" में साफ़ महसूस होने वाला समय लग सकता है। बड़े models की training और fine-tuning भी NVIDIA hardware के मुकाबले कहीं धीमी है। Apple की M5 generation (2025) ने GPU के अंदर dedicated matrix units जोड़े, जो ठीक इसी कमी को निशाना बनाते हैं।
Software
- MLX: Apple का अपना machine learning framework, जो unified memory को ध्यान में रखकर बना है।
- llama.cpp / Ollama / LM Studio: Apple के Metal GPU framework से GGUF models चलाते हैं। LM Studio, MLX models भी चला सकता है।
- PyTorch: अपने MPS backend के ज़रिए Mac GPUs को support करता है, जो experiments के लिए काम का है।
- Core ML: apps के अंदर models भेजने के लिए Apple का framework।
व्यावहारिक सुझाव
Default में macOS सीमित करता है कि GPU कितनी memory ले सकता है (कुल का करीब दो-तिहाई से तीन-चौथाई), और सिर्फ़ AI के लिए रखी machines पर इसे एक system setting से बढ़ाया जा सकता है। KV cache के लिए जगह छोड़िए, क्योंकि लंबे contexts को कई अतिरिक्त gigabytes चाहिए। खरीदते समय याद रखिए कि memory capacity वह spec है जिसे बाद में upgrade नहीं किया जा सकता।