MLX
यह क्यों मायने रखता है
MLX, Mac पर LLMs चलाने के सबसे तेज़ तरीकों में से एक बन गया, और अक्सर उसी hardware पर दूसरे विकल्पों से तेज़ text generate करता है। एक बड़ी community नए open models को release के कुछ घंटों या दिनों के भीतर MLX format में बदल देती है, और Hugging Face पर mlx-community organization हज़ारों तैयार, pre-quantized models host करती है। LM Studio, Mac पर MLX को अपने engines में से एक के रूप में इस्तेमाल करता है, इसलिए कई लोग बिना जाने MLX इस्तेमाल करते हैं।
इसने laptop पर local fine-tuning को भी व्यावहारिक बना दिया। MLX-LM से आप पर्याप्त memory वाले MacBook पर 7B से 8B के model पर LoRA या QLoRA चला सकते हैं, जिसके लिए पहले NVIDIA GPU चाहिए होता था।
गहन अध्ययन
MLX को Apple की machine learning research team ने दिसंबर 2023 में जारी किया। यह काफ़ी हद तक NumPy और PyTorch जैसा दिखता और महसूस होता है, इसलिए ज़्यादातर Python developers को जाना-पहचाना लगता है, लेकिन यह शुरू से Apple के chips और उनकी unified memory के लिए बना है। Arrays उस memory में रहते हैं जिसे CPU और GPU share करते हैं, इसलिए data को दोनों के बीच इधर-उधर copy नहीं करना पड़ता।
Core framework के साथ Apple MLX-LM भी संभालता है, जो language models को एक command से चलाने और fine-tune करने का package है, और vision और audio models के लिए साथी projects भी हैं। Apps बनाने के लिए MLX में Swift, C और C++ APIs भी हैं।
इसमें क्या अलग है
- Unified memory: array को CPU और GPU दोनों बिना transfer के इस्तेमाल कर सकते हैं, जिससे code सरल होता है और memory बचती है।
- Lazy evaluation: operations एक computation बनाते जाते हैं और तभी चलते हैं जब नतीजे की ज़रूरत हो, जिससे MLX उन्हें optimize और fuse कर पाता है।
- Composable function transforms: JAX की तरह यह functions को बदलने के लिए
grad,vmapऔरcompileदेता है, जिससे training code छोटा रहता है। - जाने-पहचाने APIs:
mlx.coreNumPy जैसा है, औरmlx.nnऔरmlx.optimizersPyTorch के style जैसे हैं।
MLX-LM का इस्तेमाल
आम commands ऐसे दिखते हैं:
pip install mlx-lm
mlx_lm.generate --model mlx-community/<model-name> --prompt "Hello"
mlx_lm.convert --hf-path <huggingface-model> -q # convert and quantize
mlx_lm.lora --model <model> --train --data ./data # fine-tune with LoRA
इसमें OpenAI-compatible API वाला local server भी है, इसलिए आप मौजूदा tools को अपने Mac की ओर मोड़ सकते हैं।
MLX बनाम GGUF और llama.cpp
दोनों Mac पर अच्छे चलते हैं। llama.cpp (और उस पर बने tools, जैसे Ollama) GGUF format इस्तेमाल करता है, लगभग हर platform पर चलता है और उसका ecosystem विशाल है। MLX सिर्फ़ Mac के लिए है, अपना safetensors-आधारित format इस्तेमाल करता है, और Apple hardware पर अक्सर generation में तेज़ और fine-tuning में बेहतर है। कई Mac users दोनों रखते हैं: portability के लिए GGUF, speed के लिए MLX।
सीमाएँ
MLX सिर्फ़ Apple Silicon पर चलता है (कुछ इस्तेमालों के लिए CUDA backend पर काम चल रहा है), इसलिए यह cloud servers का विकल्प नहीं है। Model support इस पर निर्भर करता है कि community हर नए architecture को port करे, और यह बड़े पैमाने की distributed training के लिए नहीं बना। फिर भी Mac पर local inference और experiments के लिए यह अक्सर सबसे अच्छा tool है।