MLX
Pourquoi c'est important
MLX est devenu l'un des moyens les plus rapides de faire tourner des LLM sur un Mac, générant souvent du texte plus vite que les autres options sur le même matériel. Une large communauté convertit les nouveaux modèles ouverts au format MLX dans les heures ou les jours qui suivent leur sortie, et l'organisation mlx-community sur Hugging Face héberge des milliers de modèles pré-quantifiés prêts à l'emploi. LM Studio utilise MLX comme l'un de ses moteurs sur Mac : beaucoup de gens utilisent donc MLX sans le savoir.
Il a aussi rendu le fine-tuning en local praticable sur un portable. Avec MLX-LM, on peut lancer LoRA ou QLoRA sur un modèle de 7 à 8 milliards de paramètres sur un MacBook doté d'assez de mémoire, ce qui exigeait auparavant un GPU NVIDIA.
En profondeur
MLX a été publié par l'équipe de recherche en machine learning d'Apple en décembre 2023. Il ressemble beaucoup à NumPy et à PyTorch, et paraît donc familier à la plupart des développeurs Python, mais il est conçu dès le départ pour les puces d'Apple et leur mémoire unifiée. Les tableaux résident dans une mémoire partagée par le CPU et le GPU, sans copie de données de l'un à l'autre.
En plus du framework central, Apple maintient MLX-LM, un paquet pour exécuter et ajuster des modèles de langage en une seule commande, et il existe des projets voisins pour les modèles de vision et d'audio. MLX propose aussi des API Swift, C et C++ pour créer des applications.
Ce qui le distingue
- La mémoire unifiée : un tableau est utilisable par le CPU et le GPU sans transfert, ce qui simplifie le code et économise la mémoire.
- L'évaluation paresseuse : les opérations construisent un calcul qui ne s'exécute que lorsqu'un résultat est demandé, ce qui permet à MLX de les optimiser et de les fusionner.
- Des transformations de fonctions composables : comme JAX, il propose
grad,vmapetcompilepour transformer des fonctions, ce qui rend le code d'entraînement concis. - Des API familières :
mlx.corereprend NumPy, etmlx.nnetmlx.optimizersreprennent le style de PyTorch.
Utiliser MLX-LM
Les commandes typiques ressemblent à ceci :
pip install mlx-lm
mlx_lm.generate --model mlx-community/<model-name> --prompt "Hello"
mlx_lm.convert --hf-path <huggingface-model> -q # convertir et quantifier
mlx_lm.lora --model <model> --train --data ./data # fine-tuning avec LoRA
Il inclut aussi un serveur local doté d'une API compatible OpenAI, pour pointer vos outils existants vers votre Mac.
MLX face à GGUF et llama.cpp
Les deux fonctionnent bien sur Mac. llama.cpp (et les outils construits dessus, comme Ollama) utilise le format GGUF, tourne sur presque toutes les plateformes et dispose d'un vaste écosystème. MLX est réservé au Mac, utilise son propre format basé sur safetensors, et est souvent plus rapide en génération et meilleur pour le fine-tuning sur le matériel Apple. Beaucoup d'utilisateurs de Mac gardent les deux : GGUF pour la portabilité, MLX pour la vitesse.
Limites
MLX ne tourne que sur Apple Silicon (un backend CUDA est en développement pour certains usages), ce n'est donc pas un choix pour des serveurs cloud. La prise en charge des modèles dépend de la communauté qui porte chaque nouvelle architecture, et il ne vise pas l'entraînement distribué à grande échelle. Pour l'inférence locale et les expériences sur un Mac, en revanche, c'est souvent le meilleur outil disponible.