Aller au contenu principal
Zubnet AI › Apprendre › Wiki › MLX
Outils

MLX

Aussi appelé : MLX-LM, Apple MLX
Le framework de machine learning open source d'Apple pour Apple Silicon, très utilisé pour faire tourner et ajuster des modèles en local sur Mac.

Pourquoi c'est important

MLX est devenu l'un des moyens les plus rapides de faire tourner des LLM sur un Mac, générant souvent du texte plus vite que les autres options sur le même matériel. Une large communauté convertit les nouveaux modèles ouverts au format MLX dans les heures ou les jours qui suivent leur sortie, et l'organisation mlx-community sur Hugging Face héberge des milliers de modèles pré-quantifiés prêts à l'emploi. LM Studio utilise MLX comme l'un de ses moteurs sur Mac : beaucoup de gens utilisent donc MLX sans le savoir.

Il a aussi rendu le fine-tuning en local praticable sur un portable. Avec MLX-LM, on peut lancer LoRA ou QLoRA sur un modèle de 7 à 8 milliards de paramètres sur un MacBook doté d'assez de mémoire, ce qui exigeait auparavant un GPU NVIDIA.

En profondeur

MLX a été publié par l'équipe de recherche en machine learning d'Apple en décembre 2023. Il ressemble beaucoup à NumPy et à PyTorch, et paraît donc familier à la plupart des développeurs Python, mais il est conçu dès le départ pour les puces d'Apple et leur mémoire unifiée. Les tableaux résident dans une mémoire partagée par le CPU et le GPU, sans copie de données de l'un à l'autre.

En plus du framework central, Apple maintient MLX-LM, un paquet pour exécuter et ajuster des modèles de langage en une seule commande, et il existe des projets voisins pour les modèles de vision et d'audio. MLX propose aussi des API Swift, C et C++ pour créer des applications.

Ce qui le distingue

  • La mémoire unifiée : un tableau est utilisable par le CPU et le GPU sans transfert, ce qui simplifie le code et économise la mémoire.
  • L'évaluation paresseuse : les opérations construisent un calcul qui ne s'exécute que lorsqu'un résultat est demandé, ce qui permet à MLX de les optimiser et de les fusionner.
  • Des transformations de fonctions composables : comme JAX, il propose grad, vmap et compile pour transformer des fonctions, ce qui rend le code d'entraînement concis.
  • Des API familières : mlx.core reprend NumPy, et mlx.nn et mlx.optimizers reprennent le style de PyTorch.

Utiliser MLX-LM

Les commandes typiques ressemblent à ceci :

pip install mlx-lm
mlx_lm.generate --model mlx-community/<model-name> --prompt "Hello"
mlx_lm.convert --hf-path <huggingface-model> -q      # convertir et quantifier
mlx_lm.lora --model <model> --train --data ./data    # fine-tuning avec LoRA

Il inclut aussi un serveur local doté d'une API compatible OpenAI, pour pointer vos outils existants vers votre Mac.

MLX face à GGUF et llama.cpp

Les deux fonctionnent bien sur Mac. llama.cpp (et les outils construits dessus, comme Ollama) utilise le format GGUF, tourne sur presque toutes les plateformes et dispose d'un vaste écosystème. MLX est réservé au Mac, utilise son propre format basé sur safetensors, et est souvent plus rapide en génération et meilleur pour le fine-tuning sur le matériel Apple. Beaucoup d'utilisateurs de Mac gardent les deux : GGUF pour la portabilité, MLX pour la vitesse.

Limites

MLX ne tourne que sur Apple Silicon (un backend CUDA est en développement pour certains usages), ce n'est donc pas un choix pour des serveurs cloud. La prise en charge des modèles dépend de la communauté qui porte chaque nouvelle architecture, et il ne vise pas l'entraînement distribué à grande échelle. Pour l'inférence locale et les expériences sur un Mac, en revanche, c'est souvent le meilleur outil disponible.

← Tous les termes
ESC