MLX
Por qué importa
MLX se convirtió en una de las formas más rápidas de ejecutar LLM en un Mac, y a menudo genera texto más rápido que otras opciones en el mismo hardware. Una comunidad grande convierte los modelos abiertos nuevos al formato MLX a las pocas horas o días de su lanzamiento, y la organización mlx-community en Hugging Face aloja miles de modelos precuantizados listos para usar. LM Studio usa MLX como uno de sus motores en Mac, así que mucha gente usa MLX sin saberlo.
También hizo práctico el fine-tuning en local en una laptop. Con MLX-LM puedes ejecutar LoRA o QLoRA sobre un modelo de 7B a 8B en un MacBook con memoria suficiente, algo que antes exigía una GPU NVIDIA.
En profundidad
MLX lo publicó el equipo de investigación en machine learning de Apple en diciembre de 2023. Se parece mucho a NumPy y a PyTorch, así que resulta familiar para la mayoría de los desarrolladores de Python, pero está diseñado desde cero para los chips de Apple y su memoria unificada. Los arreglos viven en una memoria compartida por la CPU y la GPU, así que no hay que copiar datos de un lado a otro.
Además del framework central, Apple mantiene MLX-LM, un paquete para ejecutar y ajustar modelos de lenguaje con un solo comando, y hay proyectos complementarios para modelos de visión y de audio. MLX también tiene API en Swift, C y C++ para crear aplicaciones.
Qué lo hace diferente
- Memoria unificada: un arreglo lo pueden usar la CPU y la GPU sin transferencias, lo que simplifica el código y ahorra memoria.
- Evaluación perezosa: las operaciones van armando un cómputo que solo se ejecuta cuando se necesita un resultado, lo que le permite a MLX optimizarlas y fusionarlas.
- Transformaciones de funciones componibles: como JAX, ofrece
grad,vmapycompilepara transformar funciones, lo que hace conciso el código de entrenamiento. - API familiares:
mlx.corerefleja NumPy, ymlx.nnymlx.optimizerssiguen el estilo de PyTorch.
Usar MLX-LM
Los comandos típicos se ven así:
pip install mlx-lm
mlx_lm.generate --model mlx-community/<model-name> --prompt "Hello"
mlx_lm.convert --hf-path <huggingface-model> -q # convertir y cuantizar
mlx_lm.lora --model <model> --train --data ./data # fine-tuning con LoRA
También incluye un servidor local con una API compatible con OpenAI, para que puedas apuntar tus herramientas existentes a tu Mac.
MLX frente a GGUF y llama.cpp
Los dos funcionan bien en Mac. llama.cpp (y las herramientas construidas sobre él, como Ollama) usa el formato GGUF, corre en casi cualquier plataforma y tiene un ecosistema enorme. MLX es solo para Mac, usa su propio formato basado en safetensors y suele ser más rápido en generación y mejor para el fine-tuning en hardware de Apple. Muchos usuarios de Mac conservan los dos: GGUF por portabilidad y MLX por velocidad.
Limitaciones
MLX solo corre en Apple Silicon (hay un backend de CUDA en desarrollo para algunos usos), así que no es una opción para servidores en la nube. El soporte de modelos depende de que la comunidad porte cada arquitectura nueva, y no está pensado para el entrenamiento distribuido a gran escala. Para la inferencia local y los experimentos en un Mac, eso sí, suele ser la mejor herramienta disponible.