Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › MLX
Ferramentas

MLX

Também conhecido como: MLX-LM, Apple MLX
O framework de machine learning de código aberto da Apple para Apple Silicon, muito usado para rodar e ajustar modelos localmente no Mac.

Por que isso importa

O MLX virou uma das formas mais rápidas de rodar LLMs em um Mac, e muitas vezes gera texto mais rápido do que outras opções no mesmo hardware. Uma comunidade grande converte os novos modelos abertos para o formato MLX em horas ou dias depois do lançamento, e a organização mlx-community na Hugging Face hospeda milhares de modelos pré-quantizados prontos para usar. O LM Studio usa o MLX como um de seus motores no Mac, então muita gente usa o MLX sem saber.

Ele também tornou prático o fine-tuning local em um notebook. Com o MLX-LM dá para rodar LoRA ou QLoRA em um modelo de 7B a 8B em um MacBook com memória suficiente, algo que antes exigia uma GPU NVIDIA.

Em profundidade

O MLX foi lançado pela equipe de pesquisa em machine learning da Apple em dezembro de 2023. Ele se parece muito com o NumPy e o PyTorch, então é familiar para a maioria dos desenvolvedores Python, mas foi pensado desde o início para os chips da Apple e sua memória unificada. Os arrays ficam em uma memória compartilhada pela CPU e pela GPU, então não é preciso copiar dados de um lado para o outro.

Além do framework principal, a Apple mantém o MLX-LM, um pacote para rodar e ajustar modelos de linguagem com um único comando, e há projetos complementares para modelos de visão e de áudio. O MLX também tem APIs em Swift, C e C++ para criar aplicativos.

O que o torna diferente

  • Memória unificada: um array pode ser usado pela CPU e pela GPU sem transferências, o que simplifica o código e economiza memória.
  • Avaliação preguiçosa: as operações vão montando uma computação que só é executada quando um resultado é necessário, o que permite ao MLX otimizá-las e fundi-las.
  • Transformações de função componíveis: como o JAX, ele oferece grad, vmap e compile para transformar funções, o que deixa o código de treinamento conciso.
  • APIs familiares: o mlx.core espelha o NumPy, e o mlx.nn e o mlx.optimizers seguem o estilo do PyTorch.

Usando o MLX-LM

Os comandos típicos são assim:

pip install mlx-lm
mlx_lm.generate --model mlx-community/<model-name> --prompt "Hello"
mlx_lm.convert --hf-path <huggingface-model> -q      # converter e quantizar
mlx_lm.lora --model <model> --train --data ./data    # fine-tuning com LoRA

Ele também inclui um servidor local com uma API compatível com a da OpenAI, para você apontar as ferramentas que já usa para o seu Mac.

MLX versus GGUF e llama.cpp

Os dois rodam bem no Mac. O llama.cpp (e as ferramentas construídas sobre ele, como o Ollama) usa o formato GGUF, roda em quase qualquer plataforma e tem um ecossistema enorme. O MLX é exclusivo do Mac, usa um formato próprio baseado em safetensors e costuma ser mais rápido na geração e melhor para fine-tuning em hardware da Apple. Muitos usuários de Mac mantêm os dois: GGUF pela portabilidade e MLX pela velocidade.

Limitações

O MLX só roda em Apple Silicon (há um backend CUDA em desenvolvimento para alguns usos), então não é uma opção para servidores na nuvem. O suporte a modelos depende de a comunidade portar cada arquitetura nova, e ele não é voltado para treinamento distribuído em grande escala. Para inferência local e experimentos em um Mac, porém, costuma ser a melhor ferramenta disponível.

← Todos os termos
ESC