跳到主要内容
Zubnet AI › 学习 › Wiki › MLX
工具

MLX

别名:MLX-LM、Apple MLX
Apple 为 Apple Silicon 推出的开源机器学习框架,被广泛用于在 Mac 上本地运行和微调模型。

为什么重要

MLX 成了在 Mac 上运行 LLM 最快的方式之一,在同样的硬件上,生成文本的速度常常快过其他方案。一个庞大的社区会在新的开放模型发布后几小时或几天内把它转换成 MLX 格式,Hugging Face 上的 mlx-community 组织托管着成千上万个开箱即用、预先量化好的模型。LM Studio 在 Mac 上把 MLX 作为引擎之一,所以很多人在用 MLX 却并不知道。

它也让本地微调在笔记本上变得可行。有了 MLX-LM,你可以在一台内存足够的 MacBook 上对 7B 到 8B 的模型跑 LoRA 或 QLoRA,而这在过去需要一块 NVIDIA GPU。

深度解析

MLX 由 Apple 的机器学习研究团队在 2023 年 12 月发布。它的样子和用起来的感觉都很像 NumPy 和 PyTorch,所以大多数 Python 开发者都觉得熟悉,但它是从零开始为 Apple 的芯片及其统一内存设计的。数组存放在 CPU 和 GPU 共享的内存里,数据不需要在两者之间来回拷贝。

除了核心框架,Apple 还维护着 MLX-LM,这是一个用一条命令就能运行和微调语言模型的包,另外还有面向视觉和音频模型的配套项目。MLX 也提供 Swift、C 和 C++ API,用来开发应用。

它有什么不同

  • 统一内存:一个数组不需要传输就能同时被 CPU 和 GPU 使用,这简化了代码,也节省了内存。
  • 惰性求值:各项操作先累积成一个计算过程,只有需要结果时才真正运行,这让 MLX 可以优化并融合这些操作。
  • 可组合的函数变换:和 JAX 一样,它提供 grad、vmap 和 compile 来变换函数,让训练代码很简洁。
  • 熟悉的 API:mlx.core 对应 NumPy,mlx.nn 和 mlx.optimizers 沿用了 PyTorch 的风格。

使用 MLX-LM

典型的命令是这样的:

pip install mlx-lm
mlx_lm.generate --model mlx-community/<model-name> --prompt "Hello"
mlx_lm.convert --hf-path <huggingface-model> -q      # convert and quantize
mlx_lm.lora --model <model> --train --data ./data    # fine-tune with LoRA

它还自带一个兼容 OpenAI API 的本地服务器,所以你可以让现有的工具直接指向你的 Mac。

MLX 与 GGUF、llama.cpp 的比较

两者在 Mac 上都运行得很好。llama.cpp(以及基于它的工具,比如 Ollama)使用 GGUF 格式,几乎能在所有平台上运行,生态非常庞大。MLX 只支持 Mac,使用自己的、基于 safetensors 的格式,在 Apple 硬件上生成速度常常更快,也更适合微调。许多 Mac 用户两者都留着:GGUF 用来保证可移植性,MLX 用来追求速度。

局限

MLX 只能在 Apple Silicon 上运行(面向部分用途的 CUDA 后端正在开发中),所以它不是云服务器的选项。模型支持取决于社区是否移植每一种新架构,而且它也不面向大规模分布式训练。不过,要在 Mac 上做本地推理和实验,它常常是现有最好的工具。

← 所有术语
ESC