跳到主要內容
Zubnet AI › 學習 › Wiki › MLX
工具

MLX

別名:MLX-LM、Apple MLX
Apple 為 Apple Silicon 推出的開源機器學習框架,被廣泛用於在 Mac 上本地執行和微調模型。

為什麼重要

MLX 成了在 Mac 上執行 LLM 最快的方式之一,在同樣的硬體上,生成文字的速度常常快過其他方案。一個龐大的社群會在新的開放模型發布後幾小時或幾天內把它轉換成 MLX 格式,Hugging Face 上的 mlx-community 組織託管著成千上萬個開箱即用、預先量化好的模型。LM Studio 在 Mac 上把 MLX 作為引擎之一,所以很多人在用 MLX 卻並不知道。

它也讓本地微調在筆記型電腦上變得可行。有了 MLX-LM,你可以在一台記憶體足夠的 MacBook 上對 7B 到 8B 的模型跑 LoRA 或 QLoRA,而這在過去需要一塊 NVIDIA GPU。

深度解析

MLX 由 Apple 的機器學習研究團隊在 2023 年 12 月發布。它的樣子和用起來的感覺都很像 NumPy 和 PyTorch,所以大多數 Python 開發者都覺得熟悉,但它是從零開始為 Apple 的晶片及其統一記憶體設計的。陣列存放在 CPU 和 GPU 共享的記憶體裡,資料不需要在兩者之間來回複製。

除了核心框架,Apple 還維護著 MLX-LM,這是一個用一條命令就能執行和微調語言模型的套件,另外還有面向視覺和音訊模型的配套專案。MLX 也提供 Swift、C 和 C++ API,用來開發應用程式。

它有什麼不同

  • 統一記憶體:一個陣列不需要傳輸就能同時被 CPU 和 GPU 使用,這簡化了程式碼,也節省了記憶體。
  • 惰性求值:各項操作先累積成一個計算過程,只有需要結果時才真正執行,這讓 MLX 可以最佳化並融合這些操作。
  • 可組合的函式轉換:和 JAX 一樣,它提供 grad、vmap 和 compile 來轉換函式,讓訓練程式碼很簡潔。
  • 熟悉的 API:mlx.core 對應 NumPy,mlx.nn 和 mlx.optimizers 沿用了 PyTorch 的風格。

使用 MLX-LM

典型的命令是這樣的:

pip install mlx-lm
mlx_lm.generate --model mlx-community/<model-name> --prompt "Hello"
mlx_lm.convert --hf-path <huggingface-model> -q      # convert and quantize
mlx_lm.lora --model <model> --train --data ./data    # fine-tune with LoRA

它還自帶一個相容 OpenAI API 的本地伺服器,所以你可以讓現有的工具直接指向你的 Mac。

MLX 與 GGUF、llama.cpp 的比較

兩者在 Mac 上都執行得很好。llama.cpp(以及基於它的工具,比如 Ollama)使用 GGUF 格式,幾乎能在所有平台上執行,生態非常龐大。MLX 只支援 Mac,使用自己的、基於 safetensors 的格式,在 Apple 硬體上生成速度常常更快,也更適合微調。許多 Mac 使用者兩者都留著:GGUF 用來保證可攜性,MLX 用來追求速度。

局限

MLX 只能在 Apple Silicon 上執行(面向部分用途的 CUDA 後端正在開發中),所以它不是雲端伺服器的選項。模型支援取決於社群是否移植每一種新架構,而且它也不面向大規模分散式訓練。不過,要在 Mac 上做本地推論和實驗,它常常是現有最好的工具。

← 所有術語
ESC