為什麼重要
統一記憶體讓 Mac 成了在本地執行大模型最受歡迎的方式之一。一台 128 GB 記憶體的 MacBook Pro 可以載入量化後的 70B 參數模型,這在 PC 上需要多塊高階 NVIDIA 顯示卡。大記憶體的 Mac Studio 成了在家裡或小型辦公室執行超大開放模型的常見選擇,安靜,功耗也低。
Apple Silicon 也是 Apple Intelligence 裝置端模型背後的硬體,還是本地 AI 路線的重點目標平台:Ollama、LM Studio、llama.cpp 和 MLX 這些工具都對 Mac 提供一流的支援。
深度解析
2020 年,Apple 開始用自研晶片取代 Mac 裡的 Intel 處理器,第一款是 M1。每顆晶片把 CPU 核心、GPU 和神經網路引擎(Neural Engine)整合在同一塊矽晶片上,只有 Ultra 晶片以及 M5 Pro 和 M5 Max 例外,它們由兩塊裸晶拼接而成。對 AI 來說,關鍵特性是統一記憶體:GPU 沒有自己獨立的記憶體(VRAM),晶片的各個部分共享同一大塊高速記憶體。
在一台典型的 PC 上,模型必須放得進顯示卡的 VRAM,消費級顯示卡的 VRAM 是 8 到 32 GB。在 Mac 上,GPU 可以使用系統的大部分記憶體,而這可以是 64 GB、128 GB,最高配置甚至可達 512 GB。
記憶體大小與記憶體速度
對本地 LLM 來說,有兩個數字要緊。記憶體容量決定你能載入多大的模型。記憶體頻寬決定生成文字的速度,因為每生成一個 token 都要把模型的權重讀一遍。頻寬因晶片檔次不同而差別很大:基礎款晶片約 100 到 150 GB/s,Pro 晶片約為其兩倍,Max 晶片最高可達 614 GB/s(M5 Max),Ultra 晶片超過 800 GB/s。高階的獨立 NVIDIA GPU 頻寬仍然更高,通常為 1,000 到 1,800 GB/s,但它的記憶體小得多。
一條粗略的規則:每秒 token 數 ≈ 頻寬 ÷ 模型在記憶體中的大小。一個 40 GB 的模型在頻寬 400 GB/s 的晶片上,上限接近每秒 10 個 token。
Mac 落後的地方
以其價格和功耗來看,Mac 在生成 token 方面很強,但在提示處理(回答之前先讀完長輸入)方面較慢,這取決於原始算力。長文件或大型程式碼庫可能要花一段明顯的時間才能「讀進去」。訓練和微調大模型也比在 NVIDIA 硬體上慢得多。Apple 的 M5 一代(2025 年)在 GPU 內部加入了專用的矩陣運算單元,針對的正是這一差距。
軟體
- MLX:Apple 自己的機器學習框架,圍繞統一記憶體設計。
- llama.cpp / Ollama / LM Studio:藉助 Apple 的 Metal GPU 框架執行 GGUF 模型。LM Studio 還能執行 MLX 模型。
- PyTorch:透過 MPS 後端支援 Mac 的 GPU,適合做實驗。
- Core ML:Apple 用來把模型內建到應用程式裡的框架。
實用建議
macOS 預設會限制 GPU 可以使用的記憶體量(大約是總量的三分之二到四分之三),對專門跑 AI 的機器,可以透過一項系統設定把它調高。要給 KV 快取留出空間,因為長上下文需要額外好幾 GB。購買時,記憶體容量是日後沒法升級的那項規格。