跳到主要內容
Zubnet AI › 學習 › Wiki › Apple Silicon
基礎設施

Apple Silicon

別名:統一記憶體、Unified Memory、M 系列晶片
Apple 為 Mac 自研的晶片,其共享的「統一記憶體」讓它能在本地執行大得出人意料的 AI 模型。

為什麼重要

統一記憶體讓 Mac 成了在本地執行大模型最受歡迎的方式之一。一台 128 GB 記憶體的 MacBook Pro 可以載入量化後的 70B 參數模型,這在 PC 上需要多塊高階 NVIDIA 顯示卡。大記憶體的 Mac Studio 成了在家裡或小型辦公室執行超大開放模型的常見選擇,安靜,功耗也低。

Apple Silicon 也是 Apple Intelligence 裝置端模型背後的硬體,還是本地 AI 路線的重點目標平台:Ollama、LM Studio、llama.cpp 和 MLX 這些工具都對 Mac 提供一流的支援。

深度解析

2020 年,Apple 開始用自研晶片取代 Mac 裡的 Intel 處理器,第一款是 M1。每顆晶片把 CPU 核心、GPU 和神經網路引擎(Neural Engine)整合在同一塊矽晶片上,只有 Ultra 晶片以及 M5 Pro 和 M5 Max 例外,它們由兩塊裸晶拼接而成。對 AI 來說,關鍵特性是統一記憶體:GPU 沒有自己獨立的記憶體(VRAM),晶片的各個部分共享同一大塊高速記憶體。

在一台典型的 PC 上,模型必須放得進顯示卡的 VRAM,消費級顯示卡的 VRAM 是 8 到 32 GB。在 Mac 上,GPU 可以使用系統的大部分記憶體,而這可以是 64 GB、128 GB,最高配置甚至可達 512 GB。

記憶體大小與記憶體速度

對本地 LLM 來說,有兩個數字要緊。記憶體容量決定你能載入多大的模型。記憶體頻寬決定生成文字的速度,因為每生成一個 token 都要把模型的權重讀一遍。頻寬因晶片檔次不同而差別很大:基礎款晶片約 100 到 150 GB/s,Pro 晶片約為其兩倍,Max 晶片最高可達 614 GB/s(M5 Max),Ultra 晶片超過 800 GB/s。高階的獨立 NVIDIA GPU 頻寬仍然更高,通常為 1,000 到 1,800 GB/s,但它的記憶體小得多。

一條粗略的規則:每秒 token 數 ≈ 頻寬 ÷ 模型在記憶體中的大小。一個 40 GB 的模型在頻寬 400 GB/s 的晶片上,上限接近每秒 10 個 token。

Mac 落後的地方

以其價格和功耗來看,Mac 在生成 token 方面很強,但在提示處理(回答之前先讀完長輸入)方面較慢,這取決於原始算力。長文件或大型程式碼庫可能要花一段明顯的時間才能「讀進去」。訓練和微調大模型也比在 NVIDIA 硬體上慢得多。Apple 的 M5 一代(2025 年)在 GPU 內部加入了專用的矩陣運算單元,針對的正是這一差距。

軟體

  • MLX:Apple 自己的機器學習框架,圍繞統一記憶體設計。
  • llama.cpp / Ollama / LM Studio:藉助 Apple 的 Metal GPU 框架執行 GGUF 模型。LM Studio 還能執行 MLX 模型。
  • PyTorch:透過 MPS 後端支援 Mac 的 GPU,適合做實驗。
  • Core ML:Apple 用來把模型內建到應用程式裡的框架。

實用建議

macOS 預設會限制 GPU 可以使用的記憶體量(大約是總量的三分之二到四分之三),對專門跑 AI 的機器,可以透過一項系統設定把它調高。要給 KV 快取留出空間,因為長上下文需要額外好幾 GB。購買時,記憶體容量是日後沒法升級的那項規格。

← 所有術語
ESC