为什么重要
统一内存让 Mac 成了在本地运行大模型最受欢迎的方式之一。一台 128 GB 内存的 MacBook Pro 可以加载量化后的 70B 参数模型,这在 PC 上需要多块高端 NVIDIA 显卡。大内存的 Mac Studio 成了在家里或小型办公室运行超大开放模型的常见选择,安静,功耗也低。
Apple Silicon 也是 Apple Intelligence 端侧模型背后的硬件,还是本地 AI 路线的重点目标平台:Ollama、LM Studio、llama.cpp 和 MLX 这些工具都对 Mac 提供一流的支持。
深度解析
2020 年,Apple 开始用自研芯片取代 Mac 里的 Intel 处理器,第一款是 M1。每颗芯片把 CPU 核心、GPU 和神经网络引擎(Neural Engine)集成在同一块硅片上,只有 Ultra 芯片以及 M5 Pro 和 M5 Max 例外,它们由两块裸片拼接而成。对 AI 来说,关键特性是统一内存:GPU 没有自己独立的内存(VRAM),芯片的各个部分共享同一大块高速内存。
在一台典型的 PC 上,模型必须放得进显卡的 VRAM,消费级显卡的 VRAM 是 8 到 32 GB。在 Mac 上,GPU 可以使用系统的大部分内存,而这可以是 64 GB、128 GB,最高配置甚至可达 512 GB。
内存大小与内存速度
对本地 LLM 来说,有两个数字要紧。内存容量决定你能加载多大的模型。内存带宽决定生成文本的速度,因为每生成一个 token 都要把模型的权重读一遍。带宽因芯片档次不同而差别很大:基础款芯片约 100 到 150 GB/s,Pro 芯片约为其两倍,Max 芯片最高可达 614 GB/s(M5 Max),Ultra 芯片超过 800 GB/s。高端的独立 NVIDIA GPU 带宽仍然更高,通常为 1,000 到 1,800 GB/s,但它的内存小得多。
一条粗略的规则:每秒 token 数 ≈ 带宽 ÷ 模型在内存中的大小。一个 40 GB 的模型在带宽 400 GB/s 的芯片上,上限接近每秒 10 个 token。
Mac 落后的地方
以其价格和功耗来看,Mac 在生成 token 方面很强,但在提示处理(回答之前先读完长输入)方面较慢,这取决于原始算力。长文档或大型代码库可能要花一段明显的时间才能“读进去”。训练和微调大模型也比在 NVIDIA 硬件上慢得多。Apple 的 M5 一代(2025 年)在 GPU 内部加入了专用的矩阵运算单元,针对的正是这一差距。
软件
- MLX:Apple 自己的机器学习框架,围绕统一内存设计。
- llama.cpp / Ollama / LM Studio:借助 Apple 的 Metal GPU 框架运行 GGUF 模型。LM Studio 还能运行 MLX 模型。
- PyTorch:通过 MPS 后端支持 Mac 的 GPU,适合做实验。
- Core ML:Apple 用来把模型内置到应用里的框架。
实用建议
macOS 默认会限制 GPU 可以使用的内存量(大约是总量的三分之二到四分之三),对专门跑 AI 的机器,可以通过一项系统设置把它调高。要给 KV 缓存留出空间,因为长上下文需要额外好几 GB。购买时,内存容量是日后没法升级的那项规格。