跳到主要内容
Zubnet AI › 学习 › Wiki › Apple Silicon
基础设施

Apple Silicon

别名:统一内存、Unified Memory、M 系列芯片
Apple 为 Mac 自研的芯片,其共享的“统一内存”让它能在本地运行大得出人意料的 AI 模型。

为什么重要

统一内存让 Mac 成了在本地运行大模型最受欢迎的方式之一。一台 128 GB 内存的 MacBook Pro 可以加载量化后的 70B 参数模型,这在 PC 上需要多块高端 NVIDIA 显卡。大内存的 Mac Studio 成了在家里或小型办公室运行超大开放模型的常见选择,安静,功耗也低。

Apple Silicon 也是 Apple Intelligence 端侧模型背后的硬件,还是本地 AI 路线的重点目标平台:Ollama、LM Studio、llama.cpp 和 MLX 这些工具都对 Mac 提供一流的支持。

深度解析

2020 年,Apple 开始用自研芯片取代 Mac 里的 Intel 处理器,第一款是 M1。每颗芯片把 CPU 核心、GPU 和神经网络引擎(Neural Engine)集成在同一块硅片上,只有 Ultra 芯片以及 M5 Pro 和 M5 Max 例外,它们由两块裸片拼接而成。对 AI 来说,关键特性是统一内存:GPU 没有自己独立的内存(VRAM),芯片的各个部分共享同一大块高速内存。

在一台典型的 PC 上,模型必须放得进显卡的 VRAM,消费级显卡的 VRAM 是 8 到 32 GB。在 Mac 上,GPU 可以使用系统的大部分内存,而这可以是 64 GB、128 GB,最高配置甚至可达 512 GB。

内存大小与内存速度

对本地 LLM 来说,有两个数字要紧。内存容量决定你能加载多大的模型。内存带宽决定生成文本的速度,因为每生成一个 token 都要把模型的权重读一遍。带宽因芯片档次不同而差别很大:基础款芯片约 100 到 150 GB/s,Pro 芯片约为其两倍,Max 芯片最高可达 614 GB/s(M5 Max),Ultra 芯片超过 800 GB/s。高端的独立 NVIDIA GPU 带宽仍然更高,通常为 1,000 到 1,800 GB/s,但它的内存小得多。

一条粗略的规则:每秒 token 数 ≈ 带宽 ÷ 模型在内存中的大小。一个 40 GB 的模型在带宽 400 GB/s 的芯片上,上限接近每秒 10 个 token。

Mac 落后的地方

以其价格和功耗来看,Mac 在生成 token 方面很强,但在提示处理(回答之前先读完长输入)方面较慢,这取决于原始算力。长文档或大型代码库可能要花一段明显的时间才能“读进去”。训练和微调大模型也比在 NVIDIA 硬件上慢得多。Apple 的 M5 一代(2025 年)在 GPU 内部加入了专用的矩阵运算单元,针对的正是这一差距。

软件

  • MLX:Apple 自己的机器学习框架,围绕统一内存设计。
  • llama.cpp / Ollama / LM Studio:借助 Apple 的 Metal GPU 框架运行 GGUF 模型。LM Studio 还能运行 MLX 模型。
  • PyTorch:通过 MPS 后端支持 Mac 的 GPU,适合做实验。
  • Core ML:Apple 用来把模型内置到应用里的框架。

实用建议

macOS 默认会限制 GPU 可以使用的内存量(大约是总量的三分之二到四分之三),对专门跑 AI 的机器,可以通过一项系统设置把它调高。要给 KV 缓存留出空间,因为长上下文需要额外好几 GB。购买时,内存容量是日后没法升级的那项规格。

← 所有术语
ESC