为什么重要
有了 NPU,常开的 AI 功能才能在靠电池供电的设备上实用起来:人脸解锁、相机处理、实时字幕、视频通话的背景虚化、语音输入、端侧翻译。如果在 CPU 或 GPU 上跑这些功能,电池很快就会耗尽,设备也会发热。
2024 年,NPU 成了营销热点,当时微软推出了 Copilot+ PC,这个品类要求 NPU 达到 40 TOPS 或更高。这推动所有笔记本芯片厂商拿出更快的 NPU,“AI PC”也成了大多数新机器上的标签。
深度解析
神经网络处理器(NPU,neural processing unit)是为一件事而设计的处理器:神经网络推理中的矩阵运算。CPU 是多面手,GPU 是强大的并行引擎,而 NPU 用灵活性换效率。它只做一小类运算,通常针对低精度整数,耗电极少。
大多数 NPU 并不是独立的芯片,而是系统级芯片(SoC)里的一个模块,和 CPU、GPU 放在一起。Apple 的 Neural Engine 从 2017 年的 A11 起就装进了 iPhone,每一台 Apple Silicon Mac 里也都有。高通的 Snapdragon 芯片有 Hexagon NPU,Intel 的 Core Ultra 处理器内置了一个名为 AI Boost 的 NPU,AMD 则在 Ryzen AI 芯片里搭载了自己的 NPU。
TOPS 是什么意思
NPU 的性能以 TOPS 为单位宣传,即每秒万亿次运算。Snapdragon X Elite 发布时为 45 TOPS,Intel 的 Lunar Lake 为 48,AMD 的 Ryzen AI 300 系列为 50。对这些数字要保持谨慎。TOPS 是理论峰值,通常用 8 位整数运算测得,它完全不反映内存带宽、支持的运算种类或软件质量,而这些在实践中往往更重要。两个 TOPS 相同的 NPU,在真实模型上的表现可能相差很大。
NPU 擅长什么,不擅长什么
NPU 擅长持续运行的、形状固定的中小型模型:视觉模型、语音识别、降噪、小型语言模型。它们通常要求模型量化为 8 位整数,并转换成厂商的专用格式。
对大语言模型,它们的用处就小得多。LLM 更多受限于内存容量和带宽,而不是纯粹的运算能力;它们处理的序列长度不固定;很多 NPU 还不支持它们需要的运算。这就是为什么 Ollama、LM Studio 和 llama.cpp 这些流行的本地 LLM 工具大多跑在 GPU 或 CPU 上,而不用 NPU。例外是平台厂商专门适配过的模型,比如 Copilot+ PC 上微软的 Phi Silica、Android 上 Google 的 Gemini Nano,以及 Apple Intelligence 的端侧模型。
割裂的软件栈
每家厂商都有自己的工具链:Apple 的 Core ML、高通的 QNN、Intel 的 OpenVINO、AMD 的 Ryzen AI 软件,以及 Android 上的 LiteRT(原 TensorFlow Lite)。ONNX Runtime 和 Windows ML 这样的跨平台层试图掩盖差异,效果好坏参半。对开发者来说,这种割裂是最大的障碍。在一种 NPU 上能跑的模型,换一种往往需要单独转换和测试;如果某个运算不受支持,它可能会悄悄回退到 CPU 上,性能随之崩塌。
更大的 AI 加速器家族
“AI 加速器”是一个更宽泛的说法,指任何专门为神经网络设计的硬件。在数据中心里,这包括 Google 的 TPU、Amazon 的 Trainium、微软的 Maia、Meta 的 MTIA,以及 Cerebras 和 Groq 等公司的芯片。它们的规模大得多,面向的是大模型的训练或推理服务,但原理相同:放弃通用性,换取在某一种工作负载上的效率。
买设备时需要在意吗?
要在本地运行 LLM,先看内存和 GPU:机器有多少 RAM 或 VRAM,速度有多快。要看续航和实时字幕、摄像头特效这类内置功能,NPU 就很重要。如果你开发应用,只有在需要为小模型提供持续、低功耗的推理时才面向 NPU,并且要准备好回退到 GPU 或 CPU 的方案。