為什麼重要
有了 NPU,常開的 AI 功能才能在靠電池供電的裝置上實用起來:人臉解鎖、相機處理、即時字幕、視訊通話的背景虛化、語音輸入、裝置端翻譯。如果在 CPU 或 GPU 上跑這些功能,電池很快就會耗盡,裝置也會發熱。
2024 年,NPU 成了行銷熱點,當時微軟推出了 Copilot+ PC,這個品類要求 NPU 達到 40 TOPS 或更高。這推動所有筆記型電腦晶片廠商拿出更快的 NPU,「AI PC」也成了大多數新機器上的標籤。
深度解析
神經網路處理器(NPU,neural processing unit)是為一件事而設計的處理器:神經網路推論中的矩陣運算。CPU 是多面手,GPU 是強大的平行引擎,而 NPU 用靈活性換效率。它只做一小類運算,通常針對低精度整數,耗電極少。
大多數 NPU 並不是獨立的晶片,而是系統單晶片(SoC)裡的一個模組,和 CPU、GPU 放在一起。Apple 的 Neural Engine 從 2017 年的 A11 起就裝進了 iPhone,每一台 Apple Silicon Mac 裡也都有。高通的 Snapdragon 晶片有 Hexagon NPU,Intel 的 Core Ultra 處理器內建了一個名為 AI Boost 的 NPU,AMD 則在 Ryzen AI 晶片裡搭載了自己的 NPU。
TOPS 是什麼意思
NPU 的效能以 TOPS 為單位宣傳,即每秒兆次運算。Snapdragon X Elite 發布時為 45 TOPS,Intel 的 Lunar Lake 為 48,AMD 的 Ryzen AI 300 系列為 50。對這些數字要保持謹慎。TOPS 是理論峰值,通常用 8 位元整數運算測得,它完全不反映記憶體頻寬、支援的運算種類或軟體品質,而這些在實踐中往往更重要。兩個 TOPS 相同的 NPU,在真實模型上的表現可能相差很大。
NPU 擅長什麼,不擅長什麼
NPU 擅長持續執行的、形狀固定的中小型模型:視覺模型、語音辨識、降噪、小型語言模型。它們通常要求模型量化為 8 位元整數,並轉換成廠商的專用格式。
對大型語言模型,它們的用處就小得多。LLM 更多受限於記憶體容量和頻寬,而不是純粹的運算能力;它們處理的序列長度不固定;很多 NPU 還不支援它們需要的運算。這就是為什麼 Ollama、LM Studio 和 llama.cpp 這些流行的本地 LLM 工具大多跑在 GPU 或 CPU 上,而不用 NPU。例外是平台廠商專門適配過的模型,比如 Copilot+ PC 上微軟的 Phi Silica、Android 上 Google 的 Gemini Nano,以及 Apple Intelligence 的裝置端模型。
割裂的軟體堆疊
每家廠商都有自己的工具鏈:Apple 的 Core ML、高通的 QNN、Intel 的 OpenVINO、AMD 的 Ryzen AI 軟體,以及 Android 上的 LiteRT(原 TensorFlow Lite)。ONNX Runtime 和 Windows ML 這樣的跨平台層試圖掩蓋差異,效果好壞參半。對開發者來說,這種割裂是最大的障礙。在一種 NPU 上能跑的模型,換一種往往需要單獨轉換和測試;如果某個運算不受支援,它可能會悄悄回退到 CPU 上,效能隨之崩塌。
更大的 AI 加速器家族
「AI 加速器」是一個更寬泛的說法,指任何專門為神經網路設計的硬體。在資料中心裡,這包括 Google 的 TPU、Amazon 的 Trainium、微軟的 Maia、Meta 的 MTIA,以及 Cerebras 和 Groq 等公司的晶片。它們的規模大得多,面向的是大模型的訓練或推論服務,但原理相同:放棄通用性,換取在某一種工作負載上的效率。
買裝置時需要在意嗎?
要在本地執行 LLM,先看記憶體和 GPU:機器有多少 RAM 或 VRAM,速度有多快。要看續航和即時字幕、攝影機特效這類內建功能,NPU 就很重要。如果你開發應用程式,只有在需要為小模型提供持續、低功耗的推論時才面向 NPU,並且要準備好回退到 GPU 或 CPU 的方案。