为什么重要
NVIDIA 能主导 AI 硬件,CUDA 是重要原因。这不只是因为 NVIDIA 的芯片快,更因为近二十年的软件、研究代码和开发者技能都建立在 CUDA 之上。2012 年开启深度学习热潮的网络 AlexNet,就是借助 CUDA 在两块 NVIDIA 游戏显卡上训练的。此后每一个主流框架都把 CUDA 当作首要的、支持最好的目标平台。
这就是著名的 CUDA 护城河。AMD、Intel 等公司的竞品芯片在纸面上可以与 NVIDIA 持平,但它们还得说服开发者迁移软件,而这才是更难的问题。
对开发者来说,CUDA 出现在日常里:给 PyTorch 匹配正确的 CUDA 版本,安装驱动,还有 AI 领域最常见的报错 CUDA out of memory。
深度解析
GPU 是为绘制图形而生的:成千上万个小核心并行处理像素。2006 年,NVIDIA 推出了 CUDA,让程序员可以把这些核心用于任何类型的数学运算,而不只是图形。CUDA 包括一套编程模型(C 和 C++ 的扩展)、编译器、驱动程序,以及至关重要的一大批优化库,比如做矩阵运算的 cuBLAS 和面向神经网络的 cuDNN。
今天,PyTorch 在 NVIDIA GPU 上运行你的模型时,底层调用的就是 CUDA 和它的这些库。
CUDA 代码如何运行
CUDA 程序运行的是内核(kernel):由成千上万个线程并行执行的函数。线程组成块,块再组成网格。每个线程处理一小片工作,比如矩阵乘法的一部分。要写出快的内核,就得仔细管理内存:把数据从 GPU 容量大但较慢的内存(HBM)搬到容量小但极快的片上内存里,并尽可能重复利用。
Flash Attention 之所以如此重要,正是因为这一点:它重新组织了注意力的计算,让它留在快速的片上内存里,在不改变数学的前提下带来了大幅提速。
Tensor Core
自 2017 年的 Volta 一代起,NVIDIA GPU 内置了 Tensor Core,这是专门处理神经网络核心的小型矩阵乘法的单元。FP16、BF16、FP8、FP4 这些低精度格式能带来那么大的提速,原因就在这里:每一代新产品都会增加对更小数值格式的支持,而 Tensor Core 处理它们更快。
版本与兼容性
CUDA 有两个要紧的版本号:机器上安装的驱动版本,以及某个库构建时所针对的工具包(toolkit,或运行时)版本。较新的驱动一般能运行较旧的工具包,反过来则不行。大多数安装上的麻烦,都来自驱动、CUDA 工具包和 PyTorch 构建版本之间的不匹配。
替代方案
- ROCm 和 HIP:AMD 的对应方案,HIP 的设计目标是让移植 CUDA 代码变得简单。
- Triton:OpenAI 推出的一种类 Python 语言,不用写原生 CUDA 就能编写 GPU 内核。PyTorch 的编译器内部就在用它。
- Metal:Apple 的 GPU 框架,MLX 和 Mac 上的 llama.cpp 都用它。
- 厂商中立的方案:比如 SYCL、oneAPI 和 Vulkan compute。
大多数开发者从不直接写 CUDA。但知道它的存在,就能明白为什么硬件的选择既关乎芯片,也同样关乎软件。