跳到主要内容
Zubnet AI › 学习 › Wiki › CUDA
基础设施

CUDA

别名:Compute Unified Device Architecture、统一计算设备架构
NVIDIA 用来在其 GPU 上运行通用代码的平台,也是大多数 AI 赖以运行的软件基础。

为什么重要

NVIDIA 能主导 AI 硬件,CUDA 是重要原因。这不只是因为 NVIDIA 的芯片快,更因为近二十年的软件、研究代码和开发者技能都建立在 CUDA 之上。2012 年开启深度学习热潮的网络 AlexNet,就是借助 CUDA 在两块 NVIDIA 游戏显卡上训练的。此后每一个主流框架都把 CUDA 当作首要的、支持最好的目标平台。

这就是著名的 CUDA 护城河。AMD、Intel 等公司的竞品芯片在纸面上可以与 NVIDIA 持平,但它们还得说服开发者迁移软件,而这才是更难的问题。

对开发者来说,CUDA 出现在日常里:给 PyTorch 匹配正确的 CUDA 版本,安装驱动,还有 AI 领域最常见的报错 CUDA out of memory。

深度解析

GPU 是为绘制图形而生的:成千上万个小核心并行处理像素。2006 年,NVIDIA 推出了 CUDA,让程序员可以把这些核心用于任何类型的数学运算,而不只是图形。CUDA 包括一套编程模型(C 和 C++ 的扩展)、编译器、驱动程序,以及至关重要的一大批优化库,比如做矩阵运算的 cuBLAS 和面向神经网络的 cuDNN。

今天,PyTorch 在 NVIDIA GPU 上运行你的模型时,底层调用的就是 CUDA 和它的这些库。

CUDA 代码如何运行

CUDA 程序运行的是内核(kernel):由成千上万个线程并行执行的函数。线程组成块,块再组成网格。每个线程处理一小片工作,比如矩阵乘法的一部分。要写出快的内核,就得仔细管理内存:把数据从 GPU 容量大但较慢的内存(HBM)搬到容量小但极快的片上内存里,并尽可能重复利用。

Flash Attention 之所以如此重要,正是因为这一点:它重新组织了注意力的计算,让它留在快速的片上内存里,在不改变数学的前提下带来了大幅提速。

Tensor Core

自 2017 年的 Volta 一代起,NVIDIA GPU 内置了 Tensor Core,这是专门处理神经网络核心的小型矩阵乘法的单元。FP16、BF16、FP8、FP4 这些低精度格式能带来那么大的提速,原因就在这里:每一代新产品都会增加对更小数值格式的支持,而 Tensor Core 处理它们更快。

版本与兼容性

CUDA 有两个要紧的版本号:机器上安装的驱动版本,以及某个库构建时所针对的工具包(toolkit,或运行时)版本。较新的驱动一般能运行较旧的工具包,反过来则不行。大多数安装上的麻烦,都来自驱动、CUDA 工具包和 PyTorch 构建版本之间的不匹配。

替代方案

  • ROCm 和 HIP:AMD 的对应方案,HIP 的设计目标是让移植 CUDA 代码变得简单。
  • Triton:OpenAI 推出的一种类 Python 语言,不用写原生 CUDA 就能编写 GPU 内核。PyTorch 的编译器内部就在用它。
  • Metal:Apple 的 GPU 框架,MLX 和 Mac 上的 llama.cpp 都用它。
  • 厂商中立的方案:比如 SYCL、oneAPI 和 Vulkan compute。

大多数开发者从不直接写 CUDA。但知道它的存在,就能明白为什么硬件的选择既关乎芯片,也同样关乎软件。

← 所有术语
ESC