為什麼重要
NVIDIA 能主導 AI 硬體,CUDA 是重要原因。這不只是因為 NVIDIA 的晶片快,更因為近二十年的軟體、研究程式碼和開發者技能都建立在 CUDA 之上。2012 年開啟深度學習熱潮的網路 AlexNet,就是藉助 CUDA 在兩塊 NVIDIA 遊戲顯示卡上訓練的。此後每一個主流框架都把 CUDA 當作首要的、支援最好的目標平台。
這就是著名的 CUDA 護城河。AMD、Intel 等公司的競品晶片在紙面上可以與 NVIDIA 持平,但它們還得說服開發者遷移軟體,而這才是更難的問題。
對開發者來說,CUDA 出現在日常裡:給 PyTorch 匹配正確的 CUDA 版本,安裝驅動程式,還有 AI 領域最常見的錯誤訊息 CUDA out of memory。
深度解析
GPU 是為繪製圖形而生的:成千上萬個小核心平行處理像素。2006 年,NVIDIA 推出了 CUDA,讓程式設計師可以把這些核心用於任何類型的數學運算,而不只是圖形。CUDA 包括一套程式設計模型(C 和 C++ 的擴充)、編譯器、驅動程式,以及至關重要的一大批最佳化函式庫,比如做矩陣運算的 cuBLAS 和面向神經網路的 cuDNN。
今天,PyTorch 在 NVIDIA GPU 上執行你的模型時,底層呼叫的就是 CUDA 和它的這些函式庫。
CUDA 程式碼如何執行
CUDA 程式執行的是核心(kernel):由成千上萬個執行緒平行執行的函式。執行緒組成塊,塊再組成網格。每個執行緒處理一小片工作,比如矩陣乘法的一部分。要寫出快的核心,就得仔細管理記憶體:把資料從 GPU 容量大但較慢的記憶體(HBM)搬到容量小但極快的晶片內記憶體裡,並儘可能重複利用。
Flash Attention 之所以如此重要,正是因為這一點:它重新組織了注意力的計算,讓它留在快速的晶片內記憶體裡,在不改變數學的前提下帶來了大幅提速。
Tensor Core
自 2017 年的 Volta 一代起,NVIDIA GPU 內建了 Tensor Core,這是專門處理神經網路核心的小型矩陣乘法的單元。FP16、BF16、FP8、FP4 這些低精度格式能帶來那麼大的提速,原因就在這裡:每一代新產品都會增加對更小數值格式的支援,而 Tensor Core 處理它們更快。
版本與相容性
CUDA 有兩個要緊的版本號:機器上安裝的驅動程式版本,以及某個函式庫建構時所針對的工具包(toolkit,或執行環境)版本。較新的驅動程式一般能執行較舊的工具包,反過來則不行。大多數安裝上的麻煩,都來自驅動程式、CUDA 工具包和 PyTorch 建構版本之間的不匹配。
替代方案
- ROCm 和 HIP:AMD 的對應方案,HIP 的設計目標是讓移植 CUDA 程式碼變得簡單。
- Triton:OpenAI 推出的一種類 Python 語言,不用寫原生 CUDA 就能編寫 GPU 核心。PyTorch 的編譯器內部就在用它。
- Metal:Apple 的 GPU 框架,MLX 和 Mac 上的 llama.cpp 都用它。
- 廠商中立的方案:比如 SYCL、oneAPI 和 Vulkan compute。
大多數開發者從不直接寫 CUDA。但知道它的存在,就能明白為什麼硬體的選擇既關乎晶片,也同樣關乎軟體。