跳到主要內容
Zubnet AI › 學習 › Wiki › CUDA
基礎設施

CUDA

別名:Compute Unified Device Architecture、統一計算裝置架構
NVIDIA 用來在其 GPU 上執行通用程式碼的平台,也是大多數 AI 賴以運作的軟體基礎。

為什麼重要

NVIDIA 能主導 AI 硬體,CUDA 是重要原因。這不只是因為 NVIDIA 的晶片快,更因為近二十年的軟體、研究程式碼和開發者技能都建立在 CUDA 之上。2012 年開啟深度學習熱潮的網路 AlexNet,就是藉助 CUDA 在兩塊 NVIDIA 遊戲顯示卡上訓練的。此後每一個主流框架都把 CUDA 當作首要的、支援最好的目標平台。

這就是著名的 CUDA 護城河。AMD、Intel 等公司的競品晶片在紙面上可以與 NVIDIA 持平,但它們還得說服開發者遷移軟體,而這才是更難的問題。

對開發者來說,CUDA 出現在日常裡:給 PyTorch 匹配正確的 CUDA 版本,安裝驅動程式,還有 AI 領域最常見的錯誤訊息 CUDA out of memory。

深度解析

GPU 是為繪製圖形而生的:成千上萬個小核心平行處理像素。2006 年,NVIDIA 推出了 CUDA,讓程式設計師可以把這些核心用於任何類型的數學運算,而不只是圖形。CUDA 包括一套程式設計模型(C 和 C++ 的擴充)、編譯器、驅動程式,以及至關重要的一大批最佳化函式庫,比如做矩陣運算的 cuBLAS 和面向神經網路的 cuDNN。

今天,PyTorch 在 NVIDIA GPU 上執行你的模型時,底層呼叫的就是 CUDA 和它的這些函式庫。

CUDA 程式碼如何執行

CUDA 程式執行的是核心(kernel):由成千上萬個執行緒平行執行的函式。執行緒組成塊,塊再組成網格。每個執行緒處理一小片工作,比如矩陣乘法的一部分。要寫出快的核心,就得仔細管理記憶體:把資料從 GPU 容量大但較慢的記憶體(HBM)搬到容量小但極快的晶片內記憶體裡,並儘可能重複利用。

Flash Attention 之所以如此重要,正是因為這一點:它重新組織了注意力的計算,讓它留在快速的晶片內記憶體裡,在不改變數學的前提下帶來了大幅提速。

Tensor Core

自 2017 年的 Volta 一代起,NVIDIA GPU 內建了 Tensor Core,這是專門處理神經網路核心的小型矩陣乘法的單元。FP16、BF16、FP8、FP4 這些低精度格式能帶來那麼大的提速,原因就在這裡:每一代新產品都會增加對更小數值格式的支援,而 Tensor Core 處理它們更快。

版本與相容性

CUDA 有兩個要緊的版本號:機器上安裝的驅動程式版本,以及某個函式庫建構時所針對的工具包(toolkit,或執行環境)版本。較新的驅動程式一般能執行較舊的工具包,反過來則不行。大多數安裝上的麻煩,都來自驅動程式、CUDA 工具包和 PyTorch 建構版本之間的不匹配。

替代方案

  • ROCm 和 HIP:AMD 的對應方案,HIP 的設計目標是讓移植 CUDA 程式碼變得簡單。
  • Triton:OpenAI 推出的一種類 Python 語言,不用寫原生 CUDA 就能編寫 GPU 核心。PyTorch 的編譯器內部就在用它。
  • Metal:Apple 的 GPU 框架,MLX 和 Mac 上的 llama.cpp 都用它。
  • 廠商中立的方案:比如 SYCL、oneAPI 和 Vulkan compute。

大多數開發者從不直接寫 CUDA。但知道它的存在,就能明白為什麼硬體的選擇既關乎晶片,也同樣關乎軟體。

← 所有術語
ESC