跳到主要內容
Zubnet AI › 學習 › Wiki › PyTorch
工具

PyTorch

別名:Torch
開源深度學習框架,大多數 AI 研究和大多數開放模型都是用它建構的。

為什麼重要

PyTorch 是現代 AI 的通用語言。絕大多數研究論文附帶的是 PyTorch 程式碼,你從 Hugging Face 下載的模型,比如 Llama、Qwen、Mistral 和 DeepSeek,通常都是用 PyTorch 定義的。Hugging Face 的 Transformers 函式庫、vLLM、SGLang 和大多數微調工具都建立在它之上。

即使你從不寫訓練迴圈,你執行的很多東西底下也是 PyTorch。看到 CUDA out of memory 錯誤訊息、.pt 檔案,或者某個安裝步驟要求特定的 PyTorch 和 CUDA 版本,那都是 PyTorch。

深度解析

PyTorch 是一個用來建構和訓練神經網路的 Python 函式庫。它提供張量(可以放在 GPU 上的多維陣列)、自動微分(它替你算出梯度,反向傳播只要一行程式碼),以及層、最佳化器和資料載入的各種構件。它由 Facebook 的 AI 研究實驗室(現屬 Meta)在 2017 年初發布,建立在更早的、基於 Lua 的 Torch 函式庫之上。

自 2022 年起,PyTorch 由 Linux 基金會旗下的 PyTorch 基金會管理,成員包括 Meta、Microsoft、Google、NVIDIA、AMD 和 AWS。

它為什麼贏了

PyTorch 出現時,領先的框架是 Google 的 TensorFlow,當時它要求你先定義好整張計算圖,然後再執行。PyTorch 則是即時執行(eager):每一行程式碼立刻執行,就像普通的 Python。你可以在模型中途印出一個張量,使用常規的 if 陳述式和迴圈,用標準工具除錯。研究者非常喜歡它,到 2019 至 2020 年前後,它已經主導了新的研究。工業界隨後跟進,因為研究模型都是用 PyTorch 寫的。

關鍵部件

  • torch.Tensor:核心資料型別,可以在 CPU 或 GPU 上(.to("cuda"))。
  • Autograd:記錄對張量的操作,用 loss.backward() 計算梯度。
  • torch.nn:用來搭建模型的層、激勵函數和損失函數。
  • torch.optim:SGD、AdamW 等最佳化器。
  • torch.compile:PyTorch 2.0(2023 年)加入,不用改寫程式碼就能把模型編譯成更快的核心。
  • 分散式工具:DDP 和 FSDP,用於在多塊 GPU 上訓練。

硬體支援

PyTorch 透過 CUDA 在 NVIDIA GPU 上執行得最好,這也是測試最充分的路徑。它還透過 ROCm 支援 AMD GPU,透過 MPS 後端支援 Apple Silicon,並支援 Intel GPU 和 Google TPU(透過 PyTorch/XLA)。NVIDIA 之外的支援已經改善了很多,但在新功能和自訂核心上仍可能滯後。

圍繞它的生態

  • Hugging Face Transformers、Diffusers、PEFT、TRL:模型庫和微調工具。
  • PyTorch Lightning:為訓練程式碼提供結構。
  • vLLM 和 SGLang:高吞吐量的推論伺服器。
  • ExecuTorch:在手機和邊緣裝置上執行 PyTorch 模型。

如今它的主要替代品是 Google 的 JAX,Gemini 就是用它訓練的,它在一些研究實驗室裡也很流行。在 Mac 上,Apple 的 MLX 是做本地工作時更輕量的選擇。

← 所有術語
ESC