跳到主要内容
Zubnet AI › 学习 › Wiki › PyTorch
工具

PyTorch

别名:Torch
开源深度学习框架,大多数 AI 研究和大多数开放模型都是用它构建的。

为什么重要

PyTorch 是现代 AI 的通用语言。绝大多数研究论文附带的是 PyTorch 代码,你从 Hugging Face 下载的模型,比如 Llama、Qwen、Mistral 和 DeepSeek,通常都是用 PyTorch 定义的。Hugging Face 的 Transformers 库、vLLM、SGLang 和大多数微调工具都建立在它之上。

即使你从不写训练循环,你运行的很多东西底下也是 PyTorch。看到 CUDA out of memory 报错、.pt 文件,或者某个安装步骤要求特定的 PyTorch 和 CUDA 版本,那都是 PyTorch。

深度解析

PyTorch 是一个用来构建和训练神经网络的 Python 库。它提供张量(可以放在 GPU 上的多维数组)、自动微分(它替你算出梯度,反向传播只要一行代码),以及层、优化器和数据加载的各种构件。它由 Facebook 的 AI 研究实验室(现属 Meta)在 2017 年初发布,建立在更早的、基于 Lua 的 Torch 库之上。

自 2022 年起,PyTorch 由 Linux 基金会旗下的 PyTorch 基金会管理,成员包括 Meta、Microsoft、Google、NVIDIA、AMD 和 AWS。

它为什么赢了

PyTorch 出现时,领先的框架是 Google 的 TensorFlow,当时它要求你先定义好整张计算图,然后再运行。PyTorch 则是即时执行(eager):每一行代码立刻运行,就像普通的 Python。你可以在模型中途打印一个张量,使用常规的 if 语句和循环,用标准工具调试。研究者非常喜欢它,到 2019 至 2020 年前后,它已经主导了新的研究。工业界随后跟进,因为研究模型都是用 PyTorch 写的。

关键部件

  • torch.Tensor:核心数据类型,可以在 CPU 或 GPU 上(.to("cuda"))。
  • Autograd:记录对张量的操作,用 loss.backward() 计算梯度。
  • torch.nn:用来搭建模型的层、激活函数和损失函数。
  • torch.optim:SGD、AdamW 等优化器。
  • torch.compile:PyTorch 2.0(2023 年)加入,不用改写代码就能把模型编译成更快的内核。
  • 分布式工具:DDP 和 FSDP,用于在多块 GPU 上训练。

硬件支持

PyTorch 通过 CUDA 在 NVIDIA GPU 上运行得最好,这也是测试最充分的路径。它还通过 ROCm 支持 AMD GPU,通过 MPS 后端支持 Apple Silicon,并支持 Intel GPU 和 Google TPU(通过 PyTorch/XLA)。NVIDIA 之外的支持已经改善了很多,但在新功能和自定义内核上仍可能滞后。

围绕它的生态

  • Hugging Face Transformers、Diffusers、PEFT、TRL:模型库和微调工具。
  • PyTorch Lightning:为训练代码提供结构。
  • vLLM 和 SGLang:高吞吐量的推理服务器。
  • ExecuTorch:在手机和边缘设备上运行 PyTorch 模型。

如今它的主要替代品是 Google 的 JAX,Gemini 就是用它训练的,它在一些研究实验室里也很流行。在 Mac 上,Apple 的 MLX 是做本地工作时更轻量的选择。

← 所有术语
ESC