为什么重要
PyTorch 是现代 AI 的通用语言。绝大多数研究论文附带的是 PyTorch 代码,你从 Hugging Face 下载的模型,比如 Llama、Qwen、Mistral 和 DeepSeek,通常都是用 PyTorch 定义的。Hugging Face 的 Transformers 库、vLLM、SGLang 和大多数微调工具都建立在它之上。
即使你从不写训练循环,你运行的很多东西底下也是 PyTorch。看到 CUDA out of memory 报错、.pt 文件,或者某个安装步骤要求特定的 PyTorch 和 CUDA 版本,那都是 PyTorch。
深度解析
PyTorch 是一个用来构建和训练神经网络的 Python 库。它提供张量(可以放在 GPU 上的多维数组)、自动微分(它替你算出梯度,反向传播只要一行代码),以及层、优化器和数据加载的各种构件。它由 Facebook 的 AI 研究实验室(现属 Meta)在 2017 年初发布,建立在更早的、基于 Lua 的 Torch 库之上。
自 2022 年起,PyTorch 由 Linux 基金会旗下的 PyTorch 基金会管理,成员包括 Meta、Microsoft、Google、NVIDIA、AMD 和 AWS。
它为什么赢了
PyTorch 出现时,领先的框架是 Google 的 TensorFlow,当时它要求你先定义好整张计算图,然后再运行。PyTorch 则是即时执行(eager):每一行代码立刻运行,就像普通的 Python。你可以在模型中途打印一个张量,使用常规的 if 语句和循环,用标准工具调试。研究者非常喜欢它,到 2019 至 2020 年前后,它已经主导了新的研究。工业界随后跟进,因为研究模型都是用 PyTorch 写的。
关键部件
torch.Tensor:核心数据类型,可以在 CPU 或 GPU 上(.to("cuda"))。- Autograd:记录对张量的操作,用
loss.backward()计算梯度。 torch.nn:用来搭建模型的层、激活函数和损失函数。torch.optim:SGD、AdamW 等优化器。torch.compile:PyTorch 2.0(2023 年)加入,不用改写代码就能把模型编译成更快的内核。- 分布式工具:DDP 和 FSDP,用于在多块 GPU 上训练。
硬件支持
PyTorch 通过 CUDA 在 NVIDIA GPU 上运行得最好,这也是测试最充分的路径。它还通过 ROCm 支持 AMD GPU,通过 MPS 后端支持 Apple Silicon,并支持 Intel GPU 和 Google TPU(通过 PyTorch/XLA)。NVIDIA 之外的支持已经改善了很多,但在新功能和自定义内核上仍可能滞后。
围绕它的生态
- Hugging Face Transformers、Diffusers、PEFT、TRL:模型库和微调工具。
- PyTorch Lightning:为训练代码提供结构。
- vLLM 和 SGLang:高吞吐量的推理服务器。
- ExecuTorch:在手机和边缘设备上运行 PyTorch 模型。
如今它的主要替代品是 Google 的 JAX,Gemini 就是用它训练的,它在一些研究实验室里也很流行。在 Mac 上,Apple 的 MLX 是做本地工作时更轻量的选择。