Aller au contenu principal
Zubnet AI › Apprendre › Wiki › PyTorch
Outils

PyTorch

Aussi appelé : Torch
Le framework de deep learning open source avec lequel sont construits l'essentiel de la recherche en IA et la plupart des modèles ouverts.

Pourquoi c'est important

PyTorch est la langue par défaut de l'IA moderne. L'écrasante majorité des articles de recherche publient du code PyTorch, et les modèles que vous téléchargez sur Hugging Face, comme Llama, Qwen, Mistral et DeepSeek, sont généralement définis en PyTorch. La bibliothèque Transformers de Hugging Face, vLLM, SGLang et la plupart des outils de fine-tuning sont construits dessus.

Même si vous n'écrivez jamais de boucle d'entraînement, PyTorch se trouve sous une grande partie de ce que vous exécutez. Une erreur CUDA out of memory, un fichier .pt ou une étape d'installation qui demande une version précise de PyTorch et de CUDA : c'est PyTorch.

En profondeur

PyTorch est une bibliothèque Python pour construire et entraîner des réseaux de neurones. Elle fournit des tenseurs (des tableaux multidimensionnels qui peuvent résider sur un GPU), la différentiation automatique (elle calcule les gradients pour vous, si bien que la rétropropagation tient en une ligne de code), et des briques pour les couches, les optimiseurs et le chargement des données. Elle a été publiée début 2017 par le laboratoire de recherche en IA de Facebook (aujourd'hui Meta), sur la base de l'ancienne bibliothèque Torch écrite en Lua.

Depuis 2022, PyTorch est gouverné par la PyTorch Foundation, au sein de la Linux Foundation, avec parmi ses membres Meta, Microsoft, Google, NVIDIA, AMD et AWS.

Pourquoi il a gagné

À l'arrivée de PyTorch, le framework dominant était TensorFlow de Google, qui exigeait à l'époque de définir d'abord tout un graphe de calcul, puis de l'exécuter. PyTorch exécutait le code immédiatement : chaque ligne s'exécutait tout de suite, comme du Python normal. On pouvait afficher un tenseur en plein milieu du modèle, utiliser des if et des boucles ordinaires, et déboguer avec les outils habituels. Les chercheurs l'ont adoré, et vers 2019-2020 il dominait la nouvelle recherche. L'industrie a suivi, parce que les modèles de recherche étaient en PyTorch.

Les pièces maîtresses

  • torch.Tensor : le type de données central, sur CPU ou GPU (.to("cuda")).
  • Autograd : enregistre les opérations sur les tenseurs et calcule les gradients avec loss.backward().
  • torch.nn : couches, fonctions d'activation et fonctions de perte pour composer des modèles.
  • torch.optim : des optimiseurs comme SGD et AdamW.
  • torch.compile : ajouté dans PyTorch 2.0 (2023), il compile les modèles en noyaux plus rapides sans réécrire votre code.
  • Outils distribués : DDP et FSDP pour entraîner sur de nombreux GPU.

Prise en charge du matériel

PyTorch fonctionne le mieux sur les GPU NVIDIA via CUDA, la voie la plus testée. Il prend aussi en charge les GPU AMD via ROCm, Apple Silicon via le backend MPS, les GPU Intel et les TPU de Google (via PyTorch/XLA). La prise en charge hors NVIDIA a beaucoup progressé, mais peut encore être en retard sur les nouveautés et les noyaux sur mesure.

L'écosystème autour

  • Hugging Face Transformers, Diffusers, PEFT, TRL : bibliothèques de modèles et outils de fine-tuning.
  • PyTorch Lightning : une structure pour le code d'entraînement.
  • vLLM et SGLang : serveurs d'inférence à haut débit.
  • ExecuTorch : pour faire tourner des modèles PyTorch sur des téléphones et des appareils embarqués.

Sa principale alternative aujourd'hui est JAX de Google, utilisé pour entraîner Gemini et apprécié dans certains laboratoires de recherche. Sur Mac, MLX d'Apple est une option plus légère pour le travail en local.

← Tous les termes
ESC