Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › PyTorch
Ferramentas

PyTorch

Também conhecido como: Torch
O framework de deep learning de código aberto com que são construídos a maior parte da pesquisa em IA e a maioria dos modelos abertos.

Por que isso importa

O PyTorch é a língua padrão da IA moderna. A esmagadora maioria dos artigos de pesquisa publica código em PyTorch, e os modelos que você baixa da Hugging Face, como Llama, Qwen, Mistral e DeepSeek, normalmente são definidos em PyTorch. A biblioteca Transformers da Hugging Face, o vLLM, o SGLang e a maioria das ferramentas de fine-tuning são construídos sobre ele.

Mesmo que você nunca escreva um loop de treinamento, o PyTorch está por baixo de boa parte do que você roda. Quando aparece um erro CUDA out of memory, um arquivo .pt ou um passo de instalação que pede uma versão específica do PyTorch e do CUDA, isso é o PyTorch.

Em profundidade

O PyTorch é uma biblioteca Python para construir e treinar redes neurais. Ele oferece tensores (arrays multidimensionais que podem ficar em uma GPU), diferenciação automática (ele calcula os gradientes para você, então a backpropagation é uma linha de código) e blocos prontos para camadas, otimizadores e carregamento de dados. Foi lançado no início de 2017 pelo laboratório de pesquisa em IA do Facebook (hoje parte da Meta), com base na antiga biblioteca Torch, escrita em Lua.

Desde 2022, o PyTorch é governado pela PyTorch Foundation, dentro da Linux Foundation, com membros como Meta, Microsoft, Google, NVIDIA, AMD e AWS.

Por que ele venceu

Quando o PyTorch chegou, o framework líder era o TensorFlow, do Google, que na época exigia definir primeiro um grafo de computação inteiro e só depois executá-lo. O PyTorch rodava o código imediatamente: cada linha era executada na hora, como Python normal. Dava para imprimir um tensor no meio do modelo, usar if e loops comuns e depurar com as ferramentas de sempre. Os pesquisadores adoraram, e por volta de 2019 a 2020 ele já dominava a pesquisa nova. A indústria foi atrás, porque os modelos de pesquisa estavam em PyTorch.

Peças principais

  • torch.Tensor: o tipo de dado central, na CPU ou na GPU (.to("cuda")).
  • Autograd: registra as operações sobre tensores e calcula os gradientes com loss.backward().
  • torch.nn: camadas, funções de ativação e funções de perda para compor modelos.
  • torch.optim: otimizadores como SGD e AdamW.
  • torch.compile: acrescentado no PyTorch 2.0 (2023), compila os modelos em kernels mais rápidos sem que você reescreva o código.
  • Ferramentas distribuídas: DDP e FSDP para treinar em muitas GPUs.

Suporte de hardware

O PyTorch roda melhor em GPUs NVIDIA por meio do CUDA, que é o caminho mais testado. Ele também oferece suporte a GPUs AMD via ROCm, a Apple Silicon via o backend MPS, a GPUs Intel e às TPUs do Google (via PyTorch/XLA). O suporte fora da NVIDIA melhorou muito, mas ainda pode ficar para trás em recursos novos e kernels sob medida.

O ecossistema em volta

  • Hugging Face Transformers, Diffusers, PEFT, TRL: bibliotecas de modelos e ferramentas de fine-tuning.
  • PyTorch Lightning: estrutura para o código de treinamento.
  • vLLM e SGLang: servidores de inferência de alto desempenho.
  • ExecuTorch: para rodar modelos PyTorch em celulares e dispositivos de borda.

A principal alternativa hoje é o JAX, do Google, usado para treinar o Gemini e popular em alguns laboratórios de pesquisa. No Mac, o MLX, da Apple, é uma opção mais leve para trabalho local.

← Todos os termos
ESC