Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › CUDA
Infraestrutura

CUDA

Também conhecido como: Compute Unified Device Architecture
A plataforma da NVIDIA para rodar código de uso geral em suas GPUs, e a base de software sobre a qual roda a maior parte da IA.

Por que isso importa

O CUDA explica em grande parte por que a NVIDIA domina o hardware de IA. Não é só que os chips dela são rápidos. É que quase duas décadas de software, código de pesquisa e habilidades de desenvolvedores foram construídas sobre o CUDA. A AlexNet, a rede de 2012 que deu início ao boom do deep learning, foi treinada em duas GPUs NVIDIA para jogos usando CUDA. Desde então, todo grande framework trata o CUDA como seu alvo principal e mais bem suportado.

Esse é o famoso fosso do CUDA (CUDA moat). Chips concorrentes da AMD, da Intel e de outras empresas podem igualar a NVIDIA no papel, mas também precisam convencer os desenvolvedores a migrar o software, que é o problema mais difícil.

Para quem constrói, o CUDA aparece no dia a dia: casar o PyTorch com a versão certa do CUDA, instalar drivers e topar com o erro mais comum da IA, o CUDA out of memory.

Em profundidade

As GPUs foram criadas para desenhar gráficos: milhares de núcleos pequenos trabalhando em paralelo sobre pixels. Em 2006, a NVIDIA apresentou o CUDA, um jeito de os programadores usarem esses núcleos para qualquer tipo de cálculo, não só gráficos. O CUDA inclui um modelo de programação (uma extensão de C e C++), um compilador, drivers e, principalmente, um conjunto enorme de bibliotecas otimizadas, como a cuBLAS para cálculo matricial e a cuDNN para redes neurais.

Hoje, quando o PyTorch roda o seu modelo em uma GPU NVIDIA, por baixo ele está chamando o CUDA e suas bibliotecas.

Como funciona o código CUDA

Um programa CUDA executa kernels: funções rodadas por milhares de threads em paralelo. As threads são agrupadas em blocos, e os blocos em uma grade. Cada thread cuida de uma pequena fatia do trabalho, como uma parte de uma multiplicação de matrizes. Escrever kernels rápidos exige gerenciar a memória com cuidado: mover os dados da memória da GPU, grande mas mais lenta (HBM), para uma memória pequena e muito rápida dentro do chip, e reutilizá-los o máximo possível.

Foi exatamente isso que tornou o Flash Attention tão importante: ele reorganizou o cálculo da atenção para que ficasse na memória rápida do chip, com grandes ganhos de velocidade sem mudar a matemática.

Tensor Cores

Desde a geração Volta, de 2017, as GPUs NVIDIA incluem Tensor Cores, unidades especiais para as pequenas multiplicações de matrizes que estão no coração das redes neurais. É por causa deles que formatos de menor precisão, como FP16, BF16, FP8 e FP4, dão acelerações tão grandes: cada nova geração acrescenta suporte a formatos numéricos menores, que os Tensor Cores processam mais rápido.

Versões e compatibilidade

O CUDA tem dois números que importam: a versão do driver instalado na máquina e a versão do toolkit (ou runtime) com a qual uma biblioteca foi compilada. Um driver mais novo geralmente roda toolkits mais antigos, mas não o contrário. A maioria das dores de cabeça de instalação vem de desencontros entre o driver, o toolkit do CUDA e a build do PyTorch.

As alternativas

  • ROCm e HIP: o equivalente da AMD, com o HIP pensado para tornar simples a portabilidade de código CUDA.
  • Triton: uma linguagem parecida com Python, criada pela OpenAI, para escrever kernels de GPU sem CUDA puro. É usada dentro do compilador do PyTorch.
  • Metal: o framework de GPU da Apple, usado pelo MLX e pelo llama.cpp no Mac.
  • Iniciativas independentes de fabricante como SYCL, oneAPI e Vulkan compute.

A maioria dos desenvolvedores nunca escreve CUDA diretamente. Mas saber que ele está ali explica por que escolher hardware tem tanto a ver com software quanto com chips.

← Todos os termos
ESC