Saltar al contenido principal
Zubnet AI › Aprender › Wiki › CUDA
Infraestructura

CUDA

También conocido como: Compute Unified Device Architecture
La plataforma de NVIDIA para ejecutar código de propósito general en sus GPU, y la base de software sobre la que corre la mayor parte de la IA.

Por qué importa

CUDA explica en gran parte por qué NVIDIA domina el hardware de IA. No es solo que sus chips sean rápidos. Es que casi dos décadas de software, código de investigación y habilidades de desarrolladores están construidas sobre CUDA. AlexNet, la red de 2012 que desató el auge del deep learning, se entrenó en dos GPU NVIDIA para videojuegos usando CUDA. Desde entonces, todos los grandes frameworks han tratado CUDA como su objetivo principal y mejor soportado.

Ese es el famoso foso de CUDA (CUDA moat). Los chips competidores de AMD, Intel y otros pueden igualar a NVIDIA sobre el papel, pero además tienen que convencer a los desarrolladores de mover su software, que es el problema más difícil.

Para quienes construyen, CUDA aparece en el día a día: hacer coincidir PyTorch con la versión correcta de CUDA, instalar controladores y toparse con el error más común de la IA, CUDA out of memory.

En profundidad

Las GPU se crearon para dibujar gráficos: miles de núcleos pequeños trabajando en paralelo sobre píxeles. En 2006, NVIDIA presentó CUDA, una forma de que los programadores usaran esos núcleos para cualquier tipo de cálculo, no solo gráficos. CUDA incluye un modelo de programación (una extensión de C y C++), un compilador, controladores y, sobre todo, un enorme conjunto de bibliotecas optimizadas, como cuBLAS para cálculo matricial y cuDNN para redes neuronales.

Hoy, cuando PyTorch ejecuta tu modelo en una GPU NVIDIA, por debajo está llamando a CUDA y a sus bibliotecas.

Cómo funciona el código CUDA

Un programa CUDA ejecuta kernels: funciones que corren miles de hilos en paralelo. Los hilos se agrupan en bloques, y los bloques en una cuadrícula. Cada hilo se ocupa de una pequeña porción del trabajo, como una parte de una multiplicación de matrices. Escribir kernels rápidos exige gestionar la memoria con cuidado: mover los datos de la memoria de la GPU, grande pero más lenta (HBM), a una memoria pequeña y muy rápida dentro del chip, y reutilizarlos todo lo posible.

Eso es justo lo que hizo tan importante a Flash Attention: reorganizó el cálculo de la atención para que se quedara en la memoria rápida del chip, con grandes mejoras de velocidad sin cambiar las matemáticas.

Tensor Cores

Desde la generación Volta de 2017, las GPU NVIDIA incluyen Tensor Cores, unidades especiales para las pequeñas multiplicaciones de matrices que están en el corazón de las redes neuronales. Por ellos los formatos de menor precisión, como FP16, BF16, FP8 y FP4, dan aceleraciones tan grandes: cada nueva generación añade soporte para formatos numéricos más pequeños que los Tensor Cores procesan más rápido.

Versiones y compatibilidad

CUDA tiene dos números que importan: la versión del controlador instalado en la máquina y la versión del toolkit (o runtime) con la que se compiló una biblioteca. Un controlador más nuevo suele ejecutar toolkits más antiguos, pero no al revés. La mayoría de los dolores de cabeza de instalación vienen de desajustes entre el controlador, el toolkit de CUDA y la compilación de PyTorch.

Las alternativas

  • ROCm y HIP: el equivalente de AMD, con HIP diseñado para que portar código CUDA sea sencillo.
  • Triton: un lenguaje parecido a Python, creado por OpenAI, para escribir kernels de GPU sin CUDA puro. Se usa dentro del compilador de PyTorch.
  • Metal: el framework de GPU de Apple, usado por MLX y llama.cpp en Mac.
  • Iniciativas independientes del fabricante como SYCL, oneAPI y Vulkan compute.

La mayoría de los desarrolladores nunca escriben CUDA directamente. Pero saber que está ahí explica por qué elegir hardware tiene tanto que ver con el software como con los chips.

← Todos los términos
ESC