CUDA
Pourquoi c'est important
CUDA explique en grande partie la domination de NVIDIA sur le matériel d'IA. Ce n'est pas seulement que ses puces sont rapides. C'est que près de vingt ans de logiciels, de code de recherche et de compétences de développeurs reposent sur CUDA. AlexNet, le réseau de 2012 qui a lancé l'essor du deep learning, a été entraîné sur deux GPU NVIDIA de jeu avec CUDA. Tous les grands frameworks ont depuis traité CUDA comme leur cible première et la mieux prise en charge.
C'est le fameux fossé CUDA (CUDA moat). Les puces concurrentes d'AMD, d'Intel et d'autres peuvent égaler NVIDIA sur le papier, mais il leur faut aussi convaincre les développeurs de migrer leurs logiciels, ce qui est le problème le plus dur.
Pour les développeurs, CUDA fait partie du quotidien : accorder PyTorch à la bonne version de CUDA, installer des pilotes, et croiser l'erreur la plus courante de l'IA, CUDA out of memory.
En profondeur
Les GPU ont été conçus pour dessiner des images : des milliers de petits cœurs qui travaillent en parallèle sur des pixels. En 2006, NVIDIA a lancé CUDA, un moyen pour les programmeurs d'utiliser ces cœurs pour n'importe quel calcul, pas seulement le graphisme. CUDA comprend un modèle de programmation (une extension du C et du C++), un compilateur, des pilotes et, surtout, un vaste ensemble de bibliothèques optimisées comme cuBLAS pour le calcul matriciel et cuDNN pour les réseaux de neurones.
Aujourd'hui, quand PyTorch fait tourner votre modèle sur un GPU NVIDIA, il appelle CUDA et ses bibliothèques en coulisses.
Comment fonctionne le code CUDA
Un programme CUDA exécute des noyaux (kernels) : des fonctions lancées par des milliers de threads en parallèle. Les threads sont regroupés en blocs, et les blocs en une grille. Chaque thread traite une petite part du travail, comme un morceau d'une multiplication matricielle. Écrire des noyaux rapides demande de gérer la mémoire avec soin : faire passer les données de la mémoire du GPU, vaste mais plus lente (HBM), vers une petite mémoire embarquée très rapide, et les réutiliser autant que possible.
C'est exactement ce qui a rendu Flash Attention si important : il a réorganisé le calcul de l'attention pour qu'il reste dans la mémoire embarquée rapide, avec de gros gains de vitesse sans changer les mathématiques.
Les Tensor Cores
Depuis la génération Volta en 2017, les GPU NVIDIA intègrent des Tensor Cores, des unités spécialisées dans les petites multiplications matricielles au cœur des réseaux de neurones. C'est grâce à eux que les formats de précision réduite comme FP16, BF16, FP8 et FP4 donnent de tels gains : chaque nouvelle génération prend en charge des formats numériques plus petits, que les Tensor Cores traitent plus vite.
Versions et compatibilité
CUDA a deux numéros qui comptent : la version du pilote installé sur la machine et la version du toolkit (ou runtime) avec laquelle une bibliothèque a été compilée. Un pilote plus récent fait généralement tourner des toolkits plus anciens, mais pas l'inverse. La plupart des casse-tête d'installation viennent d'un désaccord entre le pilote, le toolkit CUDA et la version de PyTorch.
Les alternatives
- ROCm et HIP : l'équivalent d'AMD, HIP étant conçu pour faciliter le portage du code CUDA.
- Triton : un langage proche de Python, créé par OpenAI, pour écrire des noyaux GPU sans CUDA brut. Il est utilisé dans le compilateur de PyTorch.
- Metal : le framework GPU d'Apple, utilisé par MLX et llama.cpp sur Mac.
- Les initiatives indépendantes des fabricants comme SYCL, oneAPI et Vulkan compute.
La plupart des développeurs n'écrivent jamais de CUDA directement. Mais savoir qu'il est là explique pourquoi le choix du matériel est autant une affaire de logiciel que de puces.