L'histoire de l'apprentissage profond présente un point d'inflexion spécifique : la compétition ImageNet de 2012, où le réseau neuronal convolutif d'Alex Krizhevsky (AlexNet) a écrasé toutes les autres approches avec une marge qui a surpris le domaine entier. Le deuxième classé avait utilisé des caractéristiques conçues à la main, élaborées par des doctorants en vision par ordinateur après des années de réglage minutieux. AlexNet utilisait cinq couches convolutives entraînées sur deux GPU GTX 580 pendant environ une semaine. Il a remporté la victoire en apprenant ses propres caractéristiques directement à partir des pixels, et il n'était pas près de le perdre — le taux d'erreur est passé de 26 % à 16 % en un seul an. Ce résultat n'a pas simplement remporté une compétition. Il a complètement réorienté tout le domaine de l'intelligence artificielle. En deux ans, presque tous les résultats de pointe en vision par ordinateur utilisaient des réseaux neuronaux profonds. En cinq ans, la même approche avait pris le contrôle du traitement du langage naturel, de la reconnaissance vocale et du jeu. La leçon était brutale dans sa simplicité : laissez le réseau s'en charger, et donnez-lui suffisamment de données et de calculs pour y parvenir.
Le « profond » dans apprentissage profond n'est pas simplement une opération de branding. La profondeur est le mécanisme par lequel les réseaux neuronaux construisent des abstractions. Dans un classifieur d'images, la première couche apprend à détecter les bords — des gradients orientés simples qui réagissent aux limites de contraste. La deuxième couche combine ces bords en textures et en coins. La troisième couche assemble les textures en parties : un œil, une roue, une feuille. Lorsque l'on arrive aux dernières couches, le réseau opère sur des concepts de haut niveau correspondant à ce que les humains reconnaîtront. Cette composition hiérarchique est la raison pour laquelle les réseaux profonds peuvent apprendre des représentations que les réseaux peu profonds ne peuvent pas — chaque couche s'appuie sur la précédente, et la capacité représentative croît de manière combinatoire avec la profondeur. Le même principe s'applique aux modèles de langage. Les couches initiales capturent la syntaxe au niveau des tokens et les motifs locaux. Les couches intermédiaires développent une compréhension contextuelle, suivant les références et les relations à travers les phrases. Les couches tardives gèrent la raison abstraite, l'identification des tâches et la planification de la sortie. Personne ne programme explicitement ces couches pour faire ces choses. La structure émerge de l'entraînement sur suffisamment de données avec une profondeur suffisante, ce qui est à la fois la puissance et le mystère de cette approche.
L'apprentissage profond n'aurait pas existé sans les GPU, et ce n'est pas une métaphore. L'entraînement des réseaux neuronaux est dominé par les multiplications matricielles — les passes avant, les passes arrière, les mises à jour des poids, toutes réductibles à la multiplication de grandes matrices. Les processeurs centraux (CPU) exécutent ces opérations de manière séquentielle sur un petit nombre de cœurs. Les unités de traitement graphique (GPU) les exécutent en parallèle sur des milliers de cœurs. La différence n'est pas de 2x ou 5x — elle est de 50x à 100x pour les opérations importantes. La plateforme CUDA de NVIDIA, initialement conçue pour les graphismes de jeux vidéo, s'est révélée presque parfaitement adaptée à l'entraînement des réseaux neuronaux. Cette coïncidence historique matérielle est une raison majeure pour laquelle NVIDIA est devenu l'une des entreprises les plus précieuses au monde. Cette dépendance s'est même approfondie depuis. Les entraînements modernes utilisent des milliers de GPU communiquant via des interconnexions à haut débit, et le coût d'une seule course d'entraînement de modèle de pointe a grimpé de quelques milliers de dollars en 2012 à des centaines de millions en 2025. Cette dépendance matérielle est aussi ce qui rend l'apprentissage profond inaccessibles à la plupart des chercheurs sans soutien institutionnel ou crédits de calcul en nuage — une tension que le domaine n'a jamais pleinement résolue.
L'hypothèse de mise à l'échelle stipule que l'on peut rendre les modèles plus intelligents en les rendant plus grands — plus de paramètres, plus de données, plus de calculs — et que cette relation suit des lois de puissance prévisibles. Pendant plusieurs années, cette hypothèse a semblé presque raisonnablement vraie. GPT-2 (1,5 milliard de paramètres) pouvait à peine écrire un paragraphe cohérent. GPT-3 (175 milliards) pouvait écrire des essais et faire de l'apprentissage par exemple unique. GPT-4 a passé le barreau. Chaque saut d'échelle apportait des sauts qualitatifs de capacité que personne n'avait explicitement entraînés au modèle. Mais l'hypothèse a des limites, et le domaine commence à les atteindre. Les données d'entraînement s'épuisent — l'ensemble du réseau internet public a déjà été scrapé, et les données synthétiques introduisent leurs propres problèmes. Les coûts de calcul deviennent prohibitifs même pour les laboratoires les plus riches. Et certaines capacités (arithmétique fiable, planification à long terme cohérente, absence d'hallucinations) ne semblent pas se prêter proprement à la mise à l'échelle seule. Le résultat est un virage vers l'efficacité : de meilleures architectures, de meilleures recettes d'entraînement, une meilleure curation de données, et des techniques d'inférence comme la raison en chaîne de pensée qui extraient davantage de capacité des modèles existants.
À l'heure actuelle, en 2026, l'architecture Transformer a gagné. Elle domine les modèles de langage, alimente la plupart des générateurs d'images (via des modèles de diffusion avec des backbones Transformer), gère l'audio, la vidéo et les entrées multimodales. Mais la domination ne signifie pas la permanence. Le coût d'attention quadratique du Transformer — chaque token s'adressant à chaque autre token — crée un mur de mise à l'échelle rigide pour les séquences longues. Cela pousse des recherches sérieuses vers des alternatives. Les modèles d'espace d'état (SSMs), particulièrement la famille Mamba, traitent les séquences en temps linéaire en maintenant un état caché compressé au lieu d'une attention explicite paire. Les architectures hybrides qui mélangent des couches Transformer avec des couches SSM montrent de bons résultats, conservant la qualité du Transformer pour les tâches à courte portée tout en gagnant l'efficacité des SSM pour les séquences longues. La prochaine génération de modèles de base ne sera probablement pas des Transformers purs. Elles seront des hybrides — des architectures qui combinent l'attention là où elle compte le plus avec des mécanismes plus efficaces ailleurs. L'apprentissage profond n'est pas terminé d'évoluer. Il vient juste de terminer son premier acte.