在 2012 年 ImageNet 競賽中以巨大優勢獲勝的卷積神經網路，引發了深度學習革命。由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 創建，AlexNet 將圖像分類錯誤率從 26% 降低到 16% — 差距之大使電腦視覺社群確信深度學習從根本上優於手工設計的特徵。
AlexNet 是 AI 歷史上的「前後」分水嶺時刻。2012 年之前，大多數 AI 研究者從事特徵工程和非神經方法。AlexNet 之後，深度學習成為主導範式。每個現代 AI 系統 — GPT、Claude、Stable Diffusion — 都可以追溯到 AlexNet 引發的範式轉移。它是現代 AI 的大爆炸。
以現代標準來看，AlexNet 的架構相對簡單：5 個卷積層、3 個全連接層、ReLU 激活、最大池化和 dropout。總參數量約 6000 萬。它的特別之處在於使用 GPU 訓練（兩張 GTX 580，每張 3GB 記憶體 — 按今天的標準微乎其微）、使用資料增強，並在 ImageNet 的 120 萬張訓練圖像上應用 — 這是先前神經方法未嘗試過的規模。
AlexNet 的成功來自三件事，現在看來顯而易見，但在 2012 年是革命性的：(1) 大資料集（ImageNet，120 萬張圖像），(2) GPU 訓練（使計算成為可能），(3) 帶有 ReLU 的深度架構（避免了限制早期網路的梯度消失問題）。這三個要素 — 資料、算力和架構創新 — 至今仍是 AI 突破的配方，只是規模大得多。
AlexNet 的影響是即時且永久的。一年之內，每個有競爭力的 ImageNet 參賽作品都是深度 CNN。三年內，VGGNet 和 GoogLeNet 推向更深。ResNet（2015 年）達到 152 層。電腦視覺社群幾乎完全轉向深度學習，這種方法擴展到 NLP（詞嵌入，然後 RNN，然後 Transformer）、語音，最終擴展到每個 AI 領域。共同作者 Ilya Sutskever 後來共同創立了 OpenAI。