跳到主要內容
Zubnet AI › 學習 › Wiki › ResNet
模型

ResNet

別名:Residual Network、殘差網路
2015 年的影像模型,用跳躍連接訓練出了超過 100 層深的網路,這個想法如今存在於幾乎所有現代模型之中。

為什麼重要

在 ResNet 之前,把網路加深往往讓它變差,原因不是過擬合,而是非常深的網路本身就很難訓練。訊號和梯度在穿過許多層的過程中逐漸消失。殘差連接給了資訊一條穿過網路的直達通道,從而解決了這個問題。深度不再是一堵牆。

這一個想法比模型本身活得更久。每一個 Transformer,包括每一個現代 LLM,都把每個注意力塊和前饋塊包在殘差連接裡。ResNet 論文是所有領域中被引用次數最多的科學論文之一。

ResNet 模型本身,尤其是 ResNet-50,也在多年裡成為電腦視覺的標準骨幹網路,被用於分類、物件偵測、分割,並在無數論文裡充當參照基準。

深度解析

ResNet 由微軟研究院的何愷明(Kaiming He)、張祥雨、任少卿和孫劍在 2015 年提出。它憑藉一個 152 層的網路贏得了當年的 ImageNet 影像分類競賽,深度約為前一年冠軍的八倍,top-5 錯誤率約 3.6%,與對人類在該任務上表現的估計大致相當,甚至更好。

它的核心想法是殘差連接(也叫跳躍連接):每個由若干層組成的塊不再把輸入徹底轉換一遍,而是只學習一個要加到輸入上的變化量。原始輸入繞過這個塊,在末尾被加回來。

殘差塊

普通的塊計算 output = F(x)。殘差塊計算 output = F(x) + x。如果一個塊最好的做法是什麼都不做,它只需要學到 F(x) = 0,這很容易。在普通網路裡,同樣的塊得學會完美地複製輸入,而事實證明這很難。這讓額外的層可以「免費」加入:最壞的情況下,它們學會不礙事就行。

在反向傳播時,+ x 這條路徑還讓梯度可以直接流回前面的層,從而避開了梯度消失問題。

家族成員

ResNet 有幾種標準深度:ResNet-18、-34、-50、-101 和 -152。較深的版本使用瓶頸塊(先用一個 1×1 卷積縮減通道數,再做一個 3×3 卷積,然後用一個 1×1 卷積擴回去)來保持效率。它們還自始至終使用批次正規化,這對訓練的穩定很重要。

影響與後繼者

  • Transformer(2017 年)在每個子層外面都採用了殘差連接。
  • ResNeXt、DenseNet 和 EfficientNet 在視覺領域延續並發展了這個想法。
  • Vision Transformer(2020 年)最終在影像任務上挑戰了卷積網路,但在看重速度和簡單性的場合,尤其是在邊緣裝置上,ResNet 風格的 CNN 仍然被廣泛使用。
  • 擴散模型裡的 U-Net 是由殘差塊搭成的。

為什麼今天仍值得了解

如果你要為一個實際任務微調影像分類器,預訓練的 ResNet-50 仍然是一個快速、可靠的基線。而當你在 LLM 可解釋性研究裡讀到「殘差流」(residual stream)時,你看到的正是 ResNet 的遺產:每一層都往上面加一點東西的那個累計和。

← 所有術語
ESC