Aller au contenu principal
Zubnet AI › Apprendre › Wiki › ResNet
Modèles

ResNet

Aussi appelé : Residual Network, Réseau résiduel
Le modèle d'image de 2015 qui a utilisé des connexions de saut pour entraîner des réseaux de plus de 100 couches, une idée présente aujourd'hui dans presque tous les modèles modernes.

Pourquoi c'est important

Avant ResNet, rendre les réseaux plus profonds les rendait souvent moins bons, non pas à cause du surapprentissage, mais parce que les réseaux très profonds étaient tout simplement difficiles à entraîner. Les signaux et les gradients s'affaiblissaient en traversant de nombreuses couches. Les connexions résiduelles ont réglé cela en offrant à l'information un chemin direct à travers le réseau. La profondeur a cessé d'être un mur.

Cette seule idée a survécu au modèle. Chaque transformer, y compris chaque LLM moderne, entoure chacun de ses blocs d'attention et de feedforward d'une connexion résiduelle. L'article ResNet est l'un des articles scientifiques les plus cités de tous les temps, tous domaines confondus.

Les modèles ResNet eux-mêmes, en particulier ResNet-50, ont aussi été pendant des années l'ossature standard de la vision par ordinateur, pour la classification, la détection d'objets, la segmentation, et comme point de référence dans d'innombrables articles.

En profondeur

ResNet a été présenté en 2015 par Kaiming He, Xiangyu Zhang, Shaoqing Ren et Jian Sun, de Microsoft Research. Il a remporté cette année-là la compétition de classification d'images ImageNet avec un réseau de 152 couches, environ huit fois plus profond que les vainqueurs de l'année précédente, et un taux d'erreur top-5 d'environ 3,6 %, soit à peu près au niveau des estimations de la performance humaine sur cette tâche, voire mieux.

Son idée clé était la connexion résiduelle (ou connexion de saut) : au lieu que chaque bloc de couches transforme entièrement son entrée, le bloc n'apprend qu'une modification à ajouter à cette entrée. L'entrée d'origine contourne le bloc et lui est rajoutée à la sortie.

Le bloc résiduel

Un bloc normal calcule sortie = F(x). Un bloc résiduel calcule sortie = F(x) + x. Si le mieux qu'un bloc puisse faire est de ne rien faire, il lui suffit d'apprendre F(x) = 0, ce qui est facile. Dans un réseau ordinaire, le même bloc devrait apprendre à recopier parfaitement son entrée, ce qui s'avère difficile. Ajouter des couches devient ainsi « gratuit » : au pire, elles apprennent à ne pas gêner.

Pendant la rétropropagation, le chemin + x laisse aussi les gradients remonter directement vers les premières couches, ce qui évite le problème de la disparition du gradient.

La famille

Les ResNet existent en profondeurs standard : ResNet-18, -34, -50, -101 et -152. Les versions les plus profondes utilisent des blocs en goulot (une convolution 1×1 pour réduire les canaux, une convolution 3×3, puis une 1×1 pour revenir à la taille d'origine) afin de rester efficaces. Elles utilisent aussi partout la normalisation par batch, importante pour stabiliser l'entraînement.

Influence et successeurs

  • Les transformers (2017) ont adopté des connexions résiduelles autour de chaque sous-couche.
  • ResNeXt, DenseNet et EfficientNet ont prolongé l'idée en vision.
  • Les Vision Transformers (2020) ont fini par concurrencer les réseaux convolutifs sur les tâches d'image, mais les CNN de type ResNet restent très utilisés quand la vitesse et la simplicité comptent, surtout sur les appareils embarqués.
  • Les U-Net des modèles de diffusion sont construits à partir de blocs résiduels.

Pourquoi le connaître encore

Si vous ajustez un classifieur d'images pour une tâche pratique, un ResNet-50 pré-entraîné reste une référence de base rapide et fiable. Et quand vous lisez « residual stream » (flux résiduel) dans la recherche en interprétabilité des LLM, vous avez sous les yeux l'héritage de ResNet : la somme courante à laquelle chaque couche ajoute sa part.

← Tous les termes
ESC