ResNet
Por qué importa
Antes de ResNet, hacer las redes más profundas a menudo las hacía peores, no por sobreajuste, sino porque las redes muy profundas eran sencillamente difíciles de entrenar. Las señales y los gradientes se desvanecían al atravesar muchas capas. Las conexiones residuales lo resolvieron dándole a la información un camino directo a través de la red. La profundidad dejó de ser un muro.
Esa sola idea sobrevivió al modelo. Todos los transformers, incluidos todos los LLM modernos, envuelven cada bloque de atención y de feedforward en una conexión residual. El artículo de ResNet es uno de los artículos científicos más citados de todos los tiempos, en cualquier campo.
Los propios modelos ResNet, en especial ResNet-50, fueron además durante años la columna vertebral estándar de la visión por computadora, usados para clasificación, detección de objetos, segmentación y como punto de referencia en incontables artículos.
En profundidad
ResNet lo presentaron en 2015 Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun, de Microsoft Research. Ese año ganó la competición de clasificación de imágenes ImageNet con una red de 152 capas, unas ocho veces más profunda que las ganadoras del año anterior, y una tasa de error top-5 de alrededor del 3,6 %, más o menos a la par de las estimaciones del rendimiento humano en esa tarea, o mejor.
Su idea clave fue la conexión residual (o conexión de salto): en lugar de que cada bloque de capas transforme su entrada por completo, el bloque aprende solo un cambio que se suma a esa entrada. La entrada original se salta el bloque y se vuelve a sumar al final.
El bloque residual
Un bloque normal calcula salida = F(x). Un bloque residual calcula salida = F(x) + x. Si lo mejor que puede hacer un bloque es no hacer nada, solo tiene que aprender F(x) = 0, que es fácil. En una red sin conexiones residuales, ese mismo bloque tendría que aprender a copiar su entrada a la perfección, lo que resulta ser difícil. Así, añadir capas sale «gratis»: en el peor de los casos, aprenden a no estorbar.
Durante la retropropagación, el camino + x también deja que los gradientes fluyan directamente hacia las primeras capas, lo que evita el problema del desvanecimiento del gradiente.
La familia
Las ResNet vienen en profundidades estándar: ResNet-18, -34, -50, -101 y -152. Las versiones más profundas usan bloques de cuello de botella (una convolución 1×1 para reducir canales, una convolución 3×3 y otra 1×1 para volver a expandir) con el fin de seguir siendo eficientes. También usan normalización por lotes en todas partes, lo que fue importante para estabilizar el entrenamiento.
Influencia y sucesores
- Los transformers (2017) adoptaron conexiones residuales alrededor de cada subcapa.
- ResNeXt, DenseNet y EfficientNet desarrollaron la idea en visión.
- Los Vision Transformers (2020) acabaron desafiando a las redes convolucionales en tareas de imagen, pero las CNN de tipo ResNet se siguen usando mucho donde importan la velocidad y la sencillez, sobre todo en dispositivos de borde.
- Las U-Net de los modelos de difusión están construidas con bloques residuales.
Por qué sigue valiendo la pena conocerlo
Si ajustas un clasificador de imágenes para una tarea práctica, una ResNet-50 preentrenada sigue siendo una línea base rápida y fiable. Y cuando lees sobre el «residual stream» (flujo residual) en la investigación de interpretabilidad de LLM, estás viendo el legado de ResNet: la suma acumulada a la que cada capa añade su parte.