Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Desvanecimiento del gradiente
Fundamentos

Desvanecimiento del gradiente

También conocido como: Vanishing Gradients, Explosión del gradiente, Problema del desvanecimiento del gradiente
Un fallo de entrenamiento en el que la señal de aprendizaje se reduce a nada (o se dispara) al viajar hacia atrás a través de muchas capas.

Por qué importa

Gran parte de la arquitectura moderna existe para resolver este único problema. Las activaciones ReLU, la inicialización cuidadosa de los pesos, las capas de normalización, las conexiones residuales, las LSTM y el gradient clipping fueron, al menos en parte, respuestas a él. Entender el desvanecimiento del gradiente explica por qué un bloque de transformer tiene el aspecto que tiene.

Además sigue siendo un problema práctico. Cuando un entrenamiento se estanca con una pérdida plana, o muere con NaN tras unos cientos de pasos, los problemas de gradiente están entre los primeros sospechosos.

En profundidad

Las redes neuronales aprenden mediante retropropagación: el error en la salida se pasa hacia atrás, capa por capa, indicando a cada peso cómo cambiar. En cada capa, la señal se multiplica por las derivadas locales de esa capa. Multiplica muchos números menores que 1 y el resultado tiende a cero; las primeras capas casi no reciben señal y dejan de aprender. Ese es el problema del desvanecimiento del gradiente. Multiplica muchos números mayores que 1 y la señal crece sin límite, los pesos saltan de forma descontrolada y la pérdida se convierte en NaN. Ese es el problema de la explosión del gradiente.

Ambos empeoran con la profundidad, y durante años fueron la razón principal por la que las redes profundas no funcionaban.

De dónde viene

El problema fue identificado a principios de los años noventa por Sepp Hochreiter y otros, sobre todo en redes recurrentes. Una RNN aplica los mismos pesos en cada paso de tiempo, así que retropropagar a través de 100 pasos es como atravesar 100 capas. Las funciones de activación antiguas lo empeoraban: la derivada de una sigmoide vale como máximo 0,25, de modo que cada capa reduce la señal al menos a la cuarta parte.

Las soluciones

  • Mejores activaciones: ReLU tiene una derivada de exactamente 1 para entradas positivas, así que no encoge la señal. GELU y SwiGLU, usadas en los LLM modernos, se comportan de forma parecida.
  • Inicialización: las inicializaciones de Xavier y de He eligen los pesos iniciales para que las señales mantengan más o menos la misma escala de una capa a otra.
  • Normalización: batch norm y layer norm recentran y reescalan las activaciones, manteniéndolas en un rango sano.
  • Conexiones residuales: sumar la entrada de una capa a su salida da a los gradientes un camino directo hacia atrás. Esto es lo que hizo entrenables las redes de más de 100 capas, y todos los transformers.
  • Arquitecturas con compuertas: las LSTM y las GRU dejan que la información fluya en el tiempo con poca atenuación.
  • Gradient clipping: si el tamaño del gradiente supera un umbral, se reduce. Es la solución estándar para las explosiones, usada en casi todas las recetas de entrenamiento de LLM.

En los modelos de hoy

Los transformers domaron en gran medida el problema al combinar conexiones residuales, layer norm e inicialización cuidadosa. Las decisiones pequeñas siguen importando: poner la normalización antes de cada subcapa («pre-norm») en lugar de después hizo mucho más estables los transformers muy profundos. El warmup de la tasa de aprendizaje también existe, en parte, para evitar actualizaciones explosivas en los primeros pasos.

Cómo detectarlo

Registra la norma del gradiente durante el entrenamiento. Una norma que se desploma hacia cero sugiere desvanecimiento; picos repentinos seguidos de NaN sugieren explosión. Las primeras respuestas habituales son bajar la tasa de aprendizaje, añadir o endurecer el gradient clipping, alargar el warmup y revisar la configuración de precisión mixta.

← Todos los términos
ESC