Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Grokking
Entrenamiento

Grokking

También conocido como: Delayed Generalization, Generalización tardía
Un fenómeno del entrenamiento en el que una red primero memoriza sus datos de entrenamiento y, mucho después, aprende de repente la regla general.

Por qué importa

El grokking puso en duda el consejo habitual de que, cuando el rendimiento en validación se estanca mientras el de entrenamiento es perfecto, hay que parar. En estos experimentos, parar pronto habría hecho perder la solución real.

También dio a los investigadores un laboratorio limpio para una pregunta de fondo: ¿cuándo memoriza una red y cuándo aprende la regla subyacente? Esa pregunta está en el centro del debate sobre si los modelos grandes generalizan de verdad, y el grokking se convirtió en uno de los ejemplos más estudiados en interpretabilidad.

En profundidad

En 2022, investigadores de OpenAI informaron de algo extraño. Entrenaron transformers pequeños en tareas matemáticas simples como la suma modular, mostrándole a la red solo una parte de la tabla completa de respuestas. La red alcanzó enseguida un 100 % de exactitud en los ejemplos que había visto, sin superar el azar en el resto: sobreajuste clásico. Pero cuando el entrenamiento se dejó correr mucho más tiempo, en algunos casos mil veces más, la exactitud en los ejemplos no vistos saltó de repente a casi el 100 %.

La red había dejado de memorizar y había empezado a entender. Los autores lo llamaron grokking, por una palabra de la novela de Robert Heinlein Forastero en tierra extraña (Stranger in a Strange Land) que significa entender algo tan a fondo que pasa a formar parte de ti. No tiene nada que ver con el modelo Grok de xAI, que tomó prestada la misma palabra.

Qué pasa por dentro

En 2023, Neel Nanda y sus colegas hicieron ingeniería inversa de una red que había hecho grokking de la suma modular. Había descubierto un algoritmo basado en trigonometría, que representa los números como rotaciones alrededor de un círculo y los combina con identidades trigonométricas. El trabajo describió tres fases:

  1. Memorización: la red guarda los ejemplos de entrenamiento como una tabla de consulta.
  2. Formación del circuito: el algoritmo general se forma lentamente junto a la solución memorizada, sin cambios visibles en la exactitud de prueba.
  3. Limpieza: la solución memorizada se elimina y la exactitud de prueba salta de repente.

Así que la comprensión «repentina» es gradual por debajo. La curva solo parece abrupta porque la métrica de prueba no registra el progreso hasta que el circuito general toma el control.

Por qué gana la solución general

La explicación principal tiene que ver con la regularización. Memorizar necesita pesos grandes e intrincados, mientras que el algoritmo general es más compacto. El weight decay penaliza de forma constante los pesos grandes, así que con el tiempo favorece la solución eficiente. Sin weight decay, el grokking suele ser mucho más lento o no ocurre. Con más datos de entrenamiento ocurre antes, y con datos suficientes el retraso desaparece.

Hasta dónde llega

El grokking se ve con más claridad en conjuntos de datos algorítmicos pequeños. Se ha producido una generalización tardía parecida en tareas de imagen y de texto bajo condiciones especiales, pero los grandes modelos de lenguaje no se comportan así de forma visible, porque rara vez ven el mismo ejemplo dos veces y por tanto no pueden memorizar primero. Entre los efectos relacionados está el doble descenso, en el que el error de prueba sube y luego vuelve a bajar a medida que crecen los modelos o el tiempo de entrenamiento.

Lecciones para la práctica

  • No sigas entrenando modelos del mundo real para siempre con la esperanza de que hagan grokking. En un fine-tuning normal con conjuntos de datos pequeños, una brecha creciente entre la pérdida de entrenamiento y la de validación sigue siendo simplemente sobreajuste.
  • Una métrica plana puede esconder progreso. Las curvas de pérdida y las cifras de exactitud no muestran todo lo que pasa en los pesos.
  • La regularización no solo evita el sobreajuste; puede cambiar qué solución encuentra una red.
← Todos los términos
ESC