Zubnet AIAprenderWiki › Aprendizaje continuo
Entrenamiento

Aprendizaje continuo

También conocido como: Aprendizaje a lo largo de la vida, Aprendizaje incremental
La capacidad de un modelo para aprender de nuevos datos continuamente sin olvidar lo que aprendió antes. Los LLMs actuales se entrenan una vez y se congelan — actualizarlos requiere un reentrenamiento costoso. El aprendizaje continuo permitiría que los modelos aprendan de cada interacción, se mantengan actualizados con nueva información y se adapten a usuarios individuales con el tiempo, de la manera en que los humanos aprenden naturalmente.

Por qué importa

El aprendizaje continuo es uno de los grandes problemas no resueltos de la IA. Los modelos actuales tienen fechas de corte de conocimiento, no pueden aprender de correcciones y tratan cada conversación como una pizarra en blanco. Resolver el aprendizaje continuo eliminaría la necesidad de ciclos de reentrenamiento costosos, permitiría una IA personalizada que genuinamente se adapte a cada usuario y permitiría que los modelos se mantengan perpetuamente actualizados.

En profundidad

El obstáculo fundamental es el olvido catastrófico: entrenar con nuevos datos sobrescribe los pesos que codificaban el conocimiento anterior. Los humanos no tienen este problema (aprender francés no te hace olvidar el inglés) porque las redes neuronales biológicas usan mecanismos diferentes para la consolidación de la memoria. Las redes neuronales artificiales almacenan todo el conocimiento en pesos compartidos, haciendo que cualquier actualización sea una potencial interrupción de las capacidades existentes.

Enfoques actuales

Varias estrategias abordan parcialmente el aprendizaje continuo: métodos de replay (mezclar datos antiguos con nuevos durante el entrenamiento), métodos de regularización (penalizar cambios en los pesos importantes para tareas anteriores, como EWC), métodos de arquitectura (asignar diferentes parámetros a diferentes tareas) y enfoques aumentados con recuperación (almacenar conocimiento externamente en una base de datos en lugar de en los pesos). Ninguno resuelve completamente el problema, pero cada uno permite cierto grado de aprendizaje incremental.

RAG como sustituto pragmático

En la práctica, RAG (Retrieval-Augmented Generation) sirve como sustituto pragmático del verdadero aprendizaje continuo. En lugar de actualizar los pesos del modelo con nueva información, actualizas una base de conocimientos externa que el modelo consulta en tiempo de inferencia. Esto evita completamente el olvido catastrófico pero tiene limitaciones: las capacidades de razonamiento del modelo no mejoran, solo su acceso a la información. El verdadero aprendizaje continuo mejoraría tanto el conocimiento como las capacidades simultáneamente.

Conceptos relacionados

ESC