La idea clave: las características de bajo nivel se transfieren entre tareas. Un modelo de visión entrenado en ImageNet aprende a detectar bordes, texturas y formas en sus primeras capas — características útiles para casi cualquier tarea visual. Un modelo de lenguaje entrenado con texto web aprende gramática, hechos y patrones de razonamiento útiles para casi cualquier tarea lingüística. El aprendizaje por transferencia aprovecha esto reutilizando el conocimiento general y entrenando solo las partes específicas de la tarea.
Casi todos los sistemas de IA actuales siguen este patrón: (1) pre-entrenar un modelo grande con un dataset masivo y general (caro, se hace una vez), (2) hacer fine-tuning con un dataset más pequeño y específico de la tarea (barato, se hace muchas veces). BERT fue pionero en esto para NLP en 2018. GPT lo escaló. Toda la industria de LLMs está construida sobre este paradigma — los modelos fundacionales son la base pre-entrenada, y el fine-tuning (incluyendo RLHF/DPO) es cómo se convierten en asistentes útiles.
El aprendizaje por transferencia funciona mejor cuando los dominios de origen y destino están relacionados. Un modelo pre-entrenado con texto en inglés se transfiere bien al francés (estructura similar) pero mal a secuencias de proteínas (dominio completamente diferente). Cuando los dominios son demasiado diferentes, la transferencia puede realmente perjudicar el rendimiento ("transferencia negativa"). El pre-entrenamiento específico de dominio (como BioGPT para texto biomédico o CodeLlama para código) aborda esto pre-entrenando con datos relevantes del dominio.