Aprendizaje en contexto
Por qué importa
En profundidad
Mecánicamente, el aprendizaje en contexto es solo inferencia. El prompt — instrucciones, unas cuantas demostraciones, la nueva entrada — atraviesa el Transformer en una sola pasada hacia adelante, y las capas de atención hacen el trabajo: comparan la nueva entrada con las demostraciones situadas en el contexto y producen una continuación coherente con el patrón implícito. No se calculan gradientes, no se tocan los pesos y el modelo en disco es idéntico byte por byte antes y después. Lo que parece aprendizaje es el modelo aprovechando patrones absorbidos durante el preentrenamiento sobre cómo se ven las tareas cuando se escriben. La demostración que volvió famosa esta capacidad fue el artículo sobre GPT-3 de OpenAI, con 175.000 millones de parámetros, "Language Models are Few-Shot Learners" (2020): un único modelo congelado que realizaba traducción, respuesta a preguntas y aritmética solo a partir del texto del prompt, a un nivel que los modelos más pequeños de la época no podían alcanzar.
Zero-shot, one-shot y few-shot
Los términos describen cuántas demostraciones contiene el prompt. Zero-shot son únicamente instrucciones ("Clasifica esta reseña como positiva o negativa"); one-shot añade un solo ejemplo resuelto. Few-Shot añade un puñado — normalmente 2–10 para modelos de chat y hasta unas decenas en entornos de investigación. Un prompt few-shot para sentimiento podría mostrar tres reseñas cortas, cada una seguida de una etiqueta, y luego una cuarta reseña y la palabra "Sentimiento:" — el modelo completa la etiqueta copiando el formato que se le mostró. La coherencia del formato importa más de lo que esperan los recién llegados: mismo delimitador, mismo vocabulario de etiquetas, mismo orden de campos. Few-shot supera de forma fiable a zero-shot en tareas de clasificación, extracción y formato donde el contrato de salida es difícil de describir, pero fácil de demostrar.
La trampa es que los modelos son extrañamente sensibles a cómo se eligen y ordenan los ejemplos. Un modo de fallo bien documentado es el sesgo de etiqueta mayoritaria: si tres de tus cuatro ejemplos llevan la etiqueta "positivo", el modelo se inclina hacia positivo sin importar la entrada real. El sesgo de recencia (dar demasiado peso al último ejemplo) y los efectos del orden también son reales — barajar los mismos ejemplos puede cambiar la precisión en varios puntos. Los profesionales lo contrarrestan con conjuntos equilibrados de etiquetas, ejemplos difíciles y representativos en vez de fáciles, y ocasionalmente recalibrando las probabilidades de salida. Esta fragilidad explica en parte por qué el campo apostó tan fuerte por el instruction tuning después de 2020: un modelo que sigue instrucciones sencillas necesita menos ejemplos que vigilar.
Por qué funciona siquiera
No hay una explicación consensuada, pero dominan dos teorías. La primera procede de la Interpretabilidad mecanicista: investigadores que aplicaban ingeniería inversa a la atención encontraron circuitos que llaman Cabeza de inducción, los cuales implementan un algoritmo sencillo — encontrar el lugar anterior del contexto donde apareció el patrón actual, mirar qué vino después y volver a predecirlo. Ese movimiento de copiar el patrón es casi exactamente lo que exige el aprendizaje few-shot, y las cabezas de inducción tienden a formarse aproximadamente en el punto del entrenamiento donde se dispara la capacidad de aprendizaje en contexto, lo cual resulta sugerente aunque no sea toda la historia. La segunda teoría enmarca ICL como inferencia bayesiana implícita: el texto de preentrenamiento es una mezcla de tareas y formatos latentes, y un prompt coherente permite al modelo inferir en qué tipo de documento se encuentra y luego continuarlo en consecuencia. Las dos perspectivas son compatibles — una describe el circuito, la otra las estadísticas — y ambas explican por qué los prompts limpios y coherentes consigo mismos superan a los descuidados.
Lo que no se debate es la dependencia de la escala. La capacidad few-shot es débil o inexistente en los modelos pequeños y mejora drásticamente con los parámetros y los datos de entrenamiento, uno de los ejemplos más claros de Emergencia de capacidades. Por eso el resultado de GPT-3 tuvo tanto impacto: prompts que no lograban nada en un modelo de 1.000 millones de parámetros funcionaban en el de 175.000 millones. También explica por qué la calidad del aprendizaje en contexto sigue siendo un diferenciador discreto entre generaciones de modelos — los modelos mayores necesitan menos ejemplos y toleran otros más desordenados.
Nada se guarda
Una idea equivocada persistente es que el modelo "aprende" de tus ejemplos como lo haría durante el entrenamiento — que una buena sesión few-shot mejora el modelo para el siguiente usuario. No es así. Durante la inferencia, los pesos están congelados; el aprendizaje aparente es un estado de activación dentro de la Ventana de contexto, y se evapora en cuanto ese contexto se descarta. Inicia un chat nuevo y no quedará ni rastro de tus ejemplos cuidadosamente elegidos. Esa es la diferencia fundamental respecto del Ajuste fino, que reescribe los pesos mediante descenso de gradiente y persiste en cada solicitud futura. Si un producto de chat parece recordarte entre sesiones, se trata de una función de memoria — notas almacenadas que vuelven a insertarse en prompts posteriores —, no de aprendizaje en contexto.
La fugacidad tiene un costo: como nada se guarda, cada solicitud que necesite el comportamiento debe volver a llevar los ejemplos, y un prompt de 10-shot con ejemplos sustanciales puede añadir miles de tokens a cada llamada. Prompt Caching lo suaviza — los proveedores reutilizan el prefijo procesado con descuento —, pero para tareas estrechas y de gran volumen un modelo pequeño con ajuste fino suele ganar en economía por unidad. La regla general común: crea el prototipo con aprendizaje en contexto y recurre al ajuste fino únicamente cuando el impuesto del prompt o la tasa de errores se vuelvan vergonzosos.
Cómo los prompts se convirtieron en la interfaz
Antes de 2020, adaptar un modelo de lenguaje a una tarea implicaba aprendizaje por transferencia: tomar un modelo preentrenado, aplicarle ajuste fino sobre datos etiquetados y desplegar un especialista. Los resultados few-shot de GPT-3 invirtieron esa economía — si un modelo congelado podía programarse en lenguaje natural, una sola API podía servir cada tarea y los usuarios podían aportar la suya. Esa inversión creó la Ingeniería de prompts como disciplina, convirtió el prompt de sistema en una superficie de control estándar y preparó técnicas posteriores que en realidad son ICL disfrazado: los prompts de Cadena de pensamiento funcionan en parte al mostrar al modelo trazas de razonamiento resueltas, y la generación aumentada por recuperación funciona porque se confía en que el modelo utilice cualquier texto que llegue a su contexto. El término más reciente "ingeniería de contexto" es la misma idea ya madura: la ventana de contexto es la superficie de programación y el aprendizaje en contexto es el intérprete que la ejecuta.