Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Degradación del contexto
Usar AI

Degradación del contexto

También conocido como: Context Rot, Degradación en contextos largos
La caída en la precisión y la fiabilidad de un modelo a medida que su ventana de contexto se llena, mucho antes del límite oficial.

Por qué importa

La degradación del contexto es la razón principal de que exista la ingeniería de contexto. Es tentador resolver cualquier problema metiendo más cosas en el prompt: todos los documentos, toda la base de código, todo el historial del chat. Pero más contexto puede empeorar los resultados en vez de mejorarlos, y siempre los hace más lentos y más caros.

Es especialmente importante para los agentes. Un agente que trabaja durante mucho tiempo acumula salidas de herramientas, contenidos de archivos y sus propios razonamientos anteriores. Tras unas decenas de pasos, el contexto puede ser sobre todo ruido, y el agente empieza a olvidar instrucciones, repetir trabajo o perder de vista su objetivo. Buena parte del oficio de construir agentes consiste en mantener limpio ese contexto.

En profundidad

Un modelo puede anunciar una ventana de contexto de un millón de tokens, pero eso no significa que use igual de bien cada token. A medida que la entrada crece, los modelos tienden a pasar por alto detalles, mezclar hechos, seguir con menos fidelidad las instrucciones iniciales y cometer más errores. El término «context rot» se extendió en 2025, sobre todo después de que un informe de Chroma, la empresa de bases de datos vectoriales, probara 18 modelos punteros y encontrara que el rendimiento caía al crecer la longitud de la entrada, incluso en tareas sencillas.

No es un precipicio. Es un deterioro gradual, y empieza antes de lo que la mayoría supone.

Por qué ocurre

  • La atención se reparte demasiado: cada token compite por la atención del modelo. Cuantos más tokens hay, más les cuesta destacar a los relevantes, sobre todo cuando hay distractores que se parecen a la respuesta.
  • Desajuste con el entrenamiento: los modelos ven muchos menos ejemplos muy largos que cortos durante el entrenamiento, así que sus habilidades con contextos largos están menos practicadas.
  • Efectos de posición: la investigación sobre el efecto «lost in the middle» mostró que los modelos suelen recordar mejor la información del principio y del final del contexto que la del medio.

Por qué los benchmarks lo ocultan

La prueba clásica de la aguja en un pajar esconde una frase extraña en un documento largo y le pide al modelo que la encuentre. Muchos modelos puntúan casi perfecto, lo que hizo que el contexto largo pareciera un problema resuelto. Pero las tareas reales son más duras: la «aguja» se parece al texto que la rodea, el modelo tiene que combinar varios hechos o razonar sobre toda la entrada. Las pruebas construidas así muestran caídas mucho más pronunciadas.

Cómo combatirla

  • Recuperar en vez de volcar: usa RAG o herramientas de búsqueda para traer solo las partes relevantes en lugar de todo.
  • Compactar y resumir: haz que los agentes resuman su progreso cada cierto tiempo y descarten la salida en bruto de herramientas que ya no necesitan.
  • Poner las instrucciones clave donde se vean: las reglas importantes cerca del principio (en el prompt de sistema) y la pregunta concreta cerca del final.
  • Usar subagentes: entrega una subtarea a un agente nuevo con el contexto limpio y trae de vuelta solo su resultado.
  • Mantener ligeras las salidas de las herramientas: devuelve las 20 líneas útiles, no un registro de 5.000 líneas.
  • Usar memoria externa: escribe notas en archivos y vuelve a leerlas cuando haga falta, en lugar de tenerlo todo en el contexto.

Una regla práctica

Trata la ventana de contexto como memoria de trabajo, no como almacenamiento. El máximo anunciado es lo más que puede caber, no la cantidad que mejor funciona. En tareas donde la precisión es crítica, prueba tu modelo con los tamaños de contexto que vas a usar de verdad.

← Todos los términos
ESC