Degradação do contexto
Por que isso importa
A degradação do contexto é a principal razão de existir da engenharia de contexto. É tentador resolver qualquer problema colocando mais coisas no prompt: todos os documentos, a base de código inteira, todo o histórico da conversa. Mas mais contexto pode piorar os resultados em vez de melhorá-los, e sempre os deixa mais lentos e mais caros.
Isso pesa especialmente para agentes. Um agente que roda por muito tempo acumula saídas de ferramentas, conteúdos de arquivos e seus próprios raciocínios anteriores. Depois de algumas dezenas de passos, o contexto pode ser quase todo ruído, e o agente começa a esquecer instruções, repetir trabalho ou perder de vista o objetivo. Boa parte do ofício de construir agentes é manter esse contexto limpo.
Em profundidade
Um modelo pode anunciar uma janela de contexto de um milhão de tokens, mas isso não quer dizer que ele use cada token igualmente bem. Conforme a entrada cresce, os modelos tendem a perder detalhes, misturar fatos, seguir com menos fidelidade as instruções do início e errar mais. O termo "context rot" se espalhou em 2025, principalmente depois que um relatório da Chroma, a empresa de banco de dados vetorial, testou 18 modelos de ponta e constatou que o desempenho caía conforme a entrada ficava mais longa, mesmo em tarefas simples.
Não é um precipício. É um desgaste gradual, e começa mais cedo do que a maioria das pessoas imagina.
Por que acontece
- A atenção fica diluída: cada token disputa a atenção do modelo. Quanto mais tokens, mais difícil para os relevantes se destacarem, principalmente quando há distratores parecidos com a resposta.
- Descompasso com o treinamento: os modelos veem muito menos exemplos muito longos do que curtos durante o treinamento, então as habilidades com contexto longo são menos praticadas.
- Efeitos de posição: a pesquisa sobre o efeito "lost in the middle" mostrou que os modelos costumam lembrar melhor da informação que está no início e no fim do contexto do que da que está no meio.
Por que os benchmarks escondem isso
O teste clássico da agulha no palheiro esconde uma frase estranha em um documento longo e pede ao modelo que a encontre. Muitos modelos pontuam quase perfeitamente, o que fez o contexto longo parecer um problema resolvido. Mas as tarefas reais são mais difíceis: a "agulha" se parece com o texto em volta, o modelo precisa combinar vários fatos ou raciocinar sobre a entrada inteira. Testes construídos assim mostram quedas bem mais acentuadas.
Como combater
- Recuperar em vez de despejar: use RAG ou ferramentas de busca para trazer só as partes relevantes, e não tudo.
- Compactar e resumir: faça os agentes resumirem o progresso de tempos em tempos e descartarem a saída bruta de ferramentas de que não precisam mais.
- Colocar as instruções-chave onde são vistas: as regras importantes perto do início (no prompt de sistema) e a pergunta específica perto do fim.
- Usar subagentes: entregue uma subtarefa a um agente novo, com contexto limpo, e traga de volta só o resultado.
- Manter enxutas as saídas das ferramentas: devolva as 20 linhas úteis, não um log de 5.000 linhas.
- Usar memória externa: escreva notas em arquivos e releia quando precisar, em vez de manter tudo no contexto.
Uma regra prática
Trate a janela de contexto como memória de trabalho, não como armazenamento. O máximo anunciado é o quanto cabe, não a quantidade que funciona melhor. Em tarefas em que a precisão é crítica, teste o seu modelo nos tamanhos de contexto que você realmente vai usar.