Agulha no palheiro
Por que isso importa
O teste deu a todos uma imagem intuitiva da confiabilidade em contextos longos, e seus mapas de calor se espalharam bastante. Os primeiros resultados mostraram que os modelos iam pior à medida que os documentos ficavam mais longos e que muitas vezes perdiam agulhas colocadas no meio, em linha com as pesquisas sobre o efeito "lost in the middle". Os criadores de modelos reagiram rápido, e um gráfico de agulha perfeito virou slide padrão nas apresentações de lançamento.
Hoje o teste básico está praticamente resolvido: os principais modelos recuperam uma única agulha quase com perfeição ao longo de centenas de milhares de tokens. Por isso é importante saber o que o teste prova e o que não prova.
Em profundidade
Quando os modelos com janelas de contexto de 100.000 tokens chegaram, em 2023, veio uma pergunta óbvia: eles conseguem mesmo usar todo esse texto? O teste da agulha no palheiro, popularizado pelo desenvolvedor Greg Kamradt em novembro daquele ano, ofereceu uma forma simples de verificar. Pegue um longo trecho de texto sem relação (o palheiro; ele usou ensaios de Paul Graham). Insira uma frase fora de lugar (a agulha), como uma afirmação sobre a melhor coisa para fazer em San Francisco. Depois, faça ao modelo uma pergunta que só a agulha responde.
Repita para diferentes tamanhos de documento e diferentes posições da agulha, do começo ao fim, e plote os resultados como um mapa de calor. Verde significa encontrada, vermelho significa perdida.
Por que passar nele prova pouco
A agulha clássica é fácil de um jeito específico: ela não se parece em nada com o que está ao redor, e a pergunta compartilha palavras com ela. Encontrá-la está mais perto de uma busca por palavras-chave do que de compreensão. O trabalho real com contextos longos é mais difícil: o trecho relevante se parece com tudo ao redor, a pergunta é formulada de modo diferente do texto, vários fatos precisam ser combinados ou a resposta depende do documento como um todo.
Versões mais difíceis
- Múltiplas agulhas: vários fatos são escondidos, e o modelo precisa recuperar todos ou raciocinar combinando-os.
- Sem sobreposição lexical: benchmarks como o NoLiMa escrevem a pergunta de modo que ela não compartilhe palavras-chave com a agulha, o que força o modelo a fazer uma inferência para conectá-las. As pontuações de muitos modelos que gabaritam o teste clássico caem bastante, mesmo com algumas dezenas de milhares de tokens.
- Distratores: frases muito parecidas com a agulha, mas que dão respostas erradas.
- Raciocínio sobre entradas longas: suítes como RULER e BABILong acrescentam rastreamento de variáveis, contagem e agregação ao longo de todo o contexto.
Essas versões revelam a queda gradual de qualidade com o tamanho da entrada que os profissionais chamam de degradação do contexto (context rot).
Lições das primeiras rodadas
Os resultados eram sensíveis ao prompt. Depois que um modelo foi mal, a empresa responsável mostrou que acrescentar uma única frase para direcioná-lo ao trecho mais relevante elevava a acurácia de cerca de 27% para 98% na avaliação original. A lição: o desempenho em contexto longo depende de como você pergunta, não só do modelo.
Rodando o seu próprio
A ideia é fácil de adaptar, e esse é o seu valor duradouro. Monte seu palheiro com seus próprios documentos e torne a agulha realista: uma cláusula em um contrato, uma linha em um log, uma função em uma base de código. Faça o tipo de pergunta que seus usuários fazem. Teste nos tamanhos de contexto que você realmente pretende usar. Isso diz mais sobre a sua aplicação do que qualquer gráfico publicado, e ajuda a decidir quando passar documentos inteiros e quando usar recuperação.