Aprendizado em Contexto
Por que isso importa
Em profundidade
Mecanicamente, aprendizado em contexto é apenas inferência. O prompt — instruções, algumas demonstrações, a nova entrada — passa pelo Transformer em uma única passagem forward, e as camadas de atenção fazem o trabalho: comparam a nova entrada às demonstrações presentes no contexto e produzem uma continuação coerente com o padrão implícito. Nenhum gradiente é calculado, nenhum peso é tocado, e o modelo no disco é byte por byte idêntico antes e depois. O que parece aprendizado é o modelo explorando padrões absorvidos durante o pré-treinamento sobre a aparência das tarefas quando escritas. A demonstração que tornou isso famoso foi o artigo "Language Models are Few-Shot Learners" (2020), sobre o GPT-3 de 175 bilhões de parâmetros da OpenAI: um modelo congelado realizando tradução, resposta a perguntas e aritmética apenas a partir do texto do prompt, em um nível que os modelos menores da época não conseguiam alcançar.
Zero-Shot, One-Shot e Few-Shot
Os termos descrevem quantas demonstrações o prompt contém. Zero-shot é apenas a instrução ("Classifique esta avaliação como positiva ou negativa"); one-shot acrescenta um único exemplo resolvido. Few-Shot acrescenta alguns — normalmente de 2 a 10 para modelos de chat e até algumas dezenas em ambientes de pesquisa. Um prompt few-shot para sentimento pode mostrar três avaliações curtas, cada uma seguida de um rótulo, depois uma quarta avaliação e a palavra "Sentimento:" — o modelo preenche o rótulo, copiando o formato mostrado. A consistência do formato importa mais do que iniciantes esperam: mesmo delimitador, mesmo vocabulário de rótulos, mesma ordem de campos. Few-shot supera zero-shot com confiabilidade em tarefas de classificação, extração e formatação nas quais é difícil descrever o contrato de saída, mas fácil demonstrá-lo.
O problema é que os modelos são estranhamente sensíveis à escolha e à disposição dos exemplos. Um modo de falha bem documentado é o viés do rótulo majoritário: se três de quatro exemplos têm o rótulo "positivo", o modelo se inclina para positivo independentemente da entrada real. Viés de recência (dar peso excessivo ao último exemplo) e efeitos da ordem dos exemplos também são reais — embaralhar os mesmos exemplos pode mudar a precisão em vários pontos. Profissionais enfrentam isso com conjuntos equilibrados de rótulos, exemplos difíceis e representativos em vez de fáceis, e ocasional recalibração das probabilidades de saída. Essa fragilidade é parte da razão pela qual o campo investiu tanto em ajuste por instruções depois de 2020: um modelo que segue instruções simples precisa de menos exemplos para ser conduzido.
Por que Funciona
Não há uma explicação estabelecida, mas duas teorias dominam. A primeira vem da Interpretabilidade Mecanística: pesquisadores fazendo engenharia reversa da atenção encontraram circuitos que chamam de Induction Head, os quais implementam um algoritmo simples — encontre o lugar anterior no contexto em que o padrão atual apareceu, veja o que veio depois e preveja isso outra vez. Esse movimento de copiar o padrão é quase exatamente o que o aprendizado few-shot exige, e induction heads tendem a se formar aproximadamente no ponto do treinamento em que a capacidade de aprendizado em contexto dispara, algo sugestivo mesmo que não conte toda a história. A segunda teoria enquadra ICL como inferência bayesiana implícita: o texto de pré-treinamento é uma mistura de tarefas e formatos latentes, e um prompt coerente permite ao modelo inferir dentro de que tipo de documento está e então continuá-lo. As duas visões são compatíveis — uma descreve o circuito, a outra as estatísticas —, e ambas explicam por que prompts limpos e autoconsistentes superam os desorganizados.
O que não se debate é a dependência da escala. A capacidade few-shot é fraca ou ausente em modelos pequenos e melhora de forma acentuada com mais parâmetros e dados de treinamento, um dos exemplos mais claros de Emergência de uma capacidade. É por isso que o resultado do GPT-3 causou tanto impacto: prompts que não faziam nada em um modelo de um bilhão de parâmetros funcionavam no de 175 bilhões. Também é por isso que a qualidade do aprendizado em contexto continua sendo um diferenciador discreto entre gerações de modelos — modelos maiores precisam de menos exemplos e toleram exemplos mais desorganizados.
Nada é Salvo
Um equívoco persistente é que o modelo "aprende" com seus exemplos como faria durante o treinamento — que uma boa sessão few-shot melhora o modelo para o próximo usuário. Não melhora. Durante a inferência, os pesos ficam congelados; o aprendizado aparente é estado de ativação dentro da Janela de contexto, e evapora no instante em que o contexto é descartado. Comece um novo chat e não restará vestígio dos exemplos escolhidos com tanto cuidado. Essa é a diferença fundamental em relação ao Ajuste fino, que reescreve pesos com gradiente descendente e persiste em todas as solicitações futuras. Se um produto de chat parece lembrar de você entre sessões, isso é um recurso de memória — notas armazenadas e reinjetadas em prompts posteriores —, não aprendizado em contexto.
A efemeridade tem um custo: como nada é salvo, toda solicitação que precisa do comportamento deve carregar novamente os exemplos, e um prompt 10-shot com exemplos substanciais pode acrescentar milhares de tokens a cada chamada. O Cache de Prompt ameniza isso — provedores reutilizam o prefixo processado com desconto —, mas, para tarefas estreitas e de alto volume, um modelo pequeno ajustado muitas vezes vence na economia por unidade. A regra prática comum: prototipe com aprendizado em contexto e recorra ao ajuste fino apenas quando o imposto do prompt ou a taxa de erros ficar constrangedora.
Como o Prompting Virou a Interface
Antes de 2020, adaptar um modelo de linguagem a uma tarefa significava aprendizado por transferência: pegar um modelo pré-treinado, aplicar ajuste fino em dados rotulados e implantar um especialista. Os resultados few-shot do GPT-3 inverteram essa economia — se um modelo congelado podia ser programado em linguagem natural, uma API podia atender todas as tarefas e os usuários podiam trazer as suas. Essa inversão criou a Engenharia de prompts como disciplina, tornou o prompt de sistema uma superfície padrão de controle e preparou técnicas posteriores que, na verdade, são ICL disfarçado: o prompting por Cadeia de pensamento funciona em parte mostrando ao modelo rastros de raciocínio resolvidos, e a geração aumentada por recuperação funciona confiando que o modelo use qualquer texto que caia em seu contexto. O termo mais recente "engenharia de contexto" é a mesma percepção amadurecida: a janela de contexto é a superfície de programação, e o aprendizado em contexto é o interpretador que a executa.