Zubnet AIAprenderWiki › Seguir Instruções
Usar AI

Seguir Instruções

Também conhecido como: Aderência a Instruções
A capacidade de um modelo de executar com precisão o que o usuário pede — respeitando restrições de formato, requisitos de comprimento, especificações de estilo e instruções comportamentais. "Escreva exatamente 3 bullet points em francês sobre X" testa o seguimento de instruções: a resposta deve ser bullets (não parágrafos), exatamente 3 (não 2 ou 5), em francês (não inglês), e sobre X (não Y).

Por que isso importa

Seguir instruções é a capacidade mais praticamente importante de um LLM. Usuários se importam menos com se um modelo "sabe" mais fatos e mais com se ele faz o que realmente pediram. Um modelo que escreve prosa linda mas ignora seus requisitos de formato é menos útil do que um que segue instruções confiavelmente. É por isso que IFEval e outros benchmarks de seguimento de instruções se tornaram centrais na avaliação de modelos.

Em profundidade

O seguimento de instruções é treinado através de instruction tuning (SFT em pares instrução-resposta) e refinado através de RLHF/DPO (aprendendo a preferir respostas que seguem instruções com precisão). A qualidade do seguimento de instruções depende fortemente da diversidade e precisão dos dados de treinamento: modelos que veem muitos exemplos de "exatamente 3 itens" aprendem a contar; modelos que só veem instruções vagas não aprendem.

Onde Modelos Falham

Falhas comuns no seguimento de instruções: ignorar restrições de comprimento ("seja breve" → ainda escreve parágrafos), desvio de formato (começar com o formato solicitado mas reverter para prosa), amnésia de restrições (seguir a primeira restrição mas esquecer as posteriores em uma instrução complexa) e seguimento excessivo (interpretar instruções ambíguas muito literalmente ou muito amplamente). Essas falhas são mais comuns em modelos menores e se tornam mais raras com escala, mas mesmo modelos de fronteira ocasionalmente perdem restrições.

Prompts de Sistema e Hierarquia

O seguimento de instruções se torna complexo quando instruções conflitam: o prompt de sistema diz "sempre responda em JSON" mas o usuário diz "escreva um poema". A maioria dos modelos implementa uma hierarquia de instruções onde instruções de nível de sistema têm precedência sobre mensagens do usuário, mas os limites são difusos. Aplicações bem projetadas estruturam sua hierarquia de instruções claramente e testam casos extremos onde diferentes níveis de instruções podem conflitar.

Conceitos relacionados

← Todos os termos
← Scale AI Segurança da IA →