O circuito usa duas cabeças em duas camadas. A primeira cabeça (uma "previous token head" em uma camada anterior) copia informação sobre qual token precedeu o token atual. A segunda cabeça (a "induction head" propriamente dita em uma camada posterior) usa essa informação para completar padrões: se o token B foi precedido por A anteriormente no contexto, e A aparece novamente, a induction head aumenta a predição de B. Essa é uma forma simples mas poderosa de aprendizado in-context.
Olsson et al. (2022, Anthropic) identificaram induction heads através de análise cuidadosa de padrões de atenção em Transformers de vários tamanhos. Eles observaram uma mudança de fase durante o treinamento: induction heads se formam subitamente, e sua formação coincide com uma melhoria dramática na capacidade do modelo de fazer aprendizado in-context. Isso sugere que induction heads não são apenas um dos muitos circuitos mas uma capacidade fundamental que habilita aprendizado in-context de nível mais alto.
O aprendizado in-context do mundo real é mais complexo que "A B ... A → B". Modelos aprendem a generalizar padrões: "capital da França é Paris, capital da Alemanha é Berlim, capital do Japão é..." requer entender o padrão abstrato, não apenas copiar. Pesquisas sugerem que circuitos mais complexos do tipo indução se constroem sobre o mecanismo básico de induction head, compondo-o com outros circuitos para lidar com abstração e generalização.