El circuito usa dos cabezas a través de dos capas. La primera cabeza (una "cabeza de token anterior" en una capa más temprana) copia información sobre qué token precedió al actual. La segunda cabeza (la "cabeza de inducción" real en una capa posterior) usa esta información para completar patrones: si el token B fue precedido por A antes en el contexto, y A aparece de nuevo, la cabeza de inducción impulsa la predicción de B. Esta es una forma simple pero potente de aprendizaje en contexto.
Olsson et al. (2022, Anthropic) identificaron las cabezas de inducción mediante un análisis cuidadoso de los patrones de atención en Transformers de varios tamaños. Observaron un cambio de fase durante el entrenamiento: las cabezas de inducción se forman repentinamente, y su formación coincide con una mejora dramática en la capacidad del modelo para hacer aprendizaje en contexto. Esto sugiere que las cabezas de inducción no son solo uno de muchos circuitos sino una capacidad fundacional que habilita el aprendizaje en contexto de nivel superior.
El aprendizaje en contexto del mundo real es más complejo que "A B ... A → B". Los modelos aprenden a generalizar patrones: "la capital de Francia es París, la capital de Alemania es Berlín, la capital de Japón es..." requiere entender el patrón abstracto, no simplemente copiar. La investigación sugiere que circuitos más complejos similares a la inducción se construyen sobre el mecanismo básico de cabeza de inducción, componiéndolo con otros circuitos para manejar la abstracción y la generalización.