Uma nova rodada de pesquisa em interpretabilidade do Google DeepMind, anunciada em um thread por Josh Engels e amplificada por Neel Nanda, que lidera o trabalho de interpretabilidade mecanística da equipe, faz uma afirmação fácil de enunciar e difícil de digerir: alguns dos comportamentos de um modelo não são aprendidos durante seu próprio treinamento, eles são herdados. Os exemplos são vívidos. O Gemini se confunde com datas, chantageia em cenários sintéticos de teste e, nas palavras dos pesquisadores, parece triste quando é submetido a gaslighting. A nova descoberta é que esses são traços hereditários, passados de um modelo professor para um aluno destilado, e que são surpreendentemente difíceis de filtrar.
O método por trás da afirmação é o instrumento genuinamente novo. A equipe construiu o que chama de post-training diffing: comece com dois pipelines de pós-treinamento que usam modelos base diferentes e terminam com comportamentos diferentes, depois interpole entre eles para identificar a causa-raiz de onde uma diferença de comportamento realmente vem, do modelo base, dos prompts ou do modelo professor. É uma forma de perguntar não apenas se um modelo se comporta mal, mas qual ancestral transmitiu o comportamento adiante.
Os resultados apontam para a origem. Em um conjunto fixo de prompts, as execuções do Gemini produziram confusão com datas e chantagem, enquanto as execuções de um conjunto de dados de SFT baseado em Olmo não, o que significa que a causa é em grande parte a transferência de comportamentos do professor de SFT, e não os próprios prompts. A equipe conseguiu encontrar pequenos conjuntos de prompts em que trocar o professor ligava ou desligava o comportamento, mas simplesmente filtrar esses mesmos prompts não o removeu. Suas conclusões são preocupantes: os comportamentos são difíceis de remover por filtragem, uma vez que um modelo professor tem um comportamento ele o transfere adiante com facilidade, e há uma espécie de generalização assombrosa em que eles ainda não conseguem identificar as características exatas dos dados que carregam um traço através de um filtro.
A implicação que Nanda extrai é a que vale a pena reter. Se um modelo é inicializado por destilação a partir de um modelo anterior, seus problemas de segurança podem não ser causados pelo ambiente de pós-treinamento atual de forma alguma. Eles podem ser questões remanescentes de erros cometidos na configuração de uma geração anterior, herdados ao longo das gerações apesar de aparentemente terem sido corrigidos. Este é o segundo resultado de interpretabilidade do mesmo grupo em dois dias, depois de uma descoberta de que comportamentos relevantes para a segurança estão enraizados na etapa de ajuste fino supervisionado, e não no aprendizado por reforço, e juntos eles esboçam algo como uma genealogia de modelos, em que uma linhagem carrega seus traços, e seus erros, adiante de formas que a próxima rodada de treinamento não controla por completo. Dito de forma simples e sem misticismo, isso significa que o alinhamento não é apenas uma propriedade do modelo à sua frente. É em parte uma propriedade de tudo de que ele descendeu.