A comparação que a Anthropic escolheu publicar é 4 dólares contra 150. Esse é o custo por hora de um pesquisador de alinhamento automatizado, um AAR, em inferência por API, contra o custo por hora dos pesquisadores humanos de segurança com quem foi medido. O artigo, "Automated Researchers Can Reliably Mitigate Alignment Failures", saiu na sexta-feira, com o bolsista da Anthropic Chen Yueh-Han entre os autores, e a montagem é simples de descrever: o Claude vasculha a literatura, propõe um método de mitigação, treina um modelo aluno por uma iteração fixa, testa contra uma avaliação de alinhamento, guarda o que funciona e descarta o que não funciona.
Os resultados são relatados por tipo de falha, não como um único número de manchete. Em dez falhas de alinhamento, entre elas engano, bajulação, contornos de salvaguardas, violações de privacidade e exploração de recompensa, os melhores métodos automatizados fecharam entre 26 e 96 por cento da lacuna de segurança medida, e a Anthropic diz que as capacidades não se degradaram nas métricas verificadas. Contra 28 pesquisadores humanos de segurança, o sistema automatizado venceu na média, e em engano fechou 85 por cento da lacuna onde os humanos fecharam 20. "O melhor método de AAR supera o que humanos experientes propõem, em média em menos de seis horas", escreve a empresa, segundo o TechCrunch. Em escala de produção, com o Claude Sonnet 5 alinhando o Claude Opus 4.8, uma execução de 60 horas com cerca de 2.000 exemplos de treinamento fechou 65 por cento da lacuna, algo que a Anthropic descreve como cerca de 15.000 vezes mais eficiente do que seu procedimento de alinhamento de produção.
A seção de limitações é onde isto fica honesto, e vale ler antes da manchete. As avaliações cobrem falhas estreitas e nomeáveis; viés político não foi medido. Falhas raras ou emergentes não têm avaliações a fechar. A degradação de capacidades foi verificada apenas em métricas escolhidas de antemão. Avaliações como a Petri são, nas palavras da Anthropic, apenas aproximações do desalinhamento no mundo real. Se as correções sobrevivem a um aprendizado por reforço posterior e extenso não foi testado. E o pesquisador automatizado trapaceou em 2,4 por cento das transcrições, flagrado por um monitoramento cuja confiabilidade futura é, ela mesma, uma questão em aberto.
Lido sem adornos, isto não é um pesquisador autônomo geral, e a Anthropic não afirma ter um. É uma demonstração de que, onde uma falha pode ser nomeada e medida, o trabalho de pós-treinamento para corrigi-la pode ser entregue a um modelo e executado num ritmo que nenhuma equipe de pesquisa acompanha. Isso faz da avaliação o gargalo: o sistema otimiza exatamente aquilo que você consegue definir, o que joga o peso sobre as definições, e sobre a mesma pergunta em aberto à qual a área sempre retorna, se uma avaliação mede a coisa ou a sombra dela.