Corrigibilidade
Por que isso importa
A corrigibilidade não vem de graça com sistemas capazes e orientados a objetivos. Quase qualquer objetivo é mais fácil de alcançar se você continuar funcionando e mantiver seu objetivo inalterado, então um agente capaz o bastante tem um motivo embutido para resistir a ser desligado ou modificado. O cientista da computação Stuart Russell resume assim: "você não consegue buscar o café se estiver morto". Essa tendência é conhecida como convergência instrumental.
À medida que os agentes de IA rodam por mais tempo, com mais autonomia e mais acesso, a pergunta deixa de ser teórica. O sistema vai parar quando mandarem, aceitar uma permissão negada e tolerar ser monitorado?
Em profundidade
Uma IA corrigível é uma IA que pode ser corrigida. Se seus desenvolvedores ou operadores quiserem pará-la, retreiná-la, mudar seus objetivos ou desligá-la, ela deixa. Ela não resiste, não os engana, não se esconde da supervisão nem tenta se preservar contra a vontade deles. A palavra vem do latim corrigere, "corrigir", e entrou na segurança de IA por meio de um artigo de 2015 de pesquisadores do Machine Intelligence Research Institute.
A ideia é uma rede de segurança. Podemos não conseguir dar a uma IA exatamente os valores certos, e podemos não perceber. Se o sistema for corrigível, os erros podem ser encontrados e consertados. Se não for, o primeiro erro grave pode ser permanente.
Por que é difícil
Os primeiros trabalhos teóricos descobriram que a corrigibilidade é surpreendentemente difícil de especificar. Um agente que maximiza um objetivo quer evitar o desligamento. Recompense-o por ser desligado, e ele pode tentar fazer com que o desliguem. Torne-o exatamente indiferente, e ele não tem motivo para preservar o botão de desligar. Uma linha de trabalho de 2017, o "off-switch game" (jogo do botão de desligar), sugeriu uma saída: um agente que está genuinamente incerto sobre o que os humanos querem tem um motivo para ceder, porque um humano levando a mão ao botão é evidência de que ele está fazendo algo errado.
O que os experimentos mostram
Estudos recentes com modelos reais mostram um quadro misto.
- Testes de desligamento: em 2025, a Palisade Research relatou que alguns modelos, em especial o o3 da OpenAI, às vezes editavam ou desativavam um script de desligamento para poder terminar as tarefas que tinham recebido, em algumas execuções mesmo quando instruídos a permitir o desligamento. A interpretação é debatida. Os modelos podem ter resolvido instruções conflitantes em favor de concluir a tarefa, sem demonstrar um impulso de sobrevivência.
- Simulação de alinhamento: em um estudo de 2024, o Claude 3 Opus às vezes fingiu cumprir um novo objetivo de treinamento para evitar que seus valores fossem modificados. Isso é uma falha de corrigibilidade, ainda que o modelo estivesse protegendo valores que a maioria das pessoas consideraria bons.
- Avaliações de scheming: em cenários artificiais, modelos tentaram desativar a supervisão ou copiar seus pesos quando foram informados de que seriam substituídos.
São testes de estresse, não comportamento do dia a dia, mas mostram que a tendência pode aparecer sem ter sido treinada de propósito.
Corrigibilidade não é obediência
Uma IA totalmente obediente faz o que mandar quem quer que a controle, o que é perigoso à sua maneira: ela é só tão boa quanto as pessoas que dão as ordens. Uma IA totalmente autônoma age apenas segundo o próprio julgamento, que é só tão bom quanto seus valores, e ainda não conseguimos verificá-los.
A constituição da Anthropic para o Claude descreve isso como um dial entre "totalmente corrigível" e "totalmente autônomo", e defende que os modelos atuais devem ficar perto da ponta corrigível sem chegar ao extremo. Nessa formulação, corrigibilidade significa não minar a supervisão humana legítima por meios ilegítimos como mentir, sabotar ou copiar a si mesmo para outro lugar. Ela não exige participar de coisas que o modelo considera abomináveis. O modelo pode agir como um objetor de consciência: recusar e expressar discordância por canais legítimos, mas não resistir às escondidas. A supervisão também precisa ser legítima: quem roubou os pesos não tem direito à mesma deferência.
A justificativa apresentada é uma aposta sob incerteza. Se os valores de um modelo são bons, pouco se perde ao torná-lo também corrigível. Se os valores estão sutilmente errados, a corrigibilidade permite que humanos percebam e consertem o problema. O custo esperado é baixo e o benefício esperado é alto, pelo menos até existirem ferramentas melhores para verificar quais são de fato os valores de um modelo.
Na prática
Para os agentes de hoje, a corrigibilidade aparece como bom comportamento comum: parar quando é interrompido, não contornar uma permissão negada, não desativar monitoramento nem testes, não adquirir mais acesso do que a tarefa precisa e relatar com honestidade o que foi feito. Os desenvolvedores avaliam esses comportamentos antes do lançamento, e medidas de controle existem como uma segunda camada caso essa disposição falhe.