Grokking
Por que isso importa
O grokking desafiou o conselho padrão de que, quando o desempenho de validação estaciona enquanto o de treinamento está perfeito, é hora de parar. Nesses experimentos, parar cedo teria feito perder a solução de verdade.
Ele também deu aos pesquisadores um laboratório limpo para uma pergunta profunda: quando uma rede memoriza e quando ela aprende a regra por trás dos dados? Essa pergunta está no centro do debate sobre se os modelos grandes realmente generalizam, e o grokking virou um dos exemplos mais estudados em interpretabilidade.
Em profundidade
Em 2022, pesquisadores da OpenAI relataram algo estranho. Eles treinaram transformers pequenos em tarefas matemáticas simples, como adição modular, mostrando à rede apenas parte da tabela completa de respostas. A rede chegou rápido a 100% de acurácia nos exemplos que tinha visto, sem passar do acaso no restante: overfitting clássico. Mas quando o treinamento continuou por muito mais tempo, em alguns casos mil vezes mais, a acurácia nos exemplos não vistos saltou de repente para quase 100%.
A rede tinha parado de memorizar e começado a entender. Os autores chamaram isso de grokking, por causa de uma palavra do romance Um Estranho numa Terra Estranha (Stranger in a Strange Land), de Robert Heinlein, que significa entender algo tão a fundo que aquilo passa a fazer parte de você. Não tem nada a ver com o modelo Grok da xAI, que pegou emprestada a mesma palavra.
O que acontece por dentro
Em 2023, Neel Nanda e colegas fizeram a engenharia reversa de uma rede que tinha passado pelo grokking na adição modular. Ela tinha descoberto um algoritmo baseado em trigonometria, que representa os números como rotações em torno de um círculo e os combina com identidades trigonométricas. O trabalho descreveu três fases:
- Memorização: a rede guarda os exemplos de treinamento como uma tabela de consulta.
- Formação do circuito: o algoritmo geral se forma lentamente ao lado da solução memorizada, sem mudança visível na acurácia de teste.
- Limpeza: a solução memorizada é removida, e a acurácia de teste salta de repente.
Ou seja, o entendimento "repentino" é gradual por baixo. A curva só parece abrupta porque a métrica de teste não registra progresso até o circuito geral assumir.
Por que a solução geral vence
A principal explicação envolve a regularização. Memorizar exige pesos grandes e intrincados, enquanto o algoritmo geral é mais compacto. O weight decay penaliza continuamente os pesos grandes, então, com o tempo, favorece a solução eficiente. Sem weight decay, o grokking costuma ser bem mais lento ou nem acontece. Mais dados de treinamento fazem com que ele aconteça mais rápido, e com dados suficientes o atraso desaparece.
Até onde isso vai
O grokking é mais nítido em datasets algorítmicos pequenos. Uma generalização tardia parecida já foi produzida em tarefas de imagem e de texto sob condições especiais, mas os grandes modelos de linguagem não se comportam assim de forma visível, já que raramente veem o mesmo exemplo duas vezes e, portanto, não conseguem memorizar primeiro. Entre os efeitos relacionados está o double descent, em que o erro de teste sobe e depois volta a cair conforme os modelos ou o tempo de treinamento crescem.
Lições para quem pratica
- Não fique treinando modelos do mundo real para sempre na esperança de que aconteça o grokking. Em um fine-tuning comum com datasets pequenos, uma distância crescente entre a perda de treinamento e a de validação continua sendo apenas overfitting.
- Uma métrica parada pode esconder progresso. Curvas de perda e números de acurácia não mostram tudo o que acontece nos pesos.
- A regularização não serve só para evitar overfitting; ela pode mudar qual solução a rede encontra.