Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › ResNet
Modelos

ResNet

Também conhecido como: Residual Network, Rede residual
O modelo de imagem de 2015 que usou conexões de atalho para treinar redes com mais de 100 camadas, uma ideia que hoje está dentro de quase todo modelo moderno.

Por que isso importa

Antes da ResNet, deixar as redes mais profundas muitas vezes as deixava piores, não por overfitting, mas porque redes muito profundas eram simplesmente difíceis de treinar. Os sinais e os gradientes se enfraqueciam ao passar por muitas camadas. As conexões residuais resolveram isso dando à informação um caminho direto pela rede. A profundidade deixou de ser um muro.

Essa única ideia sobreviveu ao modelo. Todo transformer, incluindo todo LLM moderno, envolve cada bloco de atenção e de feedforward em uma conexão residual. O artigo da ResNet é um dos artigos científicos mais citados de todos os tempos, em qualquer área.

Os próprios modelos ResNet, principalmente a ResNet-50, também foram por anos a espinha dorsal padrão da visão computacional, usados em classificação, detecção de objetos, segmentação e como ponto de referência em inúmeros artigos.

Em profundidade

A ResNet foi apresentada em 2015 por Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun, da Microsoft Research. Naquele ano, ela venceu a competição de classificação de imagens ImageNet com uma rede de 152 camadas, cerca de oito vezes mais profunda que as vencedoras do ano anterior, e uma taxa de erro top-5 de cerca de 3,6%, mais ou menos no nível das estimativas do desempenho humano nessa tarefa, ou melhor.

A ideia central foi a conexão residual (ou conexão de atalho): em vez de cada bloco de camadas transformar a entrada por inteiro, o bloco aprende só uma mudança a ser somada à entrada. A entrada original pula o bloco e é somada de volta no final.

O bloco residual

Um bloco normal calcula saída = F(x). Um bloco residual calcula saída = F(x) + x. Se o melhor que um bloco pode fazer é nada, ele só precisa aprender F(x) = 0, o que é fácil. Em uma rede sem conexões residuais, o mesmo bloco teria de aprender a copiar a entrada com perfeição, o que acaba sendo difícil. Assim, acrescentar camadas sai "de graça": no pior caso, elas aprendem a não atrapalhar.

Durante a backpropagation, o caminho + x também deixa os gradientes fluírem direto para as primeiras camadas, o que evita o problema do desaparecimento do gradiente.

A família

As ResNets vêm em profundidades padrão: ResNet-18, -34, -50, -101 e -152. As versões mais profundas usam blocos de gargalo (uma convolução 1×1 para reduzir os canais, uma convolução 3×3 e outra 1×1 para expandir de volta) para continuarem eficientes. Elas também usam normalização em batch em toda parte, o que foi importante para estabilizar o treinamento.

Influência e sucessores

  • Os transformers (2017) adotaram conexões residuais em volta de cada subcamada.
  • ResNeXt, DenseNet e EfficientNet desenvolveram a ideia na visão.
  • Os Vision Transformers (2020) acabaram desafiando as redes convolucionais em tarefas de imagem, mas CNNs no estilo ResNet continuam muito usadas onde velocidade e simplicidade importam, principalmente em dispositivos de borda.
  • As U-Nets dos modelos de difusão são construídas com blocos residuais.

Por que ainda vale conhecer

Se você faz fine-tuning de um classificador de imagens para uma tarefa prática, uma ResNet-50 pré-treinada ainda é uma baseline rápida e confiável. E quando você lê sobre o "residual stream" (fluxo residual) na pesquisa de interpretabilidade de LLMs, está vendo o legado da ResNet: a soma acumulada à qual cada camada acrescenta sua parte.

← Todos os termos
ESC