Segment Anything
Por que isso importa
O SAM transformou a segmentação de alta qualidade em commodity. Tarefas que antes exigiam um conjunto de dados rotulado e um treinamento agora exigem um clique. Ele está embutido em editores de foto e vídeo para recortes com um clique, em ferramentas de anotação, onde acelera a rotulagem em muitas vezes, e em pipelines de imagens médicas, imagens de satélite, robótica e realidade aumentada.
A Meta também liberou o código e os pesos abertamente, as duas primeiras versões sob a licença Apache 2.0, o que fez do SAM um dos blocos de construção mais usados em visão computacional.
Em profundidade
Segmentação significa encontrar os pixels exatos que pertencem a um objeto. Tradicionalmente, treinava-se um modelo separado para cada tipo de objeto: um para tumores, um para carros, um para plantações. O Segment Anything Model (SAM), lançado pela Meta AI em abril de 2023, seguiu outro caminho. Você aponta para alguma coisa, com um clique ou uma caixa aproximada, e ele devolve uma máscara precisa daquele objeto, seja ele qual for.
O SAM trouxe para a segmentação o que os grandes modelos de linguagem trouxeram para o texto: um único modelo geral, guiado por prompts, que funciona em coisas para as quais nunca foi treinado especificamente.
Como o SAM funciona
O SAM tem três partes:
- Codificador de imagem: um Vision Transformer grande que transforma a imagem em um embedding. É a etapa lenta, e roda uma vez por imagem.
- Codificador de prompt: transforma pontos, caixas ou máscaras aproximadas em embeddings.
- Decodificador de máscara: uma rede pequena e rápida que combina os dois e produz máscaras em milissegundos.
Como o codificador pesado roda só uma vez, o usuário pode clicar pela imagem e obter novas máscaras na hora. Quando um prompt é ambíguo (um clique em uma camisa pode significar a camisa ou a pessoa que a veste), o SAM devolve várias máscaras candidatas com pontuações de confiança.
O motor de dados
A força do modelo veio do seu conjunto de dados, o SA-1B: 11 milhões de imagens com 1,1 bilhão de máscaras, de longe o maior conjunto de dados de segmentação da época. A Meta o construiu com um ciclo. Anotadores usavam uma versão inicial do SAM para rotular imagens, o modelo era retreinado com os resultados e, por fim, o modelo passou a gerar máscaras de forma totalmente automática, com humanos apenas conferindo a qualidade.
A família SAM
- SAM (2023): imagens, com pontos e caixas como prompts.
- SAM 2 (2024): estende para vídeo. Depois de um clique em um único quadro, um mecanismo de memória acompanha o objeto ao longo dos quadros, mesmo quando ele fica escondido por um instante. Também é mais rápido e mais preciso em imagens.
- SAM 3 (2025): adiciona prompts de conceito. Dê a ele uma frase curta como "ônibus escolar amarelo" ou uma imagem de exemplo, e ele encontra e segmenta cada instância correspondente, e depois as acompanha pelo vídeo. Um modelo complementar, o SAM 3D, reconstrói objetos e pessoas em 3D a partir de uma única imagem.
O que ele não faz
As duas primeiras versões não sabem o que estão segmentando. Elas produzem máscaras, não rótulos. Para obter "todos os cachorros", as pessoas combinavam o SAM com um detector que recebe texto, como no popular pipeline Grounded-SAM, até o SAM 3 incorporar essa capacidade.
O SAM pode ter dificuldade com estruturas muito finas, bordas de baixo contraste e domínios especializados como exames médicos, onde variantes com fine-tuning como o MedSAM se saem melhor. O codificador de imagem é pesado para uso em tempo real ou em celulares, o que levou a versões mais leves como MobileSAM, FastSAM e EfficientSAM.
Como usar
Para edição ou rotulagem interativas, use o SAM por meio de uma ferramenta que já o integre, como fazem muitas plataformas de anotação e editores. Para pipelines automatizados, uma receita comum é deixar o SAM gerar máscaras a baixo custo, pedir que pessoas as corrijam e treinar com o resultado um modelo pequeno, rápido e específico para a tarefa. Assim você tem a qualidade do SAM na hora de rotular e um modelo leve na hora de executar.