Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Segment Anything
Modelos

Segment Anything

También conocido como: Segment Anything Model
La familia de modelos de segmentación de Meta guiados por prompts, capaces de recortar cualquier objeto en una imagen o un video a partir de un clic, un recuadro o un prompt de texto, sin entrenamiento específico para la tarea.

Por qué importa

SAM convirtió la segmentación de alta calidad en algo al alcance de todos. Tareas que antes necesitaban un conjunto de datos etiquetado y un entrenamiento ahora necesitan un clic. Está integrado en editores de fotos y video para recortes con un clic, en herramientas de anotación donde acelera el etiquetado muchas veces, y en pipelines de imágenes médicas, imágenes satelitales, robótica y realidad aumentada.

Meta además publicó el código y los pesos de forma abierta, las dos primeras versiones bajo la licencia Apache 2.0, lo que hizo de SAM uno de los componentes más usados en visión por computadora.

En profundidad

Segmentar significa encontrar los píxeles exactos que pertenecen a un objeto. Tradicionalmente se entrenaba un modelo aparte para cada tipo de objeto: uno para tumores, uno para autos, uno para cultivos. El Segment Anything Model (SAM), publicado por Meta AI en abril de 2023, tomó otro camino. Señalas algo, con un clic o un recuadro aproximado, y devuelve una máscara precisa de ese objeto, sea lo que sea.

SAM le trajo a la segmentación lo que los modelos de lenguaje grandes le trajeron al texto: un solo modelo general, guiado por prompts, que funciona con cosas para las que nunca fue entrenado específicamente.

Cómo funciona SAM

SAM tiene tres partes:

  • Codificador de imagen: un Vision Transformer grande que convierte la imagen en un embedding. Es el paso lento, y se ejecuta una vez por imagen.
  • Codificador de prompts: convierte puntos, recuadros o máscaras aproximadas en embeddings.
  • Decodificador de máscaras: una red pequeña y rápida que combina ambos y produce máscaras en milisegundos.

Como el codificador pesado se ejecuta una sola vez, un usuario puede hacer clic por toda la imagen y obtener máscaras nuevas al instante. Cuando un prompt es ambiguo (un clic en una camisa puede referirse a la camisa o a la persona que la lleva puesta), SAM devuelve varias máscaras candidatas con puntajes de confianza.

El motor de datos

La fortaleza del modelo vino de su conjunto de datos, SA-1B: 11 millones de imágenes con 1.100 millones de máscaras, por mucho el mayor conjunto de datos de segmentación en ese momento. Meta lo construyó con un ciclo. Los anotadores usaban una versión temprana de SAM para etiquetar imágenes, el modelo se reentrenaba con los resultados, y al final el modelo generaba máscaras de forma totalmente automática, con humanos que solo revisaban la calidad.

La familia SAM

  • SAM (2023): imágenes, con puntos y recuadros como prompts.
  • SAM 2 (2024): se extiende al video. Después de un clic en un solo fotograma, un mecanismo de memoria sigue al objeto a lo largo de los fotogramas, incluso cuando queda oculto por un momento. También es más rápido y más preciso en imágenes.
  • SAM 3 (2025): agrega prompts de concepto. Dale una frase corta como «autobús escolar amarillo» o una imagen de ejemplo, y encuentra y segmenta cada instancia que coincida, y luego las sigue a lo largo del video. Un modelo complementario, SAM 3D, reconstruye objetos y personas en 3D a partir de una sola imagen.

Lo que no hace

Las dos primeras versiones no saben qué están segmentando. Producen máscaras, no etiquetas. Para obtener «todos los perros», la gente combinaba SAM con un detector que recibe texto, como en el popular pipeline Grounded-SAM, hasta que SAM 3 incorporó esa capacidad.

A SAM le pueden costar las estructuras muy finas, los bordes de bajo contraste y los dominios especializados como los estudios médicos, donde variantes con fine-tuning como MedSAM lo hacen mejor. El codificador de imagen es pesado para uso en tiempo real o en móviles, lo que llevó a versiones más livianas como MobileSAM, FastSAM y EfficientSAM.

Cómo usarlo

Para edición o etiquetado interactivos, usa SAM a través de una herramienta que ya lo integre, como hacen muchas plataformas de anotación y editores. Para pipelines automatizados, una receta común es dejar que SAM genere máscaras a bajo costo, hacer que personas las corrijan y entrenar con el resultado un modelo pequeño, rápido y específico para la tarea. Eso te da la calidad de SAM al momento de etiquetar y un modelo liviano al momento de ejecutar.

← Todos los términos
ESC