Segment Anything
Pourquoi c'est important
SAM a fait de la segmentation de haute qualité un produit courant. Des tâches qui exigeaient un jeu de données étiqueté et un entraînement ne demandent plus qu'un clic. Il est intégré aux éditeurs de photos et de vidéos pour le détourage en un clic, aux outils d'annotation où il accélère l'étiquetage de plusieurs fois, et à des pipelines d'imagerie médicale, d'imagerie satellite, de robotique et de réalité augmentée.
Meta a aussi publié le code et les poids ouvertement, les deux premières versions sous licence Apache 2.0, ce qui a fait de SAM l'une des briques les plus utilisées en vision par ordinateur.
En profondeur
La segmentation consiste à trouver les pixels exacts qui appartiennent à un objet. Traditionnellement, on entraînait un modèle distinct pour chaque type d'objet : un pour les tumeurs, un pour les voitures, un pour les cultures. Le Segment Anything Model (SAM), publié par Meta AI en avril 2023, a pris une autre voie. Vous désignez quelque chose, d'un clic ou d'un cadre approximatif, et il renvoie un masque précis de cet objet, quel qu'il soit.
SAM a apporté à la segmentation ce que les grands modèles de langage ont apporté au texte : un seul modèle généraliste, piloté par des prompts, qui fonctionne sur des choses pour lesquelles il n'a jamais été spécifiquement entraîné.
Comment fonctionne SAM
SAM comporte trois parties :
- Encodeur d'image : un grand Vision Transformer qui transforme l'image en embedding. C'est l'étape lente, et elle s'exécute une seule fois par image.
- Encodeur de prompt : transforme des points, des cadres ou des masques approximatifs en embeddings.
- Décodeur de masque : un petit réseau rapide qui combine les deux et produit des masques en quelques millisecondes.
Comme l'encodeur lourd ne s'exécute qu'une fois, un utilisateur peut cliquer un peu partout dans une image et obtenir de nouveaux masques instantanément. Quand un prompt est ambigu (un clic sur une chemise peut désigner la chemise ou la personne qui la porte), SAM renvoie plusieurs masques candidats avec des scores de confiance.
Le moteur de données
La force du modèle venait de son jeu de données, SA-1B : 11 millions d'images avec 1,1 milliard de masques, de loin le plus grand jeu de données de segmentation à l'époque. Meta l'a construit avec une boucle. Des annotateurs utilisaient une première version de SAM pour étiqueter des images, le modèle était réentraîné sur les résultats, et le modèle a fini par générer les masques de façon entièrement automatique, les humains ne vérifiant plus que la qualité.
La famille SAM
- SAM (2023) : des images, avec des prompts sous forme de points et de cadres.
- SAM 2 (2024) : s'étend à la vidéo. Après un clic sur une seule image de la séquence, un mécanisme de mémoire suit l'objet d'une image à l'autre, même lorsqu'il est brièvement caché. Il est aussi plus rapide et plus précis sur les images.
- SAM 3 (2025) : ajoute les prompts de concept. Donnez-lui une courte expression comme « bus scolaire jaune » ou une image d'exemple, et il trouve et segmente chaque occurrence correspondante, puis les suit dans la vidéo. Un modèle compagnon, SAM 3D, reconstruit des objets et des personnes en 3D à partir d'une seule image.
Ce qu'il ne fait pas
Les deux premières versions ne savent pas ce qu'elles segmentent. Elles produisent des masques, pas des étiquettes. Pour obtenir « tous les chiens », on associait SAM à un détecteur acceptant du texte, comme dans le populaire pipeline Grounded-SAM, jusqu'à ce que SAM 3 intègre cette capacité.
SAM peut avoir du mal avec les structures très fines, les contours peu contrastés et les domaines spécialisés comme l'imagerie médicale, où des variantes ajustées par fine-tuning comme MedSAM font mieux. L'encodeur d'image est lourd pour un usage en temps réel ou sur mobile, ce qui a donné naissance à des versions plus légères comme MobileSAM, FastSAM et EfficientSAM.
L'utiliser
Pour l'édition ou l'étiquetage interactifs, utilisez SAM à travers un outil qui l'intègre déjà, comme le font beaucoup de plateformes d'annotation et d'éditeurs. Pour les pipelines automatisés, une recette courante consiste à laisser SAM générer des masques à bas coût, à les faire corriger par des humains, puis à entraîner sur le résultat un petit modèle rapide et spécifique à la tâche. Vous obtenez ainsi la qualité de SAM au moment de l'étiquetage et un modèle léger au moment de l'exécution.