跳到主要内容
Zubnet AI › 学习 › Wiki › Segment Anything
模型

Segment Anything

别名:Segment Anything Model、分割一切
Meta 推出的可提示分割模型系列,只需一次点击、一个框或一句文本提示,就能把图像或视频中的任意物体抠出来,无需针对具体任务训练。

为什么重要

SAM 让高质量的分割变成了唾手可得的东西。过去需要一个标注数据集和一轮训练的任务,现在只需要点一下。它被集成进照片和视频编辑器,用来一键抠图;被集成进标注工具,把标注速度提高了很多倍;也被用在医学影像、卫星图像、机器人和增强现实的流程里。

Meta 还公开发布了代码和权重,前两个版本采用 Apache 2.0 许可证,这让 SAM 成了计算机视觉中使用最广的基础组件之一。

深度解析

分割的意思是找出属于某个物体的确切像素。传统做法是为每一类物体单独训练一个模型:一个识别肿瘤,一个识别汽车,一个识别农作物。Meta AI 在 2023 年 4 月发布的 Segment Anything Model(SAM)走了另一条路。你用一次点击或一个粗略的框指向某样东西,它就返回这个物体的精确掩码,不管它是什么。

SAM 给分割带来的,正是大语言模型给文本带来的东西:一个通用模型,由提示来引导,能处理它从未专门训练过的东西。

SAM 的工作原理

SAM 有三个部分:

  • 图像编码器:一个大型 Vision Transformer,把图像转成嵌入。这是慢的一步,每张图像只运行一次。
  • 提示编码器:把点、框或粗略的掩码转成嵌入。
  • 掩码解码器:一个小而快的网络,把两者结合起来,在几毫秒内输出掩码。

因为沉重的编码器只运行一次,用户可以在图像上到处点击,并立刻得到新的掩码。当提示有歧义时(点击一件衬衫,可能指衬衫,也可能指穿衬衫的人),SAM 会返回几个候选掩码,并附上置信度分数。

数据引擎

这个模型的实力来自它的数据集 SA-1B:1,100 万张图像、11 亿个掩码,是当时遥遥领先的最大分割数据集。Meta 用一个循环把它建了起来。标注员先用早期的 SAM 来标注图像,再用这些结果重新训练模型,最后模型完全自动地生成掩码,人只负责检查质量。

SAM 家族

  • SAM(2023):处理图像,用点和框作为提示。
  • SAM 2(2024):扩展到视频。在某一帧上点击一次之后,记忆机制会跨帧跟踪这个物体,即使它被短暂遮挡。它在图像上也更快、更准。
  • SAM 3(2025):加入了概念提示。给它一个“黄色校车”这样的短语或一张示例图像,它就会找出并分割每一个匹配的实例,然后在视频中跟踪它们。配套模型 SAM 3D 能从单张图像重建物体和人的三维形态。

它做不到什么

前两个版本并不知道自己分割的是什么。它们输出的是掩码,不是标签。想得到“所有的狗”,人们要把 SAM 和一个接受文本的检测器搭配使用,比如流行的 Grounded-SAM 流程,直到 SAM 3 把这种能力内置进来。

SAM 在非常精细的结构、低对比度的边界以及医学扫描这类专业领域可能表现不佳,在这些地方,MedSAM 这样经过微调的变体效果更好。图像编码器对实时或移动端使用来说太重,于是出现了 MobileSAM、FastSAM 和 EfficientSAM 等更轻量的版本。

如何使用

要做交互式编辑或标注,可以通过已经集成了 SAM 的工具来使用它,很多标注平台和编辑器都是这样做的。对自动化流程来说,一个常见做法是让 SAM 低成本地生成掩码,由人来修正,再用结果训练一个小而快的专用模型。这样你在标注时得到 SAM 的质量,在运行时得到一个轻量模型。

← 所有术语
ESC