跳到主要內容
Zubnet AI › 學習 › Wiki › Segment Anything
模型

Segment Anything

別名:Segment Anything Model、分割一切
Meta 推出的可提示分割模型系列,只需一次點擊、一個框或一句文字提示,就能把影像或影片中的任意物體分離出來,無需針對具體任務訓練。

為什麼重要

SAM 讓高品質的分割變成了唾手可得的東西。過去需要一個標註資料集和一輪訓練的任務,現在只需要點一下。它被整合進照片和影片編輯器,用來一鍵去背;被整合進標註工具,把標註速度提高了很多倍;也被用在醫學影像、衛星影像、機器人和擴增實境的流程裡。

Meta 還公開發布了程式碼和權重,前兩個版本採用 Apache 2.0 授權條款,這讓 SAM 成了電腦視覺中使用最廣的基礎元件之一。

深度解析

分割的意思是找出屬於某個物體的確切像素。傳統做法是為每一類物體單獨訓練一個模型:一個辨識腫瘤,一個辨識汽車,一個辨識農作物。Meta AI 在 2023 年 4 月發布的 Segment Anything Model(SAM)走了另一條路。你用一次點擊或一個粗略的框指向某樣東西,它就回傳這個物體的精確遮罩,不管它是什麼。

SAM 給分割帶來的,正是大型語言模型給文字帶來的東西:一個通用模型,由提示來引導,能處理它從未專門訓練過的東西。

SAM 的工作原理

SAM 有三個部分:

  • 影像編碼器:一個大型 Vision Transformer,把影像轉成嵌入。這是慢的一步,每張影像只執行一次。
  • 提示編碼器:把點、框或粗略的遮罩轉成嵌入。
  • 遮罩解碼器:一個小而快的網路,把兩者結合起來,在幾毫秒內輸出遮罩。

因為沉重的編碼器只執行一次,使用者可以在影像上到處點擊,並立刻得到新的遮罩。當提示有歧義時(點擊一件襯衫,可能指襯衫,也可能指穿襯衫的人),SAM 會回傳幾個候選遮罩,並附上信心度分數。

資料引擎

這個模型的實力來自它的資料集 SA-1B:1,100 萬張影像、11 億個遮罩,是當時遙遙領先的最大分割資料集。Meta 用一個迴圈把它建了起來。標註員先用早期的 SAM 來標註影像,再用這些結果重新訓練模型,最後模型完全自動地生成遮罩,人只負責檢查品質。

SAM 家族

  • SAM(2023):處理影像,用點和框作為提示。
  • SAM 2(2024):擴展到影片。在某一幀上點擊一次之後,記憶機制會跨幀追蹤這個物體,即使它被短暫遮擋。它在影像上也更快、更準。
  • SAM 3(2025):加入了概念提示。給它一個「黃色校車」這樣的詞句或一張範例影像,它就會找出並分割每一個匹配的實例,然後在影片中追蹤它們。配套模型 SAM 3D 能從單張影像重建物體和人的三維形態。

它做不到什麼

前兩個版本並不知道自己分割的是什麼。它們輸出的是遮罩,不是標籤。想得到「所有的狗」,人們要把 SAM 和一個接受文字的偵測器搭配使用,比如流行的 Grounded-SAM 流程,直到 SAM 3 把這種能力內建進來。

SAM 在非常精細的結構、低對比度的邊界以及醫學掃描這類專業領域可能表現不佳,在這些地方,MedSAM 這樣經過微調的變體效果更好。影像編碼器對即時或行動裝置使用來說太重,於是出現了 MobileSAM、FastSAM 和 EfficientSAM 等更輕量的版本。

如何使用

要做互動式編輯或標註,可以透過已經整合了 SAM 的工具來使用它,很多標註平台和編輯器都是這樣做的。對自動化流程來說,一個常見做法是讓 SAM 低成本地生成遮罩,由人來修正,再用結果訓練一個小而快的專用模型。這樣你在標註時得到 SAM 的品質,在執行時得到一個輕量模型。

← 所有術語
ESC