為什麼重要
SAM 讓高品質的分割變成了唾手可得的東西。過去需要一個標註資料集和一輪訓練的任務,現在只需要點一下。它被整合進照片和影片編輯器,用來一鍵去背;被整合進標註工具,把標註速度提高了很多倍;也被用在醫學影像、衛星影像、機器人和擴增實境的流程裡。
Meta 還公開發布了程式碼和權重,前兩個版本採用 Apache 2.0 授權條款,這讓 SAM 成了電腦視覺中使用最廣的基礎元件之一。
深度解析
分割的意思是找出屬於某個物體的確切像素。傳統做法是為每一類物體單獨訓練一個模型:一個辨識腫瘤,一個辨識汽車,一個辨識農作物。Meta AI 在 2023 年 4 月發布的 Segment Anything Model(SAM)走了另一條路。你用一次點擊或一個粗略的框指向某樣東西,它就回傳這個物體的精確遮罩,不管它是什麼。
SAM 給分割帶來的,正是大型語言模型給文字帶來的東西:一個通用模型,由提示來引導,能處理它從未專門訓練過的東西。
SAM 的工作原理
SAM 有三個部分:
- 影像編碼器:一個大型 Vision Transformer,把影像轉成嵌入。這是慢的一步,每張影像只執行一次。
- 提示編碼器:把點、框或粗略的遮罩轉成嵌入。
- 遮罩解碼器:一個小而快的網路,把兩者結合起來,在幾毫秒內輸出遮罩。
因為沉重的編碼器只執行一次,使用者可以在影像上到處點擊,並立刻得到新的遮罩。當提示有歧義時(點擊一件襯衫,可能指襯衫,也可能指穿襯衫的人),SAM 會回傳幾個候選遮罩,並附上信心度分數。
資料引擎
這個模型的實力來自它的資料集 SA-1B:1,100 萬張影像、11 億個遮罩,是當時遙遙領先的最大分割資料集。Meta 用一個迴圈把它建了起來。標註員先用早期的 SAM 來標註影像,再用這些結果重新訓練模型,最後模型完全自動地生成遮罩,人只負責檢查品質。
SAM 家族
- SAM(2023):處理影像,用點和框作為提示。
- SAM 2(2024):擴展到影片。在某一幀上點擊一次之後,記憶機制會跨幀追蹤這個物體,即使它被短暫遮擋。它在影像上也更快、更準。
- SAM 3(2025):加入了概念提示。給它一個「黃色校車」這樣的詞句或一張範例影像,它就會找出並分割每一個匹配的實例,然後在影片中追蹤它們。配套模型 SAM 3D 能從單張影像重建物體和人的三維形態。
它做不到什麼
前兩個版本並不知道自己分割的是什麼。它們輸出的是遮罩,不是標籤。想得到「所有的狗」,人們要把 SAM 和一個接受文字的偵測器搭配使用,比如流行的 Grounded-SAM 流程,直到 SAM 3 把這種能力內建進來。
SAM 在非常精細的結構、低對比度的邊界以及醫學掃描這類專業領域可能表現不佳,在這些地方,MedSAM 這樣經過微調的變體效果更好。影像編碼器對即時或行動裝置使用來說太重,於是出現了 MobileSAM、FastSAM 和 EfficientSAM 等更輕量的版本。
如何使用
要做互動式編輯或標註,可以透過已經整合了 SAM 的工具來使用它,很多標註平台和編輯器都是這樣做的。對自動化流程來說,一個常見做法是讓 SAM 低成本地生成遮罩,由人來修正,再用結果訓練一個小而快的專用模型。這樣你在標註時得到 SAM 的品質,在執行時得到一個輕量模型。