मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Segment Anything
मॉडल

Segment Anything

इसे भी कहा जाता है: Segment Anything Model
Meta के promptable segmentation models का परिवार, जो task-specific training के बिना एक click, box या text prompt से किसी image या video में कोई भी object काटकर अलग कर सकता है।

यह क्यों मायने रखता है

SAM ने high-quality segmentation को आम चीज़ बना दिया। जिन tasks के लिए पहले labeled dataset और training run चाहिए था, उनके लिए अब एक click काफ़ी है। यह photo और video editors में one-click cutouts के लिए, annotation tools में जहाँ यह labeling को कई गुना तेज़ करता है, और medical imaging, satellite imagery, robotics और augmented reality की pipelines में लगा हुआ है।

Meta ने code और weights भी खुले रूप में release किए, पहले दो versions Apache 2.0 license के तहत, जिससे SAM computer vision के सबसे ज़्यादा इस्तेमाल होने वाले building blocks में से एक बन गया।

गहन अध्ययन

Segmentation का मतलब है उन pixels को ठीक-ठीक ढूँढना जो किसी object के हैं। परंपरागत रूप से हर तरह के object के लिए अलग model train किया जाता था: एक tumors के लिए, एक cars के लिए, एक फसलों के लिए। Meta AI ने अप्रैल 2023 में जो Segment Anything Model (SAM) release किया, उसने अलग रास्ता अपनाया। आप एक click या मोटे-से box से किसी चीज़ की ओर इशारा करते हैं, और वह उस object का सटीक mask लौटा देता है, चाहे वह कुछ भी हो।

SAM ने segmentation के लिए वही किया जो large language models ने text के लिए किया: एक सामान्य model, जो prompts से चलता है और उन चीज़ों पर भी काम करता है जिनके लिए उसे कभी खास तौर पर train नहीं किया गया।

SAM कैसे काम करता है

SAM के तीन हिस्से हैं:

  • Image encoder: एक बड़ा Vision Transformer जो image को embedding में बदलता है। यही धीमा step है, और यह हर image के लिए एक बार चलता है।
  • Prompt encoder: points, boxes या मोटे masks को embeddings में बदलता है।
  • Mask decoder: एक छोटा, तेज़ network जो दोनों को मिलाता है और milliseconds में masks देता है।

चूँकि भारी encoder सिर्फ़ एक बार चलता है, user image पर जगह-जगह click करके तुरंत नए masks पा सकता है। जब prompt अस्पष्ट हो (shirt पर click का मतलब shirt भी हो सकता है और उसे पहनने वाला व्यक्ति भी), तो SAM confidence scores के साथ कई candidate masks लौटाता है।

Data Engine

Model की ताकत उसके dataset SA-1B से आई: 1.1 करोड़ images और 110 करोड़ masks, जो उस समय का अब तक का सबसे बड़ा segmentation dataset था। Meta ने इसे एक loop से बनाया। Annotators images को label करने के लिए शुरुआती SAM का इस्तेमाल करते थे, model को नतीजों पर दोबारा train किया जाता था, और आखिर में model पूरी तरह अपने-आप masks बनाने लगा, जबकि इंसान सिर्फ़ quality जाँचते थे।

SAM परिवार

  • SAM (2023): images, जिन्हें points और boxes से prompt किया जाता है।
  • SAM 2 (2024): video तक बढ़ता है। किसी एक frame पर click के बाद एक memory mechanism object को frames के पार track करता है, तब भी जब वह थोड़ी देर के लिए छिप जाए। यह images पर भी ज़्यादा तेज़ और सटीक है।
  • SAM 3 (2025): concept prompts जोड़ता है। इसे "yellow school bus" जैसा छोटा phrase या एक example image दीजिए, और यह हर मिलते instance को ढूँढकर segment करता है, फिर उन्हें video में track करता है। एक साथी model, SAM 3D, एक ही image से objects और लोगों को 3D में फिर से बनाता है।

यह क्या नहीं करता

पहले दो versions नहीं जानते कि वे क्या segment कर रहे हैं। वे masks देते हैं, labels नहीं। "सारे कुत्ते" पाने के लिए लोग SAM को text लेने वाले detector के साथ जोड़ते थे, जैसे लोकप्रिय Grounded-SAM pipeline में, जब तक SAM 3 ने यह क्षमता अपने अंदर नहीं बना ली।

SAM को बहुत बारीक structures, कम contrast वाली boundaries और medical scans जैसे specialized domains में दिक्कत हो सकती है, जहाँ MedSAM जैसे fine-tuned variants बेहतर करते हैं। Image encoder real-time या mobile इस्तेमाल के लिए भारी है, जिसके चलते MobileSAM, FastSAM और EfficientSAM जैसे हल्के versions बने।

इसे इस्तेमाल करना

Interactive editing या labeling के लिए SAM को किसी ऐसे tool के ज़रिए इस्तेमाल कीजिए जिसमें यह पहले से जुड़ा हो, जैसा कई annotation platforms और editors करते हैं। Automated pipelines के लिए एक आम नुस्खा यह है कि SAM से सस्ते में masks बनवाइए, इंसानों से उन्हें ठीक करवाइए और नतीजे पर एक छोटा, तेज़, task-specific model train कीजिए। इससे labeling के समय आपको SAM की quality मिलती है और run time पर एक हल्का model।

← सभी शब्द
ESC