एक प्रशिक्षण दृष्टिकोण जहाँ मॉडल बिना लेबल वाले डेटा से अपना स्वयं का पर्यवेक्षण संकेत उत्पन्न करता है। इनपुट का हिस्सा छिपाओ, छिपे हुए हिस्से की भविष्यवाणी करने के लिए प्रशिक्षित करो। LLM के लिए: अगला टोकन मास्क करो और उसकी भविष्यवाणी करो। Vision के लिए: image patches मास्क करो।
यह क्यों मायने रखता है
सेल्फ़-सुपरवाइज़्ड लर्निंग वह सफलता है जिसने आधुनिक AI को संभव बनाया। इसने महंगे हाथ से लेबल किए गए डेटासेट के बजाय पूरे इंटरनेट पर प्रशिक्षण को अनलॉक किया।
गहन अध्ययन
दो प्रमुख दृष्टिकोण: causal LM (अगले टोकन की भविष्यवाणी → GPT/Claude/Llama) और masked LM (मास्क किए गए टोकन की भविष्यवाणी → BERT)। Contrastive learning (CLIP, SimCLR) एक और रूप है जो vision और embeddings में उपयोग किया जाता है।