SFT
यह क्यों मायने रखता है
आपने जो भी chat model इस्तेमाल किया है, वह लगभग निश्चित रूप से SFT से गुज़रा है। यह वह fine-tuning भी है जो builders खुद सबसे ज़्यादा करते हैं: जब कोई कंपनी model को अपने house style में जवाब देने या कोई खास JSON format देने के लिए fine-tune करती है, तो वह SFT ही है, आमतौर पर LoRA या QLoRA के साथ।
SFT को set up करना आसान है और यह format और व्यवहार सिखाने में बहुत असरदार है। जब तक आप अच्छे examples दिखा सकते हैं, model से कोई खास काम भरोसे के साथ करवाने का यह सबसे तेज़ तरीका है।
गहन अध्ययन
Pre-training के बाद language model एक ताकतवर text predictor होता है, लेकिन मददगार assistant नहीं। उससे सवाल पूछिए तो वह तीन और सवाल लिखकर आगे बढ़ सकता है, क्योंकि internet का text अक्सर ऐसा ही दिखता है। Supervised fine-tuning इसे ठीक करती है। वह model को आपके मनचाहे व्यवहार के ढेरों examples दिखाती है: एक prompt, और एक आदर्श जवाब जिसे किसी इंसान (या किसी बेहतर model) ने लिखा या मंज़ूर किया हो। Model को ये जवाब token दर token बनाना सिखाया जाता है।
SFT आमतौर पर post-training का पहला चरण होता है। यह base model को ऐसा बना देता है जो instructions मानता है, chat format इस्तेमाल करता है और एक जैसे style में जवाब देता है। RLHF या DPO जैसी preference विधियाँ आमतौर पर इसके बाद आती हैं।
यह कैसे काम करता है
Training data बातचीतों का एक set होता है। हर बातचीत में एक prompt (और कभी-कभी system prompt और पिछले turns) और एक target जवाब होता है। Model पूरी बातचीत देखता है, लेकिन loss आमतौर पर सिर्फ़ जवाब के tokens पर निकाला जाता है। इसे prompt को mask करना कहते हैं: आप चाहते हैं कि model अच्छे जवाब लिखना सीखे, user के सवालों की भविष्यवाणी करना नहीं।
हर example को model के chat template से format किया जाता है, यानी उन special tokens से जो बताते हैं कि system, user और assistant के turns कहाँ शुरू और कहाँ खत्म होते हैं। Template में गलती टूटी हुई fine-tune के सबसे आम कारणों में से एक है।
Quality, quantity से भारी है
बार-बार यही नतीजा निकलता है कि बेहतरीन examples का छोटा set औसत examples के बड़े set को हरा देता है। LIMA paper (2023) ने दिखाया कि सावधानी से चुने गए करीब 1,000 examples अच्छे base model से एक मज़बूत assistant बना सकते हैं। व्यवहार में, किसी सीमित काम के लिए कुछ सौ से कुछ हज़ार high-quality, विविध और एक जैसे ढंग के examples अच्छी शुरुआत हैं।
आज बहुत-सा SFT data synthetic होता है: किसी बेहतर model का लिखा हुआ और फिर filter किया हुआ। यह कारगर है, लेकिन student को teacher की आदतें और गलतियाँ विरासत में मिलती हैं, इसलिए filtering मायने रखती है।
SFT बनाम preference training
SFT model को नकल करना सिखाता है। वह अपने examples जितना ही अच्छा हो सकता है, और उसे कभी नहीं दिखता कि खराब जवाब कैसा होता है। Preference विधियाँ (RLHF, DPO) model को बेहतर और खराब जवाबों की जोड़ियाँ दिखाती हैं, जिससे helpfulness, safety और tone जैसी बारीक खूबियों में मदद मिलती है। Verifiable rewards वाली reinforcement learning (RLVR) reasoning के कामों में और आगे जाती है: वह model को solutions की नकल करने के बजाय उन्हें खुद खोजने देती है। एक आम modern pipeline यह है: pre-training, फिर SFT, फिर preference या RL training।
आम गलतियाँ
- भूल जाना: सीमित dataset पर बहुत ज़्यादा epochs general क्षमताओं को घिस सकते हैं। आमतौर पर एक से तीन epochs रखे जाते हैं।
- बेमेल data: अगर examples format या tone पर आपस में असहमत हैं, तो model भी वैसा ही करेगा।
- SFT से facts सिखाना: इससे model नई जानकारी के बारे में पक्का सुनाई दे सकता है, जबकि वह उसे भरोसे के साथ जानता नहीं, और इससे hallucinations बढ़ सकते हैं। ज्ञान के लिए RAG इस्तेमाल कीजिए।