प्रशिक्षण

Post-Training

इसे भी कहा जाता है: Post-training

Pretraining के बाद model पर लागू training stages का set, जो raw next-token predictor को usable assistant में बदलता है। आम तौर पर इसमें demonstrations पर supervised fine-tuning, human या AI feedback से preference tuning, verifiable tasks पर reinforcement learning और safety training जोड़ी जाती हैं। Model का behavior, tone और limits वास्तव में post-training में तय होते हैं।

यह क्यों मायने रखता है

लगभग identical data पर pretrained दो models production में post-training choices के कारण पूरी तरह अलग महसूस हो सकते हैं: एक instructions follow करता और harmful requests साफ़ मना करता है, दूसरा ramble या over-refuse करता है। Reasoning-model era ने post-training को frontier labs के बीच main differentiator बनाया, और यही वह layer भी है जहाँ smaller teams pretraining की cost दिए बिना model को meaningful ढंग से reshape कर सकती हैं।

गहन अध्ययन

Pretraining से नया निकला base model powerful लेकिन awkward artifact है: वह questions answer करने के बजाय text continue करता है, assistant होने की कोई concept नहीं रखता और training data की best चीज़ों जितनी आसानी से worst चीज़ों की नकल करेगा। Post-training इस artifact को stages की sequence से product बनाता है, हर stage के अपने data, objective तथा failure modes हैं। Classic recipe — OpenAI के 2022 InstructGPT द्वारा popular और अब हर major lab द्वारा किसी form में इस्तेमाल — demonstrations पर supervised fine-tuning से शुरू होती है, preference optimization पर जाती है और increasingly reinforcement learning की heavy dose जोड़ती है। पूरी pipeline प्री-ट्रेनिंग compute का छोटा fraction cost करती है, फिर भी user के लगभग पूरे experience को तय करती है: style, format, refusals और model कैसे reason करता है।

Supervised Fine-Tuning पहले आती है

पहला stage Instruction Tuning है: input-output pairs पर supervised fine-tuning जो model को दिखाती है कि good assistant response कैसी होती है। Datasets pretraining standards से छोटे होते हैं — trillions of tokens के बजाय thousands से millions curated examples — और quantity से quality अधिक महत्वपूर्ण है, क्योंकि model demonstrations की हर habit absorb करता है। इस data का बड़ा हिस्सा अब सिंथेटिक डेटा है, paid annotators के बजाय stronger models द्वारा generated और filtered। SFT chat template, system, user तथा assistant turns mark करने वाले special tokens, भी install करती है, इसीलिए same model के base और instruct versions इतना अलग behave करते हैं। इस stage को अधिक करने पर model pretraining की capabilities खोने लगता है, catastrophic forgetting का mild form जो किसी के न छुए skills में regressions के रूप में दिखता है।

RLHF और DPO से Preference Tuning

Demonstrations सब कुछ नहीं सिखा सकतीं, इसलिए अगला stage preferences optimize करता है: human raters model responses के pairs rank करते हैं, rankings Reward Model train करती हैं और policy उसके विरुद्ध अच्छा score करने के लिए tune होती है। Original recipe reinforcement learning चलाती है, आम तौर पर KL penalty वाला PPO जो policy को बहुत दूर drift करने से रोकता है, और इसी RLHF pipeline ने GPT-3-class base models को ChatGPT में बदला। DPO (2023) ने पूरे loop को preference pairs पर सीधे लागू supervised-style objective में समेट दिया, reward model या RL machinery के बिना, जिससे preference tuning fine-tune चला सकने वाले हर व्यक्ति की पहुँच में आई। कोई method free नहीं: policy blind spots exploit करना सीखती है तो reward models over-optimize होते हैं, और preference tuning sycophancy का known driver है, क्योंकि raters agreeable, confident तथा flattering answers reward करते हैं।

Reasoning Era ने गणित बदला

सबसे बड़ा recent shift verifiable rewards वाली reinforcement learning है: human judgment के बजाय reward automatic checker से आता है — math answer key से match करता है या code unit tests pass करता है। Labelers न चाहिए होने से training का यह RLVR style preference data से बहुत आगे scale करता है, और GRPO जैसे algorithms, जिसे DeepSeek ने 2024 में पेश किया, value model पूरी तरह हटाकर cost और घटाते हैं। Reasoning-model generation — OpenAI का o1, DeepSeek-R1 और उनके successors — के पीछे यही recipe है, जहाँ models imitation के बजाय RL से long chains of thought, backtracking तथा self-correction सीखते हैं। Popular shortcut डिस्टिलेशन है: smaller model को frontier model के long reasoning traces पर train करके RL चलाए बिना behavior का बड़ा हिस्सा capture करें, जैसा DeepSeek ने R1 के smaller Qwen तथा Llama variants के साथ किया। दोनों तरीकों में post-training compute, जो कभी afterthought था, अब test-time compute के साथ first-class scaling axis है।

Safety भी यहीं रहती है

User को safety के रूप में मिलने वाली लगभग हर चीज़ post-training है: refusal behavior, dangerous requests की handling और jailbreak pressure में robustness। Labs safety examples SFT में mix करती हैं, reward model में harmlessness signals जोड़ती हैं और release से पहले checkpoints पर रेड टीमिंग करती हैं; Anthropic का Constitutional AI कुछ human harmlessness labels को written principles के set के विरुद्ध checked AI feedback से बदलता है। Calibration कठिन हिस्सा है — बहुत कम safety training में model dangerous है, बहुत अधिक में security research, medical questions और dark fiction refuse करता है। ये behaviors surface के पास भी हैं: few hundred fine-tuning steps उन्हें open-weights model से हटा सकते हैं, जो हर open release के लिए live concern है।

यह Knowledge से अधिक Behavior Shape करती है

लगातार बनी गलतफ़हमी है कि post-training model को नए facts सिखाती है। अधिकतर ऐसा नहीं होता: 2023 के LIMA जैसे work के पीछे superficial alignment hypothesis समेत evidence suggest करता है कि लगभग पूरा knowledge pretraining से आता है, जबकि post-training मुख्यतः already मौजूद चीज़ को surface, format तथा constrain करती है। इसके practical consequences हैं। Model में capability न हो तो बड़ा SFT dataset शायद ही उसे ठीक करता है — knowledge base model से आना चाहिए, या RL stage को verifiable task चाहिए जहाँ behavior वास्तव में practice हो सके। यह भी समझाता है कि factual gaps patch करने के लिए post-training पर भरोसा risky plan क्यों है और retrieval या अलग base model आम तौर पर honest answer क्यों है।