Ferran Alia ने बुधवार को Towards Data Science पर एक नियंत्रित SFT तुलना प्रकाशित की, एक language model को persona सिखाने के लिए तीन data formats का परीक्षण किया — और counterintuitive option जीत गया। setup वह हिस्सा है जिसे अधिकांश practitioner posts छोड़ देते हैं: Qwen3-4B-Instruct base model के रूप में, LoRA (r=16, alpha=32, attention और MLP projections), cosine LR schedule के साथ 3 epochs और 5% warmup, हर strategy के लिए Claude द्वारा generate किए गए 500 training examples, सभी hyperparameters constant रखे गए ताकि एकमात्र variable data format हो। तीनों strategies persona वज़न में कहाँ रहती है इस पर तीन अलग theories को map करती हैं: chat demonstrations (behavioral imitation), first-person introspective statements ("I am C-3PO, I prefer to calculate the odds before committing"), और synthetic document fine-tuning (third-person Wikipedia-style descriptions, Anthropic के 2025 belief-insertion research की तकनीक)। code GitHub पर है।
परिणाम headline finding है जिसे उठाना सार्थक है: first-person statements ने generalization पर demonstrations को हराया, जिसे एक 4×3 perplexity matrix (baseline plus तीन fine-tunes, तीनों data formats के samples पर evaluated) के अलावा 30 fixed-prompt responses पर C-3PO behaviors की trait-tagging (लोगों को "Sir" बुलाना, odds कोट करना, anxiety व्यक्त करना, formal etiquette) से मापा गया। dialog-trained model C-3PO-style dialog उत्पन्न करने में सबसे बेहतर है; first-person-trained model सभी formats (dialog सहित) में ज़्यादा C-3PO output उत्पन्न करता है। synthetic documents कुछ अलग करते हैं — वे persona के facts (छह million communication forms, protocol droid functions) सिखाते हैं, उस persona होने की महसूस की गई sense से बेहतर। Alia की reading है कि demonstrations behavioral patterns update करते हैं, first-person text self-representation update करता है, और SDF एक named entity के बारे में world knowledge update करता है — और self-representation behavior से ज़्यादा दूर generalize करता है। टुकड़े का ईमानदार hedge भी महत्त्वपूर्ण है: एक well-tuned system prompt इनमें से किसी भी fine-tune के विरुद्ध अब भी बहुत competitive है, और प्रयोग यह दावा नहीं करता कि SFT जरूरी रूप से कई persona tasks के लिए सही उपकरण है।
यहाँ ecosystem read उन दो धागों को जोड़ती है जो पहले सार्वजनिक रूप से नहीं जुड़े थे। Anthropic के 2025 के SDF कार्य ने दिखाया कि factual के रूप में framed document-style text पर training करके model में झूठे-लेकिन-संभावित facts डाले जा सकते हैं। Alia की खोज इसका SFT समकक्ष है: अगर तुम चाहते हो कि model वह entity हो, तो first-person लिखो; अगर चाहते हो वह entity के बारे में facts जाने, तो third-person लिखो। हर उस व्यक्ति के लिए जो customer-support assistants, branded copilots, role-play characters, या domain agents बना रहा है, निहितार्थ यह है कि intuitive default (मानव-AI conversations record करना, उन पर fine-tune करना) generalization को मेज़ पर छोड़ रहा है। agent designers के लिए विशेष रूप से — Hermes-style local stacks शामिल जो इस सप्ताह आ रहे हैं — SFT-data-format का सवाल ठीक वही है जो तय करता है कि तुम्हारे agent का consistent character है या वह distribution shift में drift करता है।
persona या character के लिए fine-tune करने वाले builders के लिए: तीन प्रकार के synthetic data generate करो (first-person introspection, demonstrations, SDF documents), समान token budgets पर ablations train करो, और deploy करने से पहले out-of-distribution prompts पर benchmark करो। Alia ने जो 500-example LoRA setup use किया वह single-GPU weekend के लिए काफ़ी सस्ता है, और code reusable है। load-bearing caveat यह है कि यह एक काल्पनिक persona पर single-author, single-base-model (Qwen3-4B) result है — Anthropic का belief-insertion कार्य सुझाव देता है कि pattern संभवतः generalize करता है, लेकिन "first-person beats demos" को settled मानने से पहले प्रयोग को Llama 4 और असली corporate personas पर फिर से चलाते देखने की अपेक्षा करो। गहरा takeaway methodological है: SFT data format पर ablation studies practitioner literature में अब भी दुर्लभ हैं, और कोई भी team जो serious fine-tuning कर रही है उसे अपनी 3-तरफ़ा तुलना का अपना version चलाना चाहिए, उस अंतिम template से defaults कॉपी करने के बजाय जो उसने देखा।