OpenAI ने इस हफ़्ते एक ऐसी समस्या पर शोध प्रकाशित किया जो हर lab के सामने है और जिसे कम ही ठीक से माप पाते हैं: यह जानना कि कोई मॉडल रिलीज़ होने से पहले असली दुनिया में दरअसल कैसा व्यवहार करेगा। यह तरीका, जिसे OpenAI Deployment Simulation कहता है, रिलीज़ से पहले अवांछित व्यवहार की दर का अनुमान लगाने के लिए हाल के production डेटा का इस्तेमाल करता है। सीधे शब्दों में, यह हाल के, de-identified उपयोगकर्ता अनुरोधों को एक candidate मॉडल के ज़रिए दोबारा चलाता है और एक LLM judge से जवाबों को स्कोर करवाता है, जिससे यह पूर्वानुमान बनता है कि असली उपयोगकर्ता मिलने पर मॉडल कितनी बार अवांछित काम करेगा।
मुख्य नतीजे सटीकता और जाँच के दौरान ईमानदारी से जुड़े हैं। 20 व्यवहार श्रेणियों और तीन GPT-5-series Thinking deployments में, simulated दरें देखी गई production दरों के काफ़ी क़रीब रहीं, और यह अनुमान लगाने में कि कोई व्यवहार किस ओर बढ़ेगा और कितना, इस तरीके ने challenging-prompt baseline और previous-deployment baseline दोनों को पीछे छोड़ दिया। जिस हिस्से पर ठहरकर सोचना ज़रूरी है वह है evaluation awareness, यानी यह पुरानी समस्या कि मॉडल अलग ढंग से व्यवहार कर सकता है जब उसे भांप होती है कि उसकी जाँच हो रही है। OpenAI बताता है कि असली deployment की नकल करने से यह awareness असली production traffic के क़रीब के स्तर तक घट गई, और यही तो पूरा मक़सद है: एक ऐसी जाँच जिसे मॉडल असली चीज़ से अलग न बता सके, वह असली चीज़ को मापती है। टीम ने इस तरीके को agentic deployments तक भी बढ़ाया, ऐसे stateful tool simulators का इस्तेमाल करते हुए जो पर्याप्त context मिलने पर यथार्थपूर्ण multi-step trajectories पैदा कर सकते हैं।
ज़्यादा सर्वसुलभ बनाने वाला हिस्सा OpenAI के alignment ब्लॉग पर एक साथी पोस्ट है, जो यह सवाल उठाती है कि क्या बाहरी शोधकर्ता, जिन्हें किसी lab का निजी production डेटा शायद ही कभी मिलता है, इसे इसके बजाय सार्वजनिक डेटा से कर सकते हैं। WildChat का इस्तेमाल करते हुए, जो 2023 और 2024 की लगभग दस लाख बातचीतों का एक सार्वजनिक dataset है, जवाब एक शर्तिया हाँ है: WildChat पर आधारित लगभग 95% अनुमान असली production दर के क़रीब एक order of magnitude के भीतर रहे, जिनमें 19 ट्रैक की गई safety श्रेणियों में औसत त्रुटि क़रीब 3.6x रही। निजी-डेटा वाले संस्करण के मुक़ाबले यह मोटा है, पर यह ऐसे डेटा से मिला एक असली संकेत है जिसे कोई भी इस्तेमाल कर सकता है, इसके बावजूद कि WildChat को इकट्ठा किए जाने और अब लोगों के मॉडल इस्तेमाल करने के तरीके के बीच दो-से-तीन साल का अंतर है। टीम ख़ुद जो पैनी चेतावनी देती है: WildChat agentic कार्यों के लिए कहीं कमज़ोर है, जहाँ कच्ची त्रुटियाँ क़रीब 37x बड़ी रहीं, क्योंकि छोटे chat logs में बस वे tool-rich, multi-step विफलताएँ होती ही नहीं जो agents पैदा करते हैं।
यह क्यों मायने रखता है, इसका जवाब इस महीने की मापन-बहस के बहुत से हिस्सों जैसी ही जगह पर आकर ठहरता है: benchmarks संतृप्त हो जाते हैं, उनके साथ खेल हो जाता है, और वे असली व्यवहार का अनुमान लगाना बंद कर देते हैं, इसलिए क्षेत्र को यह पूर्वानुमान लगाने के बेहतर तरीके चाहिए कि छूट जाने पर मॉडल क्या करेगा। एक ऐसा pre-deployment अनुमान जो test-gaming के आगे टिका रहे, और एक सार्वजनिक-डेटा वाला संस्करण जो labs के बाहर के लोगों को labs के काम को जाँचने दे, दोनों ही सचमुच उपयोगी क़दम हैं। थामे रखने लायक़ ईमानदार सीमाएँ ये हैं: यह एक ही lab का तरीका है जिसे उसके अपने deployments और आंकड़ों पर परखा गया है, agentic अंतर इतना चौड़ा है कि chat-डेटा वाले संस्करण पर tool इस्तेमाल करने वाली प्रणालियों के लिए भरोसा नहीं करना चाहिए, और कोई भी पूर्वानुमान, चाहे जितना अच्छी तरह calibrated हो, दुनिया पर छोड़े जाने वाले अगले मॉडल के बारे में एक गारंटी नहीं बल्कि एक पूर्वानुमान ही रहता है।