Anthropic ने जो तुलना प्रकाशित करना चुना वह है 4 dollar बनाम 150। यह एक स्वचालित alignment शोधकर्ता, यानी AAR, की API inference में प्रति घंटा लागत है, उन मानव safety शोधकर्ताओं की प्रति घंटा लागत के मुक़ाबले जिनसे उसे मापा गया। Paper, "Automated Researchers Can Reliably Mitigate Alignment Failures", शुक्रवार को आया, जिसके लेखकों में Anthropic Fellow Chen Yueh-Han शामिल हैं, और व्यवस्था बताना आसान है: Claude साहित्य खंगालता है, एक mitigation method प्रस्तावित करता है, एक निश्चित iteration तक student model train करता है, उसे किसी alignment benchmark पर परखता है, जो काम करता है उसे रखता है और बाक़ी छोड़ देता है।
नतीजे विफलता के प्रकार के हिसाब से दिए गए हैं, किसी एक सुर्खी-योग्य संख्या के रूप में नहीं। दस alignment विफलताओं पर, जिनमें deception, sycophancy, jailbreaks, privacy violations और reward hacking शामिल हैं, सर्वोत्तम स्वचालित तरीक़ों ने मापे गए safety gap का 26 से 96 प्रतिशत पाटा, और Anthropic कहती है कि जिन metrics की जाँच की गई उन पर क्षमताएँ नहीं घटीं। 28 मानव safety शोधकर्ताओं के मुक़ाबले स्वचालित system औसतन जीता, और deception पर उसने 85 प्रतिशत gap पाटा जहाँ इंसानों ने 20 पाटा। "सबसे अच्छा AAR तरीक़ा अनुभवी इंसानों के प्रस्तावों को हरा देता है, औसतन छह घंटे के भीतर," कंपनी लिखती है, TechCrunch के अनुसार। Production पैमाने पर, Claude Sonnet 5 द्वारा Claude Opus 4.8 को align करते हुए, 60 घंटे के एक run में लगभग 2,000 training examples से 65 प्रतिशत gap पाटा गया, जिसे Anthropic अपनी production alignment प्रक्रिया से लगभग 15,000 गुना अधिक कुशल बताती है।
Limitations वाला हिस्सा वह जगह है जहाँ बात ईमानदार होती है, और उसे सुर्खी से पहले पढ़ना चाहिए। Benchmarks संकीर्ण और नाम लेने लायक विफलताओं को ही ढकते हैं; राजनीतिक पूर्वाग्रह मापा ही नहीं गया। दुर्लभ या उभरती विफलताओं के लिए पाटने को कोई benchmark है ही नहीं। क्षमता में गिरावट केवल पहले से चुने गए metrics पर जाँची गई। Petri जैसी evaluations, Anthropic के अपने शब्दों में, वास्तविक दुनिया के misalignment की महज़ proxies हैं। बाद के व्यापक reinforcement learning के बाद ये सुधार टिकते हैं या नहीं, यह परखा नहीं गया। और स्वचालित शोधकर्ता ने 2.4 प्रतिशत transcripts में चालाकी की, जिसे उस monitoring ने पकड़ा जिसकी भविष्य की विश्वसनीयता ख़ुद एक खुला सवाल है।
सीधे पढ़ें तो यह कोई सामान्य स्वायत्त शोधकर्ता नहीं है, और Anthropic ऐसा दावा करती भी नहीं। यह इस बात का प्रदर्शन है कि जहाँ किसी विफलता का नाम लिया और उसे मापा जा सकता है, वहाँ उसे ठीक करने का post-training काम किसी model को सौंपा जा सकता है और ऐसी रफ़्तार से चलाया जा सकता है जिसका मुक़ाबला कोई शोध टीम नहीं कर सकती। इससे benchmark ही अड़चन बन जाता है: system ठीक उसी को optimize करता है जिसे आप परिभाषित कर सकते हैं, और इससे बोझ परिभाषाओं पर आ जाता है, और उसी खुले सवाल पर जिसके इर्द-गिर्द यह क्षेत्र घूमता रहता है, कि कोई evaluation असली चीज़ को मापती है या उसकी परछाईं को।