Anthropic द्वारा Claude Fable 5 को उस safety design के साथ shipping के एक दिन बाद, जिसे हमने इसकी सबसे सुंदर feature के रूप में cover किया था, सुरक्षा शोधकर्ता उस सीवन की ओर इशारा कर रहे हैं। design है graceful capability degradation: एक संवेदनशील अनुरोध को मना करने के बजाय, offensive cyber, bio-chem और model distillation के classifiers session को कमजोर Claude Opus 4.8 तक route कर देते हैं। अब शिकायत यह नहीं है कि guardrails बहुत कमजोर हैं। यह है कि cyber classifier बहुत उतावला है, सामान्य defensive सुरक्षा काम पर fire करता है और चुपचाप उन लोगों को downgrade कर देता है जिनका काम बचाव करना है।
उदाहरण विशिष्ट हैं। IBM X-Force की सुरक्षा शोधकर्ता Valentina "Chompie" Palmiotti कहती हैं कि Fable "किसी भी ऐसे अनुरोध को मना कर देता है जो थोड़ा-सा भी cyber से जुड़ा हो सके। एक blog post पढ़ने जैसे मासूम कामों को भी।" AI cybersecurity startup Tolmo के Matt Suiche कहते हैं कि "अगर आप इसे secure code लिखने को कहें, तो यह इसे software engineering best practices के बजाय cybersecurity-संबंधित काम मान लेता है," और कि एक code review मांगना तक filter को छेड़ देता है। तंत्र पर Suiche का निदान सबसे तीखा हिस्सा है: "यह keyword-based लगता है, तो 'cybersecurity' के शब्द-क्षेत्र की कोई भी चीज guardrails को trigger करती है।" जब filter fire होता है, Fable रुककर कहता है कि safety measures ने message को cybersecurity या biology विषयों के लिए flag किया, फिर Opus 4.8 तक degrade कर देता है। Anthropic ने TechCrunch के comment अनुरोध का तुरंत जवाब नहीं दिया।
यह routing design की false-positive लागत है, और यह ठीक उसी समूह पर उतरती है जिसे safety case आंशिक रूप से सशक्त करने का इरादा रखता है। कल का framing था कि graceful degradation मना करने से ज्यादा मानवीय है, आपको फिर भी जवाब मिलता है, बस एक ज्यादा रूढ़िवादी model से। यह घर्षण पेच दिखाता है: downgrade चुप और विषय-लक्षित है, तो एक defender जो सबसे कठिन सुरक्षा सवाल पूछता है, वही सबसे ज्यादा संभावना रखता है कि उसी विषय पर कमजोर model से जवाब मिले जहां उसे मजबूत वाला चाहिए था। "Secure code" और "attack code" एक ही शब्द-क्षेत्र में बैठते हैं, और एक keyword-आकार वाला classifier blue team को red से अलग नहीं कर सकता।
यह आज सुबह के NIST परिणाम को दूसरी ओर से भी धार देता है। उस proof ने कहा कि guardrails का कोई finite set अटूट नहीं है, जो classifiers को आक्रामक रूप से tune करने की ओर धकेलता है। पर आक्रामक tuning में एक सममित विफलता है: over-blocking और under-blocking एक ही dial हैं जो अलग दिशाओं में घुमाया गया है, और जो वैध traffic आप गलती से रोकते हैं वह उतनी ही असली लागत है जितना वह दुर्भावनापूर्ण traffic जिसे आप गलती से जाने देते हैं। Suiche मानते हैं कि इरादा अच्छा है और उम्मीद करते हैं कि जैसे-जैसे Anthropic cybersecurity firms के साथ काम करेगा, guardrails "समय के साथ विकसित" होंगे। इस बीच, frontier models पर defensive काम करने वाले builders के लिए ठोस नोट कम आश्वस्त करने वाला है: सबसे मजबूत tier चुपचाप शायद वह न हो जो आपके सुरक्षा सवालों का जवाब दे रहा है, और चूंकि degradation design से चुप है, जब तक आप flag पर नजर न रखें, ऐसा होने पर आपको नहीं बताया जाएगा।