मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Interpretability
सुरक्षा

Interpretability

इसे भी कहा जाता है: Explainability, Explainable AI
यह समझने की कोशिश कि AI model जो outputs देता है वे क्यों देता है, उसके फ़ैसलों को समझाकर या उसके अंदरूनी कामकाज को परखकर।

यह क्यों मायने रखता है

लोगों को AI systems पर भरोसा करना, उन्हें debug करना और उन्हें govern करना होता है। AI की मदद से बनी diagnosis की समीक्षा करता डॉक्टर, regulator को credit का फ़ैसला समझाता bank या यह पता लगाता engineer कि model कुछ inputs पर क्यों चूकता है, सबको model की reasoning का कोई ब्योरा चाहिए। कानून भी यह ज़्यादा माँगने लगे हैं: EU AI Act high-risk systems के लिए transparency की शर्तें रखता है, और finance व healthcare के कई नियम पहले से automated फ़ैसलों की व्याख्या माँगते हैं।

AI safety के लिए interpretability को उन गिने-चुने तरीकों में गिना जाता है जिनसे जाँचा जा सके कि model असल में क्या कर रहा है, सिर्फ़ यह नहीं कि वह क्या कहता है। अगर कोई model अपने testers को धोखा दे सकता हो, तो सिर्फ़ उसके outputs देखना काफ़ी नहीं होगा।

गहन अध्ययन

Modern neural networks को अक्सर black boxes कहा जाता है। हम उनके inputs और outputs जानते हैं और उनकी अरबों संख्याओं में से हर एक को देख सकते हैं, लेकिन आसानी से नहीं बता सकते कि model ने कोई खास जवाब क्यों दिया। Interpretability उन विधियों का व्यापक नाम है जो इस box को खोलने की कोशिश करती हैं।

इसमें दो बड़ी परंपराएँ आती हैं। Explainability (जिसे अक्सर XAI कहते हैं) अलग-अलग फ़ैसलों को इंसानी भाषा में समझाने पर ध्यान देती है, जैसे loan ठुकराए जाने में कौन-से features सबसे ज़्यादा मायने रखते थे। Mechanistic interpretability, जिसकी अपनी अलग entry है, उन अंदरूनी algorithms को reverse-engineer करने की कोशिश करती है जो model ने सीखे हैं।

फ़ैसलों को समझाना

Classic explainability विधियाँ बाहर से काम करती हैं:

  • Feature attribution: SHAP और LIME जैसी विधियाँ अंदाज़ा लगाती हैं कि हर input feature ने prediction में कितना योगदान दिया।
  • Saliency maps: दिखाते हैं कि image के किन pixels ने classifier पर सबसे ज़्यादा असर डाला।
  • Counterfactuals: "अगर आय 10% ज़्यादा होती तो loan मंज़ूर हो जाता।"
  • Interpretable-by-design models: decision trees और linear models, जिनका logic सीधे पढ़ा जा सकता है। High-stakes स्थितियों में कभी-कभी accuracy की कुछ कीमत पर भी इन्हें पसंद किया जाता है।

अंदर देखना

Neural networks, और खासकर LLMs, की विधियाँ internal activations को देखती हैं:

  • Probing: model की hidden states पर एक सरल classifier train करके जाँचना कि वह कोई concept दर्शाता है या नहीं, जैसे सच्चाई या किसी sentence का sentiment।
  • Sparse autoencoders: activations को लाखों interpretable "features" में तोड़ते हैं। Claude पर Anthropic के 2024 के काम में Golden Gate Bridge से लेकर code bugs तक के concepts के features मिले, और दिखा कि किसी feature को बढ़ाने से model का व्यवहार बदल जाता है।
  • Circuit tracing: यह नक्शा बनाना कि features layers के आर-पार कैसे जुड़कर जवाब बनाते हैं, जैसे यह दिखाना कि model पंक्ति लिखने से पहले तुक की योजना बना लेता है।
  • Steering: व्यवहार बदलने के लिए activation space में दिशाएँ जोड़ना या हटाना, जो समझ को परखता भी है और control का एक tool भी देता है।

Model की reasoning पढ़ना

Reasoning models जवाब देने से पहले chain of thought बनाते हैं। उसे पढ़ना उनकी प्रक्रिया में झाँकने की एक उपयोगी, भले ही आंशिक, खिड़की है। लेकिन research दिखाती है कि chain of thought हमेशा faithful नहीं होती: models कभी-कभी ऐसे कारण देते हैं जो उस चीज़ से मेल नहीं खाते जिसने असल में उनका जवाब तय किया। इसे सबूत मानिए, प्रमाण नहीं।

सीमाएँ

व्याख्याएँ ज़रूरत से ज़्यादा सरल कर दी जाएँ तो गुमराह कर सकती हैं, और attribution विधियाँ कभी-कभी आपस में असहमत होती हैं। अंदरूनी विधियों ने तेज़ी से तरक्की की है, लेकिन वे अब भी बड़े models की गणना का एक छोटा हिस्सा ही समझा पाती हैं। Interpretability एक बढ़ता हुआ toolkit है, अभी पूरी समझ नहीं।

← सभी शब्द
ESC