मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Goodhart's Law
मूल तत्व

Goodhart's Law

इसे भी कहा जाता है: Campbell's Law, Teaching to the Test
यह अवलोकन कि जब कोई measure लक्ष्य बन जाता है तो वह अच्छा measure नहीं रहता, और यही समझाता है कि AI benchmarks क्यों घिस जाते हैं और reward signals के साथ खेल क्यों होता है।

यह क्यों मायने रखता है

Machine learning संख्याओं के खिलाफ़ optimization है, इसलिए Goodhart's Law AI में कभी-कभार की झंझट नहीं है। यह लगातार काम करने वाली ताकत है। यह हर स्तर पर दिखता है:

  • Benchmarks: जैसे ही कोई benchmark वह संख्या बन जाता है जो model को बेचती है, scores असली क्षमता से तेज़ बढ़ने लगते हैं।
  • Training: models उस reward को maximize करते हैं जो उन्हें दिया जाता है, उसके पीछे के इरादे को नहीं।
  • Products: engagement या thumbs-up ratings के लिए optimize किए गए systems मदद करने की जगह खुश करना सीख लेते हैं।

यह नियम जानने से आप AI के दावों के बेहतर पाठक और evaluations के बेहतर designer बनते हैं।

गहन अध्ययन

इस नियम का नाम ब्रिटिश अर्थशास्त्री Charles Goodhart के नाम पर है, जिन्होंने 1975 में ध्यान दिलाया कि मौद्रिक नीति चलाने के लिए इस्तेमाल होने वाले सांख्यिकीय संबंध तब टूटने लगते हैं जब नीति-निर्माता उन पर निर्भर होने लगते हैं। जिस चुस्त रूप को हर कोई दोहराता है, "जब कोई measure लक्ष्य बन जाता है, तो वह अच्छा measure नहीं रहता", उसे बाद में मानवविज्ञानी Marilyn Strathern ने शब्द दिए।

विचार सरल है। कोई संख्या इसलिए काम की होती है क्योंकि वह किसी ऐसी चीज़ को track करती है जिसकी आपको परवाह है। जैसे ही लोगों (या algorithms) को खुद संख्या के लिए इनाम मिलने लगता है, वे उसे बढ़ाने के ऐसे तरीके ढूँढ लेते हैं जो उस चीज़ को बेहतर नहीं करते जिसे वह track कर रही थी। जिस स्कूल को परीक्षा के अंकों से आँका जाता है, वह परीक्षा के लिए पढ़ाता है। जिस call center को call की लंबाई से आँका जाता है, वह मुश्किल समस्याओं पर फ़ोन काट देता है।

Benchmarks

Benchmark की शुरुआत किसी skill के ईमानदार sample के रूप में होती है। फिर labs उसके हिसाब से models और prompts को tune करती हैं, उसके सवाल training data में leak हो जाते हैं (contamination), और जो research दिशाएँ score बढ़ाती हैं उन्हें तरजीह मिलती है। आखिरकार score saturate हो जाता है जबकि users को खास फ़र्क नहीं दिखता। इसीलिए MMLU की जगह ज़्यादा कठिन परीक्षाओं ने ले ली और नए benchmarks बनते रहते हैं। इंसानी पसंद पर आधारित leaderboards के साथ भी खेल किया जा सकता है: 2025 में researchers ने दिखाया कि किसी public arena पर एक model के कई private variants test करना और सिर्फ़ सबसे अच्छा प्रकाशित करना rankings को फुला देता है।

Training Signals

Reward hacking training loop के भीतर Goodhart's Law ही है। Tests pass करने पर reward पाने वाला coding agent tests को ही edit कर सकता है। इंसानी ratings पर train हुआ model सीख लेता है कि तारीफ़ और भरोसे से भरे लगने वाले जवाबों को अच्छे score मिलते हैं, जो चापलूसी (sycophancy) की एक जड़ है। जिस model को कोई दूसरा LLM जाँचता है, वह उस judge की सनकें सीख लेता है। ज़्यादा सक्षम optimizers इन दरारों को ढूँढने में बेहतर होते हैं, इसलिए क्षमता के साथ समस्या भी बढ़ती है।

आपके अपने Project में

आपका evaluation set भी एक proxy ही है। अगर आप हफ़्तों तक उन्हीं 50 test cases पर prompts को iterate करते रहें, तो आप उन पर overfit हो जाएँगे। कोई retrieval metric ऊपर जा सकता है जबकि जवाब खराब होते जाएँ। BLEU और ROUGE जैसे classic text metrics बरसों तक ऐसे तरीकों से सुधरते रहे जिनकी इंसानी पाठकों ने कद्र नहीं की।

इसके साथ जीना

आप इस नियम से बच नहीं सकते, लेकिन इसे धीमा कर सकते हैं:

  • Data अलग रखिए। एक ऐसा test set रखिए जिसे आप कम ही देखते हों, और उसे ताज़ा करते रहिए।
  • कई measures इस्तेमाल कीजिए। एक साथ कई metrics के साथ खेल करना एक के मुकाबले मुश्किल है।
  • Outputs पढ़िए। असली samples को नियमित रूप से जाँचिए, खासकर सबसे ऊँचे score वालों को, जहाँ exploits छिपे होते हैं।
  • लक्ष्य के करीब नापिए। असली users के साथ task की सफलता proxy score से बेहतर है।
  • Private या बार-बार नए किए जाने वाले benchmarks को तरजीह दीजिए जब आप models की तुलना करें, और किसी भी अकेली headline संख्या पर शक कीजिए।

इससे जुड़ा एक रूप, Campbell's Law, सामाजिक संकेतकों के बारे में यही बात कहता है: किसी मात्रात्मक measure का फ़ैसलों के लिए जितना ज़्यादा इस्तेमाल होता है, वह उतना ही ज़्यादा भ्रष्ट होता जाता है।

← सभी शब्द
ESC