Google Research के वैज्ञानिक Flip Korn और Chris Welty ने एक ऐसा फ्रेमवर्क विकसित किया है, जो AI बेंचमार्क बनाने के तरीके में एक बुनियादी खामी उजागर करता है: ज़्यादातर बेंचमार्क प्रति मूल्यांकन आइटम बहुत कम इंसानी रेटर्स इस्तेमाल करते हैं। "(N,K) trade-off" पर उनकी रिसर्च, यानी आइटम की संख्या बनाम प्रति आइटम रेटर्स के बीच संतुलन, से पता चला कि इंडस्ट्री का 1 से 5 रेटर्स वाला मानक अक्सर स्वाभाविक इंसानी असहमति को पकड़ने में नाकाम रहता है, जिससे बेंचमार्क उतने पुनरुत्पादनीय नहीं रह जाते, जितना शोधकर्ता मान लेते हैं।
यह इसलिए मायने रखता है क्योंकि AI मूल्यांकन ऐतिहासिक रूप से गहराई की जगह विस्तार को तरजीह देता रहा है, यानी अलग-अलग आइटम को रेट करने के लिए बहुत सारे लोगों से पूछना, न कि एक ही आइटम को कई लोगों से रेट करवाना। यह समस्या toxicity detection जैसे व्यक्तिपरक कामों में और गंभीर हो जाती है, जहां इंसानी नज़रिया स्वाभाविक रूप से अलग-अलग होता है। जब बेंचमार्क बहुमत वोटिंग को डिफ़ॉल्ट मानकर इस असहमति को नज़रअंदाज़ करते हैं, तो वे एक झूठी ग्राउंड ट्रुथ बना देते हैं, जो असली दुनिया की जटिलता को नहीं दिखाती। दो toxicity मिसालों का बहुमत स्कोर एक जैसा हो सकता है, लेकिन रेटर्स के बीच भरोसे का स्तर बेहद अलग हो सकता है।
हैरानी की बात यह है कि पुनरुत्पादकता पर इसके असर के बावजूद, यानी अलग-अलग टीमों का एक जैसा मूल्यांकन चलाकर एक जैसे नतीजे पाने की क्षमता, इस मुद्दे पर बहुत कम रिसर्च हुई है। शोधकर्ताओं ने असली toxicity और hate speech डेटासेट पर आधारित एक सिम्युलेटर बनाया, ताकि अलग-अलग रेटिंग कॉन्फ़िगरेशन को कसकर परखा जा सके, और इसे वे ज़्यादा भरोसेमंद बेंचमार्क के लिए एक "रोडमैप" कहते हैं।
AI सिस्टम बना रहे डेवलपर्स के लिए यह रिसर्च सुझाव देती है कि आपको उन बेंचमार्क को लेकर संशय रखना चाहिए, जो inter-rater agreement नहीं बताते या न्यूनतम इंसानी सत्यापन इस्तेमाल करते हैं। व्यक्तिपरक कामों पर मॉडल्स का मूल्यांकन करते समय, सिर्फ मुख्य आंकड़ों को नहीं, बल्कि बेंचमार्क स्कोर के इर्द-गिर्द के confidence intervals को भी ध्यान में रखिए। annotation बजट और भरोसेमंदी के बीच की अदला-बदली सिर्फ एक अकादमिक चिंता नहीं है, यह सीधे इस बात पर असर डालती है कि प्रोडक्शन में आपकी मॉडल तुलनाओं का कोई मतलब है भी या नहीं।