तापमान

यह क्यों मायने रखता है

गहन अध्ययन

तापमान को समझने के लिए, आपको एक मॉडल द्वारा एक टोकन आउटपुट करने से ठीक पहले क्या होता है, इसके बारे में जानना आवश्यक है। मॉडल एक रूढ़ स्कोर के वेक्टर (जिसे लॉगिट्स कहा जाता है) उत्पन्न करता है — अपने वोकेबुलरी में प्रत्येक टोकन के लिए एक स्कोर, जो 32,000 से 128,000 एंट्री तक हो सकता है। फिर इन लॉगिट्स को तापमान मान द्वारा विभाजित किया जाता है और एक सॉफ्टमैक्स फ़ंक्शन के माध्यम से प्रसारित किया जाता है, जो इन्हें एक प्रायिकता वितरण में परिवर्तित करता है। जब तापमान 1.0 होता है, तो सॉफ्टमैक्स अपने रूढ़ लॉगिट्स के रूप में कार्य करता है। जब तापमान 0.5 होता है, तो लॉगिट्स सॉफ्टमैक्स से पहले प्रभावी रूप से दोगुना हो जाते हैं, जो प्रायिकता वितरण को तीखा बनाता है — सबसे संभावित टोकन को प्रायिकता का एक बड़ा हिस्सा मिलता है। जब तापमान 2.0 होता है, तो लॉगिट्स आधा हो जाते हैं, जो वितरण को फैला देता है और कम संभावित टोकन के चयन के लिए बेहतर अवसर प्रदान करता है।

शून्य सेटिंग

तापमान 0 एक विशेष मामला है जिसे अधिकांश API प्रदाता लॉबी डिकोडिंग के रूप में कार्यान्वित करते हैं — हमेशा एकल सबसे उच्च प्रायिकता वाले टोकन को चुनें, कोई नमूना नहीं। यह आउटपुट को निर्धारित (या लगभग ऐसा) बनाता है; कुछ प्रदाता छोटे फ्लोटिंग-पॉइंट शोर जोड़ते हैं। यह तब उपयुक्त चुनाव होता है जब आप पुनरावृत्ति योग्य परिणाम चाहते हैं: संरचित डेटा के अक्षर निकालना, वर्गीकरण कार्य, तथ्यात्मक प्रश्न और उत्तर, या किसी भी ऐसी चीज में जहां "नवाचार" एक दोष है। एक सामान्य उत्पादन पैटर्न यह होता है कि सभी स्वचालित पाइपलाइन में तापमान 0 का उपयोग करें और उपयोगकर्ता-सुविधा वाले नवाचारी विशेषताओं के लिए उच्च तापमान आरक्षित करें।

तापमान एक अन्य नमूना पैरामीटर, जिसे टॉप-प (न्यूक्लियस नमूना) कहा जाता है, के साथ ऐसे तरीके से बदलता है जो लोगों को भ्रमित करता है। टॉप-प टोकन चयन को उस छोटे समूह तक सीमित करता है जिसकी संचयी प्रायिकता अंतर के ऊपर होती है। टॉप-प 0.9 पर तापमान 0.7 रखना टॉप-प 0.7 पर तापमान 1.0 से अलग होता है, यद्यपि दोनों "मध्यम यादृच्छिकता" के लिए उद्देश्य रखते हैं। अधिकांश अभ्यासकर्ता एक या दूसरे के संशोधन को सिफारिश करते हैं, दोनों के साथ एक साथ संशोधन नहीं, क्योंकि इसके बीच बातचीत कठिन होती है। एंथ्रोपिक के API के डिफ़ॉल्ट टॉप-प 1.0 के साथ तापमान 1.0 होता है क्लॉउड। ओपनएआई के गीटी मॉडल के लिए डिफ़ॉल्ट तापमान 1.0 होता है टॉप-प 1.0 के साथ। यदि आप दोनों को एक साथ समायोजित कर रहे हैं, तो आप संभवतः चीजों को अत्यधिक जटिल बना रहे हैं।

सही बिंदु

सही तापमान कार्य पर निर्भर करता है, और "0.7 सबके लिए अच्छा है" की सलाह एक अतिसरलीकरण है। कोड उत्पादन के लिए, अधिकांश विकासकर्ता पाएं कि 0–0.3 सबसे विश्वसनीय परिणाम उत्पन्न करता है। संवादात्मक सहायकों के लिए, 0.5–0.8 प्राकृतिक ध्वनि वाली विविधता प्रदान करता है बिना रेल्स से बाहर जाए। नवाचारी लेखन, विचारों के लिए, या विविध विकल्प उत्पन्न

संबंधित अवधारणाएँ