HTTP पर SSE के माध्यम से उत्पन्न होते ही आउटपुट टोकन-दर-टोकन भेजना। यही कारण है कि चैट इंटरफ़ेस में टेक्स्ट शब्द-दर-शब्द प्रकट होता है।
यह क्यों मायने रखता है
बनते हुए टेक्स्ट के 10 सेकंड ठीक लगते हैं; खाली स्क्रीन के 10 सेकंड टूटा हुआ लगता है। साथ ही उपयोगकर्ताओं को जल्दी रोकने की सुविधा भी देता है।
गहन अध्ययन
stream: true पैरामीटर। TTFT (Time to First Token — पहले टोकन तक का समय) प्रमुख मेट्रिक है। स्ट्रीमिंग architecture को प्रभावित करती है: पूरी प्रतिक्रिया दिखाने से पहले उसे post-process नहीं किया जा सकता।