TTFT
यह क्यों मायने रखता है
Interactive products के लिए TTFT ही वह latency है जो users असल में महसूस करते हैं। Chat interfaces ज़्यादा से ज़्यादा एक-दो seconds का लक्ष्य रखते हैं। Voice agents और सख्त हैं: स्वाभाविक बातचीत के लिए speech recognition, LLM और speech synthesis की पूरी pipeline को लगभग एक second में जवाब देना होता है, जिससे model के पहले token के लिए सिर्फ़ कुछ सौ milliseconds बचते हैं। Code completion को इससे भी तेज़ होना पड़ता है।
Batch jobs जैसे non-interactive काम के लिए TTFT लगभग मायने नहीं रखता और कुल throughput ही अहम होता है। यह जानना कि आपका use case किस metric पर निर्भर है, बताता है कि क्या optimize करना है और कौन-सा model और provider चुनना है।
गहन अध्ययन
Time to first token (TTFT) मापता है कि कुछ भी दिखने से पहले user कितनी देर इंतज़ार करता है। Streaming के साथ, 20 seconds में पूरा होने वाला response भी तेज़ लग सकता है अगर पहले शब्द आधे second में दिख जाएँ, क्योंकि user तुरंत पढ़ना शुरू कर देता है। खराब TTFT के साथ तेज़ model भी सुस्त लगता है।
TTFT उन दो संख्याओं में से एक है जो LLM की speed बताती हैं। दूसरी है output speed, जो generation शुरू होने के बाद tokens per second (TPS) में मापी जाती है। कुल response time मोटे तौर पर TTFT और output tokens की संख्या को TPS से भाग देने पर मिले समय का जोड़ है।
TTFT किन चीज़ों से बनता है
- Network: provider तक का round trip, और अगर connection दोबारा इस्तेमाल नहीं हो रहा तो connection setup भी।
- Queueing: व्यस्त server पर capacity का इंतज़ार। यही हिस्सा peak hours में उछलता है।
- Prefill: पहला token बनाने से पहले model पूरा prompt process करता है। यह prompt की लंबाई के साथ बढ़ता है, इसलिए 1 लाख tokens वाले prompt का TTFT 1,000 tokens वाले prompt से साफ़ तौर पर ज़्यादा होता है।
- Thinking: reasoning models दिखने वाले जवाब से पहले छिपे हुए reasoning tokens बनाते हैं। User के नज़रिए से यह सब इंतज़ार का समय है, और यह seconds से लेकर minutes तक खिंच सकता है।
इसे कैसे घटाएँ
- Prompt caching इस्तेमाल कीजिए। अगर आपके prompt का लंबा, स्थिर हिस्सा (system prompt, documents, tool definitions) सबसे पहले आता है और cached है, तो server ज़्यादातर prefill छोड़ देता है। Anthropic के मुताबिक लंबे prompts के लिए latency 85% तक घट सकती है।
- Prompt छोटा कीजिए। कम लेकिन बेहतर chunks retrieve कीजिए और पुरानी history काटिए।
- छोटा या तेज़ model चुनिए। छोटे models का TTFT कम होता है, और Groq व Cerebras जैसे specialized inference providers speed के लिए ही बने हैं।
- Reasoning effort घटाइए, या जहाँ जल्दी जवाब काफ़ी हो वहाँ extended thinking बंद कर दीजिए।
- पास रहिए। अपने users के नज़दीक का region चुनिए और connections को चालू रखिए।
- Capacity के लिए पैसे दीजिए। Provisioned throughput और priority tiers queueing घटाते हैं।
महसूस होने वाली Speed
जब TTFT घटाया नहीं जा सकता, तो इंतज़ार को संभालिए। जितनी जल्दी हो सके progress दिखाइए: typing indicator, "Searching…" जैसी status line या model की thinking का streamed सार। Voice के लिए एक छोटा-सा acknowledgment इस खाली जगह को भर सकता है। Agent products में, जहाँ पूरा task minutes लेता है, गतिविधि का पहला दिखने वाला संकेत आखिरी जवाब के पहले token से ज़्यादा मायने रखता है।
इसे सही तरह से मापना
- Percentiles इस्तेमाल कीजिए। Average धीमी tail को छिपा देता है। p50, p95 और p99 track कीजिए, क्योंकि सबसे धीमे 5% requests ही तय करते हैं कि product कैसा महसूस होता है।
- Client से मापिए। Provider dashboards network time को और कभी-कभी queueing को भी शामिल नहीं करते।
- अपने असली prompts से test कीजिए। TTFT input की लंबाई पर निर्भर करता है, इसलिए छोटे prompts वाले public benchmarks किसी RAG app के लिए बहुत दूर हो सकते हैं।
- समय के साथ नज़र रखिए। TTFT दिन भर में provider के load के साथ बदलता है।
संबंधित Metrics
Inter-token latency लगातार दो tokens के बीच का अंतर है, जो तय करता है कि stream कितना smooth दिखता है। End-to-end latency पूरा response खत्म होने तक का समय है। Tool calls और structured output के लिए यही संख्या मायने रखती है, जहाँ आखिरी token आने तक कुछ भी इस्तेमाल लायक नहीं होता।