跳到主要內容
Zubnet AI › 學習 › Wiki › TTFT
基礎設施

TTFT

別名:Time to First Token、首 token 時間、首 token 延遲、首字延遲
從向模型發出請求到收到回應的第一個 token 之間的延遲,是衡量 AI 應用程式回應是否靈敏的主要指標。

為什麼重要

對互動式產品來說,TTFT 就是使用者真正感受到的延遲。聊天介面的目標是最多一兩秒。語音代理更嚴格:自然的對話要求語音辨識、LLM 和語音合成的整條鏈路在一秒左右做出回應,留給模型第一個 token 的時間只有幾百毫秒。程式碼自動完成還得更快。

對批次處理任務這類非互動式工作來說,TTFT 幾乎無關緊要,重要的是總吞吐量。弄清你的場景依賴哪個指標,就知道該最佳化什麼,以及該選哪個模型和服務商。

深度解析

首 token 時間(TTFT,time to first token)衡量的是使用者要等多久才能看到內容出現。有了串流,一條 20 秒才寫完的回答,只要頭幾個字在半秒內出現,仍然會讓人覺得快,因為使用者馬上就能開始讀。TTFT 差的話,再快的模型也顯得遲鈍。

TTFT 是描述 LLM 速度的兩個數字之一。另一個是輸出速度,用開始生成之後的每秒 token 數(TPS)來衡量。總回應時間大約等於 TTFT 加上輸出 token 數除以 TPS。

TTFT 由什麼組成

  • 網路:到服務商的一次往返,如果連線沒有重複使用,還要加上建立連線的時間。
  • 排隊:在繁忙的伺服器上等待容量。尖峰時段飆升的就是這一部分。
  • Prefill:模型要先處理完整個提示,才能生成第一個 token。它隨提示長度增長,所以 100,000 token 的提示的 TTFT 明顯高於 1,000 token 的提示。
  • 思考:推理模型會在可見的答案之前先生成隱藏的推理 token。在使用者看來這全是等待時間,可能從幾秒拉長到幾分鐘。

如何降低

  • 使用提示快取。 如果提示中又長又穩定的部分(系統提示、文件、工具定義)放在最前面並被快取,伺服器就能跳過大部分 prefill。Anthropic 表示,長提示的延遲最多可降低 85%。
  • 縮短提示。 檢索更少但更好的塊,並裁掉舊的歷史記錄。
  • 選更小或更快的模型。 小模型的 TTFT 更低,Groq 和 Cerebras 這類專門的推論服務商就是為速度而生的。
  • 降低推理強度, 或者在快速回答就夠用的地方關閉延伸思考。
  • 靠近使用者。 選擇離使用者近的區域,並保持連線不斷開。
  • 花錢買容量。 預置吞吐量和優先層級可以減少排隊。

感知速度

當 TTFT 降不下來時,就要管理好等待。儘早展示進度:一個「正在輸入」的指示、一行「搜尋中……」之類的狀態,或者串流輸出的模型思考摘要。對語音來說,一句簡短的應答可以填補空檔。在代理產品裡,一個完整任務要花幾分鐘,第一個可見的活動跡象比最終答案的第一個 token 更重要。

正確地測量

  • 使用百分位數。 平均值會掩蓋慢的尾部。要追蹤 p50、p95 和 p99,因為最慢的那 5% 請求決定了產品給人的感覺。
  • 從用戶端測量。 服務商的儀表板不包含網路時間,有時也不包含排隊時間。
  • 用你真實的提示測試。 TTFT 取決於輸入長度,所以用短提示做的公開基準測試,對 RAG 應用來說可能差得很遠。
  • 持續觀察。 TTFT 會隨著服務商一天中的負載而變化。

相關指標

token 間延遲(inter-token latency)是相鄰兩個 token 之間的間隔,決定了串流輸出看起來有多流暢。端對端延遲是整個回應完成所需的時間。對工具呼叫和結構化輸出來說,重要的是這個數字,因為在最後一個 token 到達之前,什麼都用不了。

← 所有術語
ESC