Zubnet AI學習Wiki › Streaming
使用AI

Streaming(串流)

別名:伺服器推送事件、SSE

在生成時逐詞元發送輸出,透過 HTTP 上的 SSE(Server-Sent Events)。這就是為什麼文字在聊天介面中是逐字出現的。

為什麼重要

10 秒的逐漸顯示文字感覺正常;10 秒的空白畫面感覺壞掉了。串流也讓使用者可以提早中斷。

深度解析

stream: true 參數。TTFT(首詞元時間,Time to First Token)是關鍵指標。串流影響架構設計:無法在顯示之前對完整回應進行後處理。

相關概念

← 所有術語