跳到主要内容
Zubnet AI › 学习 › Wiki › TTFT
基础设施

TTFT

别名:Time to First Token、首 token 时间、首 token 延迟、首字延迟
从向模型发出请求到收到响应的第一个 token 之间的延迟,是衡量 AI 应用响应是否灵敏的主要指标。

为什么重要

对交互式产品来说,TTFT 就是用户真正感受到的延迟。聊天界面的目标是最多一两秒。语音智能体更严格:自然的对话要求语音识别、LLM 和语音合成的整条链路在一秒左右做出回应,留给模型第一个 token 的时间只有几百毫秒。代码补全还得更快。

对批处理任务这类非交互式工作来说,TTFT 几乎无关紧要,重要的是总吞吐量。弄清你的场景依赖哪个指标,就知道该优化什么,以及该选哪个模型和服务商。

深度解析

首 token 时间(TTFT,time to first token)衡量的是用户要等多久才能看到内容出现。有了流式传输,一条 20 秒才写完的回答,只要头几个字在半秒内出现,仍然会让人觉得快,因为用户马上就能开始读。TTFT 差的话,再快的模型也显得迟钝。

TTFT 是描述 LLM 速度的两个数字之一。另一个是输出速度,用开始生成之后的每秒 token 数(TPS)来衡量。总响应时间大约等于 TTFT 加上输出 token 数除以 TPS。

TTFT 由什么组成

  • 网络:到服务商的一次往返,如果连接没有复用,还要加上建立连接的时间。
  • 排队:在繁忙的服务器上等待容量。高峰时段飙升的就是这一部分。
  • Prefill:模型要先处理完整个提示,才能生成第一个 token。它随提示长度增长,所以 100,000 token 的提示的 TTFT 明显高于 1,000 token 的提示。
  • 思考:推理模型会在可见的答案之前先生成隐藏的推理 token。在用户看来这全是等待时间,可能从几秒拉长到几分钟。

如何降低

  • 使用提示缓存。 如果提示中又长又稳定的部分(系统提示、文档、工具定义)放在最前面并被缓存,服务器就能跳过大部分 prefill。Anthropic 表示,长提示的延迟最多可降低 85%。
  • 缩短提示。 检索更少但更好的块,并裁掉旧的历史记录。
  • 选更小或更快的模型。 小模型的 TTFT 更低,Groq 和 Cerebras 这类专门的推理服务商就是为速度而生的。
  • 降低推理强度, 或者在快速回答就够用的地方关闭扩展思考。
  • 靠近用户。 选择离用户近的区域,并保持连接不断开。
  • 花钱买容量。 预置吞吐量和优先级档位可以减少排队。

感知速度

当 TTFT 降不下来时,就要管理好等待。尽早展示进度:一个“正在输入”的指示、一行“搜索中……”之类的状态,或者流式输出的模型思考摘要。对语音来说,一句简短的应答可以填补空档。在智能体产品里,一个完整任务要花几分钟,第一个可见的活动迹象比最终答案的第一个 token 更重要。

正确地测量

  • 使用百分位数。 平均值会掩盖慢的尾部。要追踪 p50、p95 和 p99,因为最慢的那 5% 请求决定了产品给人的感觉。
  • 从客户端测量。 服务商的仪表盘不包含网络时间,有时也不包含排队时间。
  • 用你真实的提示测试。 TTFT 取决于输入长度,所以用短提示做的公开基准测试,对 RAG 应用来说可能差得很远。
  • 持续观察。 TTFT 会随着服务商一天中的负载而变化。

相关指标

token 间延迟(inter-token latency)是相邻两个 token 之间的间隔,决定了流式输出看起来有多流畅。端到端延迟是整个响应完成所需的时间。对工具调用和结构化输出来说,重要的是这个数字,因为在最后一个 token 到达之前,什么都用不了。

← 所有术语
ESC