Zubnet AI学习Wiki › 流式传输
使用AI

流式传输

别名:Server-Sent Events、SSE

在生成过程中逐token发送输出,通过HTTP上的SSE(服务器发送事件)实现。这就是为什么文字在聊天界面中逐词出现。

为什么重要

10秒钟看着文字逐渐生成感觉还好;10秒钟面对空白屏幕则感觉系统已经崩溃。流式传输还允许用户提前中断。

深度解析

通过设置 stream: true 参数启用。TTFT(首token延迟)是关键指标。流式传输影响架构设计:你无法在展示之前对完整回复进行后处理。

相关概念

← 所有术语
← 流匹配 测试时计算 →