Streaming(流式输出) 核心概念
别名:
流式 · 流式输出
模型边生成边把结果推给客户端,而非等全文完成一次性返回。把「总延迟」转化为「渐进可见的进度」,也是工具调用中间态、审批交互等 Agent 体验的基础。
它是什么
Streaming(流式输出)指模型在生成过程中边生成边交付,而不是等整段文本生成完毕后再一次性返回。对用户侧,它把「等 30 秒拿全文」变成「边生成边显示」的打字机效果——首个字符在 1 秒内出现,显著改善「卡不卡」的第一印象(见 TTFB)。对开发者侧,它是 Agent 一切「中间态」体验的前提:工具调用进度、多步推理的思考过程、审批请求,都要靠流式把「我还活着、正在干活」实时广播给用户。
与一次性响应的关系
流式只是传输方式变了,语义没变:所有增量(delta)累积起来,与普通响应的 choices[0].message.content 完全等价。也就是说,同一个请求开不开 stream: true,最终文本一样,只是到达方式不同。
在本教程的位置
第 03 章手写流式客户端(SSE 解析、半行 buffering、delta 累积);第 15 章把它用于服务端事件协议;第 17 章在前端做增量渲染与中间态展示。整条链路串起来,就是一台「能用的 Agent」和「好用的 Agent」的分水岭。
小结
一句话:流式把「总延迟」转化为「渐进可见的进度」,把「等待焦虑」转化为「进展反馈」。对 Agent 产品,它不是锦上添花,而是工具调用与审批交互等能力的必要地基。