Agent 的推理延迟如何优化与评估？

标准回答

先分开测首个有效响应时间、完整任务耗时及 P50/P95，并用 trace 区分排队、模型、检索和工具耗时。针对主要瓶颈减少模型轮次/上下文、缓存可复用结果、并行独立工具、选择合适模型并设置预算；流式输出能改善首响体验，不会自动缩短整个任务。

模型 2 秒、工具 8 秒，换更快模型只能省一部分；可以优化工具、并行独立查询或缓存允许复用的结果。

**用户等待包含哪些阶段：**请求排队、准备上下文、模型生成、工具执行和结果回传都可能占时间。首段输出耗时与完整任务耗时分别反映不同体验。

**优化要对准瓶颈：**若慢在外部查询，缩短提示词改善有限；若独立查询串行执行，可评估并行。先用时间线确定最慢路径，再验证质量没有因缩短步骤而下降。

流式输出改善首字体验，不一定缩短任务完成时间；并行也受依赖与限流约束。