Skip to content
阅读进度

如何优化 Function Calling 的延迟(Latency)? ​

返回 Agent 工程 目录

标准回答 ​

优化工具调用延迟要减少真正卡在路径上的工作,而不是仅让文字更早显示。

通俗例子 ​

两个无依赖查询可并行,固定结果可按权限缓存,工具说明只加载相关部分;写操作有依赖时不能为了快而乱并行。

内容来源 ​

用完整回答理解机制,用真实证据解释项目。