Skip to content
阅读进度

AI 调用怎么做日志、Trace 与成本观察? ​

返回 Agent 工程 目录

标准回答 ​

给用户任务建立关联标识,将检索、模型、工具和恢复步骤记录为关联事件或跨度;同时观察质量、时延、Token、费用与失败原因。

关键机制 ​

  • 区分排队、检索、输入处理、首次输出、后续生成、工具执行和 UI 展示耗时;只看总耗时无法定位瓶颈。
  • 记录模型与提示版本、输入输出大小、结束原因和重试次数;敏感原文按授权和保留策略处理,避免默认完整记录。
  • 监控分位数、错误分布和每个成功任务的成本;节省单次调用费用但重试更多,整体未必更便宜。

通俗例子 ​

一次回答耗时 8 秒,其中设备工具等待 6 秒。换更快的文本模型可能只能省一点时间,应该优先优化设备等待与异步反馈。

易混淆点 ​

流式输出让用户更早看到文字,不代表实际任务更早完成;TTFT 与端到端成功时延应分开统计。

参考资料 ​

内容来源 ​

用完整回答理解机制,用真实证据解释项目。