外观
AI 调用怎么做日志、Trace 与成本观察?
标准回答
给用户任务建立关联标识,将检索、模型、工具和恢复步骤记录为关联事件或跨度;同时观察质量、时延、Token、费用与失败原因。
关键机制
- 区分排队、检索、输入处理、首次输出、后续生成、工具执行和 UI 展示耗时;只看总耗时无法定位瓶颈。
- 记录模型与提示版本、输入输出大小、结束原因和重试次数;敏感原文按授权和保留策略处理,避免默认完整记录。
- 监控分位数、错误分布和每个成功任务的成本;节省单次调用费用但重试更多,整体未必更便宜。
通俗例子
一次回答耗时 8 秒,其中设备工具等待 6 秒。换更快的文本模型可能只能省一点时间,应该优先优化设备等待与异步反馈。
易混淆点
流式输出让用户更早看到文字,不代表实际任务更早完成;TTFT 与端到端成功时延应分开统计。
参考资料
内容来源
- Android 技术札记 · 原条目
agent-trace