Agent 的自动化回归测试如何构建？

返回 构建与质量门禁 目录

标准回答

建立固定且有验收标准的任务集，保存输入、依赖数据版本和期望业务结果；每次改模型、提示词或工具后重跑，对比成功率、错误动作、耗时与成本。用可控工具替身复现失败，再用少量真实集成用例验证契约，并覆盖超时、重试、取消和权限边界。

通俗例子

上次修复了“退款超时重复执行”，下次换模型或提示词时仍要跑这条案例，不能只测普通问答。

深入解释

**回归测试想发现什么：**同样的样例在模型、提示、工具或代码更新后，是否出现原本能完成现在不能完成的问题。要保存输入、预期行为以及可核验结果。

**怎样处理模型的波动：**按任务类型设置明确判据，必要时重复运行观察成功率；工具格式、授权范围等硬条件直接检查，开放式文字质量再用合适的人工或辅助评估。

易混淆点

只保存最终答案文本会丢失工具状态和副作用信息；评估要包含完整任务结果。

内容来源

• Android · AI Agent 知识手册 · 原条目 ai-Q155