如何设计 Agent 的评测指标体系？

返回 工程项目复盘 目录

标准回答

项目评测要围绕真实任务建立标准，再拆出检索、工具和生成的错误来源。

通俗例子

100 条售后任务中有多少真正解决、多少需要人工、平均花多少时间和费用；错误再分为查错资料、选错工具或读错结果。

深入解释

**指标要和任务对应：**问答任务看依据与正确性，执行任务看最终状态、越权和重复动作；都可再看耗时、成本和恢复情况，不能用一个统一分数掩盖严重失败。

**评测怎样有说服力：**选真实场景及边界样例，定义可核验的成功条件，对相同样例比较修改前后。区分模型回答、工具动作和设备最终结果，才能知道改善在哪一层。

内容来源

• Android · AI Agent 知识手册 · 原条目 ai-Q209