如何评估一个 AI Agent 的效果？有哪些核心指标？

标准回答

核心指标包括任务成功率、答案正确性与依据、工具选择/参数/执行正确率、人工接管率、越权或错误动作率、端到端 P50/P95 延迟、每个成功任务的 token 与费用。先规定“成功”的业务验收条件、样本范围与分母，再按任务难度和异常场景分组测量。

退款助手回答“已处理”但后台订单没变化，应算失败；成功率之外还看耗时、费用和人工接管次数。

**先把成功定义清楚：**查询任务看是否查到正确对象和最新状态；设备控制任务还要看动作是否真正完成、是否越权或重复。不能只评回答像不像人工写的。

**用哪些维度一起判断：**质量之外，还要看任务耗时、成本、失败恢复和权限边界。准备能核验结果的样例，并把模型版本、工具结果和任务步骤记录下来，才能比较改动。

只看回答像不像正确答案，会漏掉工具误操作和任务根本未完成。