AI Agent 的评估指标体系应如何设计？

标准回答

先把指标分成结果质量、过程可靠性、安全边界、效率成本四组：分别测任务成功/事实正确、工具失败与人工接管、越权与错误动作、P95 延迟和每成功任务成本。为每项固定分母、采样范围和判定规则，设置硬性门槛，再按业务需要看综合评分，避免用平均分掩盖严重失败。

成功回答订单状态是结果，调用正确订单是过程，耗时和 Token 是成本；不能让模型回答更流畅掩盖查错订单。