外观
Agent 应该怎样建立评估集？
标准回答
从真实任务定义成功条件，固定输入、初始状态与允许动作，检查最终状态、工具使用、错误恢复和资源成本。区分单次运行记录与多次运行的稳定表现。
关键机制
- 覆盖正常路径、目标不明确、权限拒绝、工具超时、部分成功和恶意外部内容；副作用操作优先在隔离或可回滚环境评估。
- 能程序验证的用规则或状态断言；需要语义判断的可用模型评审，再通过人工抽查校准，避免评审模型偏差。
- 记录模型、Prompt、工具、检索与数据版本；对不稳定任务重复运行，观察成功率与错误类型，而不只挑一次成功截图。
通俗例子
“把灯调到 30%”的成功条件应包含目标灯实际达到 30%、没有误改其他设备、结果反馈准确，而不是回答里出现“已完成”。
易混淆点
路径不必每次完全相同。应验证必要约束和最终结果，避免把唯一调用顺序当作所有正确方案。
参考资料
内容来源
- Android 技术札记 · 原条目
agent-evals