Agent 系统的 A/B 测试如何设计？

标准回答

先明确要比较的单一变更和主指标，再按用户或完整会话稳定随机分流，避免同一任务跨组；控制模型、流量与统计周期，设置错误率、延迟和成本护栏。达到预定样本量后比较效果及不确定性，并检查不同任务群体是否退化，再决定扩大或回滚。

新提示词给一组用户、旧提示词给另一组，比较成功率并监控成本与投诉；样本太少或分组不均衡时不能急着下结论。

重复用户或同一任务在两组串扰会破坏比较；短期均值提升也可能掩盖长尾退化。