如何理解性能对比实验设计？

标准回答

先写假设和成功标准，固定设备、系统与应用产物、数据、操作脚本、网络、温度、电量、刷新率以及编译/缓存状态。按目标区分首次安装、进程冷启和热启动，不混合统计。

建议在资源允许时做多轮重复并交错原版/新版测试，降低时间漂移影响；样本量由波动与检测目标决定，20到30次只能作为起点，不能保证尾部统计充分。预先定义异常样本处理，不能删掉所有“慢得不正常”的记录。

报告端到端指标与关键阶段，保留原始数据、分位数、失败和负向指标。必要时使用置信区间或bootstrap等统计工具，解释改善是否明显大于测量噪声。

锁频可帮助隔离变量，但会改变真实场景。可以同时保留诊断实验和默认策略下的用户体验实验，明确各自用途。