PM 做 A/B 测试的痛点
- 不知道样本量要多大才够
- 实验结果看不懂（p 值？置信区间？）
- 实验周期不知道设多久
AI 辅助全流程
1. 实验设计
> 我想测试商品详情页的"加入购物车"按钮颜色从蓝色改成橙色，是否影响加购率。当前加购率基准约为 3.2%，期望提升到 3.5%（相对提升约 10%）。请帮我：
> 1. 计算需要的最小样本量（α=0.05, β=0.2）
> 2. 建议实验运行天数
> 3. 列出需要注意的坑
2. 指标定义
> 针对这个实验，请帮我定义：
> - 核心指标（判断实验成功与否）
> - 护栏指标（不能有明显恶化的指标）
> - 观测指标（感兴趣但不作为决策依据）
3. 结果分析
> 实验结束，数据如下：
> 对照组：UV=50000, 加购数=1600（3.2%）
> 实验组：UV=50000, 加购数=1750（3.5%）
>
> 请分析：这个结果是否统计显著？是否应该全量上线？
AI 会帮你算出 p 值、置信区间，并给出建议。
4. 分析报告
> 根据以上结果，帮我写一份 A/B 实验结论报告，发给产品总监，200 字以内。
注意事项
- **不要 peeking**：实验没跑到预定样本量不要提前看结果
- **辛普森悖论**：AI 帮你检查是否存在细分维度上的反转
- **业务判断 > 统计显著**：即使显著，如果改动成本很高也可能不划算