A/B 测试实操课：Bing 一次实验价值一亿美元的四条诚实规则
richardreis · x · 2026-11-04
richardreis 发布《Lecture 13: How To Do A/B Testing (Without Fooling Yourself)》，从自己重设 Mental Math Pro 导致留存下跌的失败案例切入，系统讲完 A/B 测试全流程。要点：
- 开场即「两次完全相同的页面，却有 18% 差异」——说明噪声之危险
- 引用 Ronny Kohavi 的书，并讲 Bing 一次 A/B 实验价值一亿美元的案例
- 四步法：一次只改一个因子、写实验记录、不许偷看或提前停止、先检查流量切分是否正确
- 用 p 值、置信区间和 A/A 测试验证；样本量可用 Evan Miller 计算器
- 总结「四条诚实规则」，并布置第一份实验作业
适合独立开发者与增长从业者直接照做。