前言
2000 年 Google 的工程师第一次将 A/B Test 用于测试搜索结果页展示多少搜索结果更合适,虽然那次的 A/B Test 因为搜索结果加载速度的问题失败了,但是这次的 A/B Test 可以认为是 Google 的第一次 A/B Test。从那以后 A/B Test 被广泛应用于互联网公司的优化迭代, 每年数万个 AB 实验被 Google、Amazon、eBay、阿里等主流互联网公司应用于线上进行 UI 内容优化、算法优化、收益优化等方方面面。
测试目的
A/B Test 是许多网站拿来快速测试改版、微调并协助设计决策的方法之一。
将想要测试的因素分别做成 A版本和 B版本(甚至 C、D等),利用一些工具或方法,将访问网站的流量随机分至两个版本, 收集用户体验数据和业务数据, 最后选择目标达成效果较好的版本。
A/B Test 的好处
- 建立数据驱动、持续不断优化的闭环过程;
- 通过对比试验,找到问题的真正原因,提高产品设计和运营水平;
- 通过A/B Test,降低新产品或新特性的发布风险,为产品创新提供保障。
- 消除客户体验(UX)设计中不同意见的纷争,根据实际效果确定最佳方案;
A/B Test 的限制
需要开发人员编写额外的测试代码以及采集、统计数据、数据分析,增加了维护成本;
测试步骤
影响测试结果准确性的因素
- 样本数量
- 样本质量
- 测试时长
- 多个测试并行的影响
应用场景
- 用户体验优化
- 转化率优化
- 广告优化