前言

2000 年 Google 的工程师第一次将 A/B Test 用于测试搜索结果页展示多少搜索结果更合适,虽然那次的 A/B Test 因为搜索结果加载速度的问题失败了,但是这次的 A/B Test 可以认为是 Google 的第一次 A/B Test。从那以后 A/B Test 被广泛应用于互联网公司的优化迭代, 每年数万个 AB 实验被 Google、Amazon、eBay、阿里等主流互联网公司应用于线上进行 UI 内容优化、算法优化、收益优化等方方面面。

测试目的

A/B Test 是许多网站拿来快速测试改版、微调并协助设计决策的方法之一。

将想要测试的因素分别做成 A版本和 B版本(甚至 C、D等),利用一些工具或方法,将访问网站的流量随机分至两个版本, 收集用户体验数据和业务数据, 最后选择目标达成效果较好的版本。

A/B Test 的好处

  • 建立数据驱动、持续不断优化的闭环过程;
  • 通过对比试验,找到问题的真正原因,提高产品设计和运营水平;
  • 通过A/B Test,降低新产品或新特性的发布风险,为产品创新提供保障。
  • 消除客户体验(UX)设计中不同意见的纷争,根据实际效果确定最佳方案;

A/B Test 的限制

需要开发人员编写额外的测试代码以及采集、统计数据、数据分析,增加了维护成本;

测试步骤

影响测试结果准确性的因素

  • 样本数量
  • 样本质量
  • 测试时长
  • 多个测试并行的影响

应用场景

  1. 用户体验优化
  2. 转化率优化
  3. 广告优化

常见测试工具