数据分析——A/B测试二：优惠券AB测试项目

上文我们讲到A/B测试的简单流程，本次将通过实战来对A/B测试进行详细的讲解。

A/B测试的关键点

目标KPI

A/B测试中我们需要制定目标KPI：指评判AB测试效果优劣的最终指标。例如：提升多少点击率或者提升多少转化率。

策略

为了达到我们制定的目标KPI，我们需要采取一定的策略：AB组分别采取的策略的差异点。例如：改变商品展示图片，改变文案等等；一般有多少个差异点就需要多少次测试；

A/B测试的作用

• 目标KPI的最大化：找到对KPI最优的策略，保证目标KPI最大化；
• 后续分析，沉淀诀窍：由于人群中有差异，通过研究不同子人群对于不同策略的响应程度，可以获得每组人群在策略上的偏好，帮助未来更好的个性化创新和设计。

AB测试常见问题和应对方案

1. 如何分配流量

• 零售行业的线下AB测试，一般用于测试不同优惠券带来的业务指标的变化。基于优惠券的具体设置方式，对流量分配有着不同的实施方法。
  • 多种优惠券设计相似：流量均分，4组策略每组20%，对照组20%
  • 优惠券设计不确定性大：最小化测试组，10%测试，90%对照
  • 优惠券效用过，仅为追踪效果：少量对照组，10%对照，90%测试
• 常用的分流方法
  • sql中的rand函数
  • 利用尾数的随机ID

不管如何做分流，用来做对照组和测试组的用户要做好标记方便之后进行分析和统计。

2.如何确定测试的最小人数

随机波动：由于我们的测试样本不可能都一模一样，所以我们设定的两个一模一样的对照组的结果也有可能出现不一样的结果，这就是随机波动。随机波动会进一步影响测试的结果。
最小样本量：为了使测试结果显著有效的同时保证最小的成本，我们首先要确保测试组里人数最少的一组达到验证效果有效性的最小样本数量。现在我们有很多网站可以帮我们计算最小样本量，网站如下A/B测试样本量计算网站

• 比例类目标KPI：
  

• baseline conversion rate：基准率，例如：点击率；
• minimum detectable effect：最小特侧率，例如：提升3%的点击率；
• significance level α：显著水平，一般为5%；
• statistical power 1-β：统计功效也就是