AB测试的检验指标可以分为两大类：绝对值指标、比例值指标。两者的方差计算方式不同。
其中比例值根据分母不同又可分为两类：分母为人次（留存率、转化率等）、分母为行为次数（曝光点击率）。
分母为人次，分流单位和分析单位相同，可以用
z
z
z检验；分母为行为次数，分析单位之间不独立，要用
d
e
l
t
a
delta
delta检验。
将指标在多天的表现累计合并计算。比如某行为的人均次数，则分母是实验期间该行为的总次数，分子是实验期间进组的去重人数。
优点：保证样本之间独立；增加样本量，显著性可以随着累积而增加。
留存率的多天累计：分天计算每天新进组人的留存率，再根据人数加权。
确定实验策略；制定实验的观察指标；计算样本量（显著性水平/统计功效/需要观察到的指标最小提升水平/指标方差）；实验开发上线；数据回收。
见上篇，适用于分流单元和分析单元不同的情况。
优点：
贝叶斯派 VS 频率派 基本理论：
先验分布 π ( θ ) \pi(\theta) π(θ) + 样本数据 P ( X ∣ θ ) P(X|\theta) P(X∣θ) = 后验分布 π ( θ ∣ X ) \pi(\theta|X) π(θ∣X)
共轭先验分布：贝塔分布 与 二项分布
θ \theta θ~ b e t a ( α , β ) beta(\alpha, \beta) beta(α,β)， X X X~ B i n o m i a l ( n , p ) Binomial(n, p) Binomial(n,p)， 则 θ ∣ X \theta|X θ∣X~ b e t a ( x + α , n − x + β ) beta(x+\alpha, n-x+\beta) beta(x+α,n−x+β)
z z z检验：大样本数据均值检验（不区分分布，中心极限定理；不区分方差是否已知，n>30时t分布和z分布相似）
t t t检验：小样本正态数据均值检验(小于30，方差未知)
F F F检验：方差齐性检验；单因素方差分析，检验分类变量各个水平取值的影响。
卡方检验：本质是检验样本频数和期望是否一致。可用于检验两组离散变量之间的相关性（列联表）；检验实际分布和期望分布之间的相似度，非参数检验多用于分类变量。
X
2
=
Σ
(
X
−
E
)
2
/
E
X^2=\Sigma(X-E)^2/E
X2=Σ(X−E)2/E
令
E
=
n
p
E=np
E=np，可得正态分布的平方。
k k k- s s s检验：样本是否满足特定分布；看样本累计分布和理论累计分布的差的最大值。
y = α 1 ∗ t r e a t m e n t + α 2 ∗ p o s t + α 3 ∗ t r e a t m e n t ∗ p o s t + u y=\alpha_1*treatment + \alpha2 * post + \alpha_3*treatment*post+u y=α1∗treatment+α2∗post+α3∗treatment∗post+u
α 3 \alpha_3 α3代表政策的净效应
平行趋势检验
AB实验面试
https://www.jiqizhixin.com/articles/2020-09-18-2
https://blog.csdn.net/deephub/article/details/112167937