03
样本量估计
假设检验是用样本去推断总体,因此得到的结论也不是绝对正确的,存在两类可能的错误:
弃真错误。零假设实际是成立的,但因为抽取的样本恰好让观察值落入了拒绝域,导致拒绝零假设。在假设检验中,这个概率不大于显著性水平α,所以假设检验已经充分控制了弃真错误的概率。
纳伪错误。零假设实际是不成立的,但因为抽取的样本恰好落入了接受域,导致认为零假设成立。假设检验的α越小,纳伪错误的概率β就越高,因此假设检验并没有对这个错误概率进行控制。
在α确定的情况下,为使β变小,可以增加样本量,但样本量太多又会浪费流量资源,所以我们需要科学地确定最小样本量。
统计学上,在α、β、effect size确定的情况下,可以通过下面公式求出最小样本量:
单尾实验样本量——
双尾实验样本量——
n——每组所需样本量,因为AB测试一般至少2组,所以实验所需样本量为2n
α——第一类错误概率,一般取0.05
β——第二类错误概率,一般取0.2
z——正态分布的分位数函数
σ——标准差
u1-u2——优化方案对评估指标提升值
上面的都是理论,怎么推导的我也没怎么看懂
实际应用中,不同软件、计算工具用的公式也不一样,没搞明白谁更准确,不过最终算出来的样本量其实差不多。
所以,我觉得产品经理嘛,知道公式怎么用或者用哪些工具预估样本量就可以了。
一般我们处理的都是比例类指标假设检验问题,下面用两个公式举例。假设目前转化率p1=30%,我们希望通过新方案转化率提升0.5%,即(p2-p1)=0.5%.设定α为0.05,β为0.2 。
公式一
公式二