AB 实验需要注意⚠️辛普森悖论、幸存者偏差、选择偏差等，注意事项都是来源于对撞因子，简单来说就是「是指同时被两个以上的变数影响的变数」，具体的可以在 google 深入了解一下。
2.2.2 实验结果可信性
有数字容易，让人信赖的数字需要下功夫。开启实验容易，实验报告有数字很容易，这些数字的可信度，这些数字让人信赖更重要，需要花费更长的时间。
大量实验中可能只有很小一部分实验，例如微软大约 30% 的结果是正向积极的，最终可以发布到整个应用上。
举个例子：
如果我抛起三枚硬币，落地分别是正正反，那么我可以说抛硬币正面朝上的概率是三分之二吗？
概率和频率并不是一个东西，同理，少数几次 AB 实验的结果也不能证明版本 A 和版本 B 的优劣。
我们需要统计学上的严格论证和计算，来判断一个实验结果是否显著，是否可信。
2.2.3 如何衡量好的想法
对于任何一个想法我们很难去衡量它的好坏，大胆假设小心求证。短期目标可能会与更关键的长期目标发生冲突。
举个例子：
一家超市突然提高价格，可能会在短期带来更高利润。但长远看，如果更多的顾客改从竞争对手那里购买商品，那么这家店的收入就会减少。
新奇效应如何避免？
3. 基本架构对于用户有感知的 A/B Test，如 UI 改版、新的运营方案、新功能上线等，实验组做的任何改变都可能引起用户的注意，好奇心驱使他们先体验一番，从而导致 A/B Test 中实验组效果一开始优于对照组，p-value 极小，实验效果非常显著。但是一段时间过去后，用户对于新的改版不再敏感，实验组效果回落，显著性可能会下降，最后趋于稳定。足够的样本量能保证一个合理的实验周期，可以使用我们的流量计算器中计算流量和实验周期，从而避免这种新奇效应的影响。
AB 实验的思想非常简单直观，但是并不是代表做 AB 实验是一种很简单容易的事情。
举个例子，在网站实现一个 AB 实验，主要涉及到 2 分部分：
第 1 个是：随机算法，作用是将 users 映射到不同实验组中。
第 2 个是：分配方法，随机算法的结果来决定每一个用户是否看到该网站的实验。
3.1 流量分割
流量分割的方式：分流和分层。
每个独立实验为一层，层与层之间流量是正交的（简单来讲，就是一份流量穿越每层实验时，都会再次随机打散，且随机效果离散）。实验在同一层拆分流量，不论如何拆分，不同组的流量是不重叠的。
3.1.1 分流
分流是指我们直接将整体用户切割为几块，用户只能在一个实验中。但是这种情况很不现实，因为如果我要同时上线多个实验，流量不够切怎么办？那为了达到最小样本量，我们就得延长实验周期，要是做一个实验，要几个月。
简单来说：分流是指对流量进行整体切割，实验之间互斥。
目的：为了获取纯净的分区，不会互相影响。
缺点：浪费流量，导致流量不够。
3.1.2 分层
就是将同一批用户，不停的随机后，处于不同的桶。也就是说，一个用户会处于多个实验中，只要实验之间不相互影响，我们就能够无限次的切割用户。这样在保证了每个实验都能用全流量切割的同时，也保证了实验数据是置信的。
简单来说：对整体流量分流分层。
目的：同一个用户在不同的实验组，相互不会影响。
缺点：不同层之间的 Hash 值尽量不要重合。
3.2 如何看待随机单元？
什么是随机单元呢？简单来说，随机单元就是 AB 实验需要达到随机的最小单元。一个 web 网站中，最小单元可能是页面级别，可能是会话级别，或者是用户级别。
举个例子：
我们选择页面级别的随机单元，AB 实验针对某一个页面，用户每一次打开页面的时候决定把该用户导向某一个实验组。
最简单的情况就是：随机单元和分析单元是一致的。我们大多数情况也是将随机单元和分析单元采用用户级别。两种单元不一致可能使得实验分析变得更加复杂。
3.3 随机算法
首先什么是随机数？不确定的数。
大多数随机算法使用的是伪数字生成器。
那什么是伪数字生成器？一个生产数字序列的算法，特征近似随机数序列的特性。伪随机数生成器通常接受一个随机种子（seed） 用来初始化生成器的初始状态。
按照密码学来将「随机」分为三种级别：
1. 伪随机 (PRNG) 2. 密码学安全的伪随机 (CSPRNG) 3. 真随机 (TRNG)
