在线 AB 实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的产品来做一次 AB 实验作为数据驱动的试金石。
数据 => 洞察 => 优化,循环往复寻找最优解,寻找增长的方法。
AB 中有句经典的名言:大胆假设,小心求证。
本分享从以下几个方面来介绍:
1、数据驱动
2、基本架构
3、指标选取
4、数据分析
2. 数据驱动AB 实验并不是万能的,没有 AB 实验也不是万万不能,但是有了 AB 实验可以少走很多弯路。
2.1 AB 实验与数据驱动
AB 实验阶段对应数据驱动的不同阶段,从最基本的设计执行分析阶段到绝大多数改动需要 AB 验证,从简单到复杂,从少量实验到大规模实验,正好对应的数据驱动从「爬,走,跑,飞」的四个阶段,关系是层层递进的。
2.1.1 设计执行分析阶段
设计执行分析阶段主要是:数据检测设置和数据科学能力搭建。在 AB 实验上进行多次的实验,从实验的设计,指标的定义,实验的开启,实验结果的分析,并且找到成功的一些实验案例有助于我们进入到下一阶段。
2.1.2 标准化指标阶段
标准化指标阶段主要是:运行少量实验到定义标准指标再到开启更多实验。AB 实验开始运行更加复杂的 case 来持续验证数据的可行性,并且通过运行 AA 实验来验证平台潜在的问题,同时能够进行样本比率偏差检测。
2.1.3 大面积实验AB实验阶段
从上一个阶段的标准化指标,已经可以运行大量实验,并且各种指标也逐渐相对成熟,每次实验进行多个指标的权衡,然后在一个应用上利用 AB 实验对绝大多数的新功能和改动做实验。
2.1.4 绝大多数改动需要AB验证阶段
几乎所有的改动都需要经过 AB 实验的验证,可以在没有数据科学家的辅助下,可以对大多数的实验进行独立的分析和运作。同时通过对过去实验的分析,AB 实验的有效性和最佳实践也能得到不断的更新。
2.2 数据驱动的条件
2.2.1 实验标准化
数据决策肯定是一套标准化的东西来规范,实验标准化也是 AB 数据驱动的必备条件。
那什么是 AB 实验的标准化呢?