随机数表的优势,随机数表法的适用范围及优缺点

首页 > 教育 > 作者:YD1662024-05-16 04:52:26

1. 前言

在线 AB 实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的产品来做一次 AB 实验作为数据驱动的试金石。

随机数表的优势,随机数表法的适用范围及优缺点(1)

数据 => 洞察 => 优化,循环往复寻找最优解,寻找增长的方法。

AB 中有句经典的名言:大胆假设,小心求证。

本分享从以下几个方面来介绍:

1、数据驱动

2、基本架构

3、指标选取

4、数据分析

2. 数据驱动

AB 实验并不是万能的,没有 AB 实验也不是万万不能,但是有了 AB 实验可以少走很多弯路。

随机数表的优势,随机数表法的适用范围及优缺点(2)

2.1 AB 实验与数据驱动

AB 实验阶段对应数据驱动的不同阶段,从最基本的设计执行分析阶段到绝大多数改动需要 AB 验证,从简单到复杂,从少量实验到大规模实验,正好对应的数据驱动从「爬,走,跑,飞」的四个阶段,关系是层层递进的。

随机数表的优势,随机数表法的适用范围及优缺点(3)

2.1.1 设计执行分析阶段

设计执行分析阶段主要是:数据检测设置和数据科学能力搭建。在 AB 实验上进行多次的实验,从实验的设计,指标的定义,实验的开启,实验结果的分析,并且找到成功的一些实验案例有助于我们进入到下一阶段。

2.1.2 标准化指标阶段

标准化指标阶段主要是:运行少量实验到定义标准指标再到开启更多实验。AB 实验开始运行更加复杂的 case 来持续验证数据的可行性,并且通过运行 AA 实验来验证平台潜在的问题,同时能够进行样本比率偏差检测。

2.1.3 大面积实验AB实验阶段

从上一个阶段的标准化指标,已经可以运行大量实验,并且各种指标也逐渐相对成熟,每次实验进行多个指标的权衡,然后在一个应用上利用 AB 实验对绝大多数的新功能和改动做实验。

2.1.4 绝大多数改动需要AB验证阶段

几乎所有的改动都需要经过 AB 实验的验证,可以在没有数据科学家的辅助下,可以对大多数的实验进行独立的分析和运作。同时通过对过去实验的分析,AB 实验的有效性和最佳实践也能得到不断的更新。

2.2 数据驱动的条件

2.2.1 实验标准化

数据决策肯定是一套标准化的东西来规范,实验标准化也是 AB 数据驱动的必备条件。

那什么是 AB 实验的标准化呢?

随机数表的优势,随机数表法的适用范围及优缺点(4)

首页 1234下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.