嗨,大家好,我是勾勾。
上次分享的Excel技巧是不是很实用呢?我们在数据分析的路上,不光要熟练掌握各种数据分析工具,更要学会处理业务上的问题,建立自己的一套业务方法论。
今天,我们就请花木(Spring)老师来讲一下数据分析工作中一个大难题——遇到数据异常怎么办?以及如何高效地排查异常,并通过异常发现业务的增长点!
数据异常的原因一般情况下,BAT 等大厂的数据产品 DAU 都比较大,动辄几百万上千万,甚至过亿,因此业务方和管理层每天都会盯着核心数据,而在这些核心数据中肯定会有一些数据是波动比较大的。
这时,分析师需要对这些波动进行排查并解释原因,如果没有一套方法论,面对问题就会很头痛。
你可以回想下自己是否面对过这种情况:每天早上,面对波动数据无从下手,找不到原因,解决不了,进而浪费很多时间做了很多无用功,感觉永无出头之日。
实际上,数据有较大波动,无非就两个原因:
- 一是目前数据本身有问题;
- 二是业务本身有问题。
如果能够透过问题看本质,你就可以在数据波动方面成为专家。当然数据异常排查是需要一些前期准备的:
- 业务理解;
- 指标口径;
- 当前数据产出过程。
1、业务理解
某个 App 的 DAU 低于1000w,那么请问,这个 DAU 代表的是什么行动的DAU?是在进程中,还是需要打开 App,还是必须有主动行为?
这理解起来是不一样的。
2、指标口径
同样是 DAU 一千万,是 Android 还是所有系统,也是有所区别的。
3、产出过程
对于 DAU 一千万,目前是由哪份日志做了哪些数据清洗计算出来的,只有了解清楚这些才能够开始异常排查。
举个例子,市场部领导看了某一张日活数据和你提供的数据相差较大,就来询问是怎么回事。实际上这时你首先需要弄清楚他看到的数据表是怎样产出的,然后指标口径是什么,指标的业务含义是什么,只有熟悉这些情况后才能分析出产生差异的原因。
实际工作中,有些分析师在进入一家公司时产品已经比较成熟,但指标口径没有文档化,所以可能对业务理解不深,这个时候面对领导的提问就会手足无措。一旦不能解决问题就会失去信任,所以前期准备工作一定要做好。
如何排查异常有了前期准备工作,接下来就是异常排查步骤了,异常排查主要分三步:
- 判断是否异常;
- 最大概率法则归类;
- 闭环。
第一步,判断是否异常,有四个关键点:
- 亲自去看数据准确性,不要人云亦云,比如业务方说 DAU 下降了就立马去调查,这是不对的,而是应该亲自查看数据是否真实,有时候业务方不一定多专业,也会出现错误。
- 时间轴拉长,看是近期异常(3 个月)还是历史异常,一般分析师看数据时习惯看近一两周或一个月的数据,然后突然出现波峰或波谷就认为数据异常了,但实际上往往不是。我们一定要拉长时间轴,如果仍出现波峰或波谷可能就真的出现异常了。
- 看和该指标关联的其他指标或其他核心指标是否也异常,比如 DAU 异常时,需要查看自流、渗透率是否异常,如果也异常就需要一起解决,而不是按下葫芦浮起瓢,反复做无用功。
- 找到一个关键人物(产品/数据),提前沟通,也就是当我们确认是数据异常后,找经验丰富的人提前沟通,看他们对此是否有什么见解,往往经验能够快速的定位问题。
第二步,用最大概率法则原因归类。
很多分析师遇到异常时无从下手,抓不到问题主线,无法对问题进行有效分类,而我把异常问题分为了六大类,基本上所有的异常问题都归属于这六大类。
- 假期效应:开学季、暑假、四大节、当地节日;
- 热点事件:常规热点(世界杯)、突发热点(爆款 IP);
- 活动影响:双 11、618,公司层面活动;
- 政策影响:互联网金融监管,快递实名;
- 底层系统故障:数据传输、存储、清洗有无问题;
- 统计口径:业务逻辑更改、指标计算方式更改。
所以当我们遇到问题时,就可以按照降序在这六大类中逐一排查找到问题原因。
第三步就是闭环,当我们排查出问题原因后,一定要形成闭环,关于闭环有三个点:
- 1. 持续跟踪后期数据是否再次异常,比如当我们排查出原因后,产品做相应的改进,而问题仍在就说明前期排查问题出错。
- 2. 记录、沉淀、文档化,因为后续我们可能还会遇到相同问题,所以记录文档利人利己。
- 3. 邮件化,只有确认没有问题再发邮件给相关方,描述影响范围和主要结论即可。
举个例子:某 App 海外版的主要用户在东南亚地区,某天 DAU 突然涨到 5000 万,与历史数据相比明显异常,问了很多人之后,发现数据采集、传输、活动、业务口径、常规热点等都没有变化。
这时你先不要困惑,我们按照问题归类逐一排查,发现爆款 IP 没有排查到,我们就按照这个点继续排查数据。
果然发现,因为某国宝级的明星突然去世带来了 App 大量访问。因为在海外,信息传输比较慢,而突发事件国内用户无法快速知道,所以分析师发现流量提升后应该快速反馈给业务人员,业务确认没问题后立刻调动运营资源对该明星进行全方位解析,持续蹭热点把事件发酵到最大化,养成用户口碑。
及时地响应事件后,整个 App 的 DAU 上涨了 10 个点,而一般的产品运营优化很难达到这个效果。
这样的突发事件并不是每个分析师都能够遇到,但遇到异常数据一定要多尝试,虽然很多分析师排斥数据异常,但优秀的分析师还是能够从异常中发现业务增长点。
所以遇到问题时,要有耐心,最后总会有所发现。我已经归纳了问题的归类,大家在实际工作中可以直接参考,同时总结属于自己的一套方法论。
本文转自公众号:勾勾谈数据分析
欢迎大家来找勾勾畅谈