看到这,你可能撇嘴:这不就是简单的对比实验么,算啥绝招?
客官有所不知,“A/B测试”从实验设计到数据汇总,是一个贼拉费劲儿的事情。
你遇到“午饭吃麦当劳还是肯德基”这样的抉择,肯定不会做个实验,把两家的汉堡薯条都买来,对比谁家的薯条多,谁家的汉堡大,你最多扔个鞋决定一下也就完事儿了,只有遇到重大抉择才会想到用“A/B”来严肃地解决。
图片来自“毕导”,他曾经真的测试过哪种快餐更合算。。。文章链接我放在最后吧。
可字节这群人却都是“A/B狂人”,买汉堡前先做实验这种事儿他们没准还真能干出来。。。
在字节公司内部,流传着一个“黑话”——遇事不决用A/B。
大到推荐引擎的策略调整,小到App里一个按钮的位置摆放,各种改进,总要设计个实验看看回收数据才能放心,可见“数据测试”已经写入这帮人的DNA了。。。
如果把做今日头条比作打一场游戏,那么每一次“A/B测试”就相当于一个“存档点”。
在AB两种策略里选优就相当于——“这里打得不好,读档重来再打一次”,每次都在“打得好的那一版”的基础上继续往前打。
最终,一点点优势累计,就必然形成数学上的巨大胜率。相比其他一条命拼到死的竞争对手,你说它不胜出谁胜出?
所以,“用A/B”不是绝招,“总用A/B”才是绝招。
可字节跳动这帮人“开挂”也不是没有代价。还是刚才说的,实验设计太太太太太费功夫。。。
我们把刚才几张图拼成完整的流程,你感受一下:
如今字节数据平台负责人罗旋在2014年加入公司。
他还记得那个“震撼”景象:所有的数据报表都是同事们用邮件传来传去,手动比对分析。