创业第一天开始,团队就非常强调产品思维。刚做推荐引擎时,团队的算法能力还不够成熟,就选择了看起来粗糙但对产品优化很直接、有效的方式——关注最关键的用户指标,人工调参数,通过每天做大量的 AB 实验,来看对于留存和时长的影响。
“我们哪哪都 AB,界面、icon、甚至产品名字都会AB,来测试哪一个下载更多,被接受度更高。”这是因为大家希望通过直接的一手数据来验证实际效果。现在,第一版测试系统已经升级为内部广泛使用的 Libra 平台,每天同时进行的 A/B 测试达到上万场,成为了公司支持数据决策最有力的工具。
经历大量的实验训练,工程师成了对平台内容敏感度最高的一群人。算法工程师宇韬回忆,他刚刚接手做头条视频频道的时候,整个平台的视频内容都被他刷完了。当然,人工调参数的方法随着数据规模变大以后会遇到瓶颈,后期还是通过建立大模型来做。“因为你的手感无法传承下来,所以核心是我们需要在产品不同的发展阶段,选择最务实有效的方式。”
宇韬在锦秋家园