大数据计算模式有哪些,大数据计算框架有哪些

首页 > 影视动漫 > 作者:YD1662023-10-26 05:47:58

本文节选自华高莱斯“技术要点”系列丛书《产业新赛道之生活性服务业》

作者 | 焦星宇

要想服务生活,先让数据向善

1. 大数据预测未来,已是生活日常

某下午五点半,小刘愉快地下班了。去地下车库取了车,他先打开了音响,网易云音乐给他推荐了孙燕姿的《咕叽咕叽》。接着他打开高德地图,按照规划的最优路线到了小区门口。上楼之前,小刘决定在门口的菜店逛一圈,最后花20块买了半个西瓜,小刘心想,西瓜都这么贵了吗?

这是小刘的生活日常,看似稀松平常,实则科技拉满。网易云音乐调用海量用户数据,使用协同过滤算法来为用户推荐每日歌曲;高德地图将历史交通数据、天气情况、交通事件等综合影响因素纳入计算模型,对未来城市交通情况进行预测;支付系统在用户点击支付按钮后,以秒级速度来评判这笔支付是否存在欺诈、账号被盗等违法违规行为,并对可疑交易实行拦截。

这样,大数据已经和我们的日常生活密不可分,早在2014年,中国联通网络技术研究院首席专家唐雄燕预计,到2020年,仅一个中国普通家庭一年产生的数据,就相当于半个国家图书馆的信息储量。在2021年两会上,生活服务业数字化转型也成为了一项热点议题,国务院发展研究中心市场经济研究所所长王微表示数字化是生活服务业巨大的转型升级机遇,而把大数据作为新的生产要素正是生活服务业数字化的关键特征。

▼ 过去的信息富集地是图书馆,而未来,则是网络数据平台。图为国家图书馆 | 摄影@徐鑫

大数据计算模式有哪些,大数据计算框架有哪些(1)

大数据计算模式有哪些,大数据计算框架有哪些(2)

如果交通动态能够掌握,我们的出行将更加方便;如果医院能够更早发现疾病,我们的身体将更健康。在一些生活服务业的细分领域,例如法律、保险、中介等生活咨询行业,大数据预测已经有所应用,并辅助我们进行决策。可以说,大数据正在重塑生活服务业,为我们带来更加便利的生活。

2. 大数据,天使还是魔鬼?

然而,数据成为日常的背后,也是我们被数据侵蚀、“被符号化”的生活。算法歧视、大数据*熟、隐私安全……在我们享受数据带来的便利生活的同时,风险也在悄然累积。

2021年7月4日,滴滴出行因违法违规收集使用个人信息,被国家互联网信息办公室要求下架。一石激起千层浪,有关数据安全的讨论不绝于耳。作为国民最常用的app之一,滴滴掌握了用户的手机号,通过出行轨迹即可掌握用户的公司和住所地址,再通过录音数据交叉对比,每个用户每天的生活作息都可以被了解得一清二楚。这些数据还可以直接或间接地反映我国各区域人口分布、商业热力、人口流动、企业经营等情况。

身为滴滴出行白金会员的笔者承认它带来的便利,但数据安全、大数据*熟等一系列问题更是不容忽视。2020年,复旦大学教授孙金云带领研究团队对7个打车软件进行调查研究,结果显示平台往往会向乘客呈现比实际更短的等待时间,比实际更低的预估价格。

数据显示,滴滴在早高峰的时间延误比例高达47.4%,实付价格也比预估价格高出6.7%。调查也验证了“苹果税”的存在,数据表明,苹果手机用户平均获得2.07元的优惠,显著低于非苹果用户的4.12元。

无论意愿如何,我们每个人都已经成为大数据的生产者。2021年1月,小米MIUI隐私保护能力建设研发团队公布的数据显示,平均每部手机每天会被 APP定位3691次,相册和个人文件每天被APP访问2432次。大数据对生活的渗透势不可挡,被收集的海量数据蕴藏着巨大的能量;数据本身是客观而中立的存在,它究竟是危害社会,还是造福人类,取决于我们如何驾驭大数据,让这些数据为我所有,为我所用。

打造让生活更美好的大数据机器

1. 数据向善的秘诀,在于“人为”

数据技术,本就是一架人为设计的精巧机器。从实现路径看,大数据包含数据收集、数据预处理、数据储存、数据挖掘、数据展现和应用等多个步骤,就像一台复杂的机器,每一个零部件背后都有精巧的人工设计。

数据收集,就有非常明确的目标导向。我们不是先收集数据,再思考能从中获得什么结论,而是先确定我们要获得什么,再去收集数据。以淘宝为例,它想要了解小刘对某件商品的喜爱程度,如果小刘最近正准备买台相机,那应该会时不时就点击最心仪的那款看一看,或是仔细阅读商品详情。

所以产品经理会将“用户的访问次数”和“用户在页面的停留时间”作为统计的指标,并植入代码进行捕捉处理。在这里笔者不过多展开产品经理和数据分析师的工作细节,关键是,APP的每个选项后都有一串代码来收集数据,而每串代码背后体现的都是产品经理的诉求。

在数据挖掘环节,算法也充分体现了人的意志。比如大数据*熟,平台通过收集的数据来对用户进行画像分析,了解用户的价格敏感度,从而进行差异化定价。实际上,算法背后的思想是70年代经济学家 Van Westendrop提出的价格敏感度分析方法。

再比如被平台不断压缩配送时间的外卖小哥,根本原因在于平台一味追求效率,没有把安全作为重要参数纳入算法之中,这才出现了大量诸如《困在“算法”里的外卖骑手》之类耸人听闻的公众号文章。

▼ 为了配送时间而在街道中疯狂穿梭的外卖骑手们

大数据计算模式有哪些,大数据计算框架有哪些(3)

正是因为“大数据机器”的各个环节都体现着人为设计的色彩,我们才有机会在产品迭代中实现对数据的驾驭。如同一台出了问题的机器摆在面前,如果我们了解了它的内部结构,甚至对每一个零件了如指掌,那么就能够通过技术升级,践行向善的大数据价值观。

2. 干预技术环节完成“向善驯化”

既然大数据可以通过人为设计实现对未来的预测,那我们不妨把它想象成一台可以预测未来的机器,就叫它未来演算机。

大数据计算模式有哪些,大数据计算框架有哪些(4)

首页 123下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.