魔兽37级适合哪里升级,魔兽怀旧服40级去哪升级

首页 > 经验 > 作者:YD1662022-10-26 21:11:55

多维分析平台的数据质量监控很重要。数据质量监控是有一套完整方法论的,从需求调研、指标定义、开发规范、到任务和数据质量的监控,有一套完整的流程。业内很多采用数据质量治理模型DMAIC,分别是指Define、Measure、Analyze、Improve、Control;对应数据质量治理边界的定义、数据质量评估模型的建立、数据质量问题的异常发现与问题归因、数据质量改进。DMAIC模型就不展开讲了。在37手游的业务实践中,是从数据有效性、数据的一致性、准确性、完整性和时效性五个维度来进行评估数据质量的。

4. 多维分析平台数据质量监控预警系统

37手游构建了一套数据质量监控预警系统来监控数据质量。

下图是数据质量监控的流程图,主要包括四个模块,第一个就是调度模块,第二个就是后端服务模块,第三个就是执行引擎模块,第四个模块就是告警服务。整个系统主要就是为了检测和发现多维分析平台的数据质量问题,然后提供监控告警。调度器发起监控任务后,后端服务模块就会提交作业任务到执行引擎,执行引擎从多维分析平台中去拉取数据然后再执行引擎里面做计算,或者是把计算下推到多维分析平台执行;之后把计算结果返回给后端服务,后端服务判断返回的结果数据是否存在问题或者异常,如果有问题就会调起告警服务。

魔兽37级适合哪里升级,魔兽怀旧服40级去哪升级(21)

5. 多维分析平台数据质量监控预警信息

魔兽37级适合哪里升级,魔兽怀旧服40级去哪升级(22)

根据异常告警等级,告警信息通过短信、微信或者电话的方式来发送给业务方或者是属主。上图是企业微信上收到的一个告警信息截图。

6. 未来规划

魔兽37级适合哪里升级,魔兽怀旧服40级去哪升级(23)

下面介绍一下未来的规划。

前面介绍了37手游OLAP计算引擎的架构演进:从MySQL、Druid,到Impala,再到ClickHouse,最后到StarRocks,有太多的组件,维护的工作量非常大,所以接下来的重要工作之一就是对现有的组件做一些减法,收敛组件,用尽量少的组件来满足更多的业务场景,减轻运维压力

第二项重要工作就是SaaS产品的引入,不管是社区还是公共云,都有一些比较好一点的组件和37手游的业务场景非常匹配,比如说阿里云的hologress,一个组件就能够解决用户画像场景中Hbase StarRocks两个组件组合才能解决的的业务问题,无论K-V点查询、还是OLAP查询,hologess的性能都挺强;如果公司可以使用公共云,hologress也是一个挺不错的解决方案。

第三项重要工作是ELT模式的探索。数仓经过清晰的数据分层设计与ETL数据计算,链路还是挺长的。随着组件的演进和发展,ELT也是一个挺不错的解决思路,就是原始数据或者是粗加工的数据,导入到多维分析平台之后,在多维分析平台内部进行统一口径的数据转换加工处理,再对外提供服务;这种方式精简了整个数据的加工链路,组件少了,流程少了,时效就能得到提升了。

今天的分享就到这里,谢谢大家。


分享嘉宾:闫铁 37手游 数据架构师

编辑整理:易双凤 vivo

出品平台:DataFunTalk


01/分享嘉宾

魔兽37级适合哪里升级,魔兽怀旧服40级去哪升级(24)

上一页23456下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.