导读:随着大数据的深入发展,数据越来越成为公司的重要资产,但围绕数据流的全链路管理工作细致且技术复杂,数据的治理越来越成为DT时代数据资产化、价值化的关键核心,该如何成体系地构建数据治理框架?今天将介绍阿里巴巴在数据治理上的一些实践和总结。主要包括以下两方面内容:
- 数据治理概念和需求层次
- 企业数据治理痛点与阿里巴巴数据治理实践
01
数据治理概念和需求层次
1. 数据治理的理论参考
数据以及数据领域经过多年的发展,行业已经沉淀了较为完善的理论体系,比如数据管理协会DAMA推出的数据十大职能领域、DCMM推出的数据管理能力成熟度评估,以及国内信通院推出的数据资产管理实践白皮书。这些指导标准,不但有利于产业发展的高度,同时也使得行业朝着更加规范、健康的方向发展。
国际上的标准更加侧重于对完整的数据生命周期进行管理,而国内则更加注重从组织、制度、流程、技能角度,对数据进行不同视角下的解读和处理。
2. 数据治理的概念和需求层次
在数据的管理过程中,要保证一个组织已经将数据转换成有用的信息,在这个过程中所需要的流程、工具就是数据治理的主要内容。
随着数据行业的发展,数据治理的内涵也逐步泛化,涵盖了更多的方面和层次,比如数据发现可用,数据及时稳定产出,数据质量保障,数据安全合规,数据生产的经济性等。对于企业的不同发展阶段,数据治理的需求也存在着差异。
- 时效:对于自有数据产生系统,数据生产的时效问题,决定了后续所有的数据处理的及时和数据的价值。比如理财方面,股市开放时间内,每天都会计算营收情况,如果数据产生不及时,会造成用户的困扰和可能的利益损失。
- 质量:主要从数据自身属性和特点的角度,来衡量数据可靠的一些标准,包含了准确性、完备性、唯一性、一致性、有效性等。
- 可用:数据的接入和加工完成后,就是数据发挥价值的环节,即数据要容易被查询到,并且能够被理解。另外一个比较重要的点是可复用,复用可以放大数据价值。
- 安全:谈到数据,就会涉及安全性,主要包括数据权限的管理,敏感数据的处理与应用,以及满足各种数据政策和法规的要求。
- 经济:在数据的生产、处理,以及价值挖掘等环节相对完善之后,围绕数据体系的经济特性,将会是企业的重点考虑方向。
--
02
企业数据治理痛点、阿里巴巴数据治理实践
1. 企业数据治理的典型痛点
随着国家数字化政策的引导和推动,企业越来越重视数据,但企业的数据治理成效方面依然进展缓慢,数据问题依旧存在,其中缺少系统化的工具平台支撑治理落地和效果展现是关键原因之一。
- 数据治理咨询成果落地不足:数据治理产出成果,比如各类规范和管理办法,包括数据字典,多以“纸面文件”的形式流转与企业中,与实际业务和数据没有紧耦合,能满足“我有”,但是没能做到“我执行”。
- 自动化服务程度不高:业务人员使用数据更多需要数据和技术人员的贴身服务,按照IT建设的模式提出数据加工需求或者取数需求,以被动支持的方式满足业务需求,没有形成数据资产目录、数据服务目录。
- 数据治理在线管理能力不足:依赖贴身服务,业务人员难以借助工具自行完成。缺少灵活友好的数据治理在线管理工具来支持数据治理全流程工作,数据治理与数据原仓之间没有打通“数据的描述”和“数据的记录”两张皮。
- 数据治理成效可视度低:缺少量化方式来评估数据治理成熟度水平,数据治理工作的推动成效无法体现,变成了纯手动的脏活累活,严重影响数据治理工作的开展推进。
治理中的痛点有很多,往往是由于认识不足导致的,尤其是思维方式。信息技术的飞速发展,使得信息的架构已经从传统基于需求的IT架构发展为基于数据的DT架构,思维方式也需要相应地升级到围绕数据资产化、数据价值释放为核心的新模式。
2. 阿里巴巴数据治理新模式
不同模式下思考和解决问题的方式存在着很大的区别,模式的改变主要包括以下三个方面:
- 变思维:转变传统思维定式,从IT思维向DT思维转型
- 变模式:工具和技术是生产工具,数据才是核心,IT流程不是核心
- 变定位:摆脱成本中心泥潭,通过运营数据资产,探索如何成为利润中心
基于DT架构的思维模式,结合数据发展的阶段不同,阿里巴巴形成了一套自己的数据治理模式: