200多名成员,平均年龄30岁,研发人员占比80%,研究生及以上学历占比超60%。一群坐标五湖四海的平凡青年,为了一个共同的目标相聚在开务,绘就一段不平凡的故事。
2016年入职浪潮,张炜刚辗转了几个领域后,于2019年作为初创人员,与几位做大数据的同事一起,加入了开务数据库团队。“每个人都很积极,但市场是空白的,每天也都要面临各种困难。”张炜刚回忆说。
彼时,团队名称还是“云溪”。他在浪潮的“师父”是贾德星,“师父”自1996年加入浪潮便在数据库研发领域潜心耕耘,是开务数据库研发团队核心成员之一。
2019到2022的三年间,从几人到几百人,开务数据库团队一步一个脚印把蓝图变为现实,目前已正式在上海注册成立公司,并将于2023年完成新的产品研发,进入市场。
披荆斩棘的先驱者
46岁的贾德星已在浪潮奋斗了26个年头,作为行业的深度参与者,2019年跨年之际,他和团队敏锐地捕捉到云服务的市场趋势。
随着数字经济成为国家战略,服务赋能数字经济发展、提供安全可靠的数据库产品已成为数字经济下的重点攻克方向。而随着数据量呈爆炸式增长,传统的集中式数据库面对大规模数据处理逐渐表现出局限性,分布式数据库具有高可用、强一致性、弹性扩展、高性能等特点,因此成为未来发展趋势。浪潮作为新一代信息技术产业龙头企业,发展分布式数据库产品,既是使命担当,也是历史机遇。
肩负着创新发展的社会责任,浪潮需要提出一套既能顺应技术发展趋势又能同时满足客户需求的解决方案。经过一番深入的调研,团队了解到谷歌发布的NewSQL技术路线。在浪潮看来,这种分布式关系型数据库代表了未来的技术发展趋势。经过反复研讨、论证,与行业专家交流项目的可行性、安全性与意义,最终决定发起分布式数据库项目,开务数据库应运而生。
方向已确定,接下来该怎么做?如何利用云的优势提供弹性、高可用、支持传统数据库访问方法的产品?
对此,行业并没有答案。以先驱者的角色出发,贾德星和他的同事们,踏上了漫漫求解的披荆斩棘之路。
沙漠里的第一棵果树
原始创新是“从0到1”的突破,这意味着开务数据库研发团队要在无人到达过的沙漠中种下第一棵果树。
成立初期,团队面临无数难题,其中之一就是分布式数据库的强一致性事务的处理技术,也就是实现数据多副本、跨机器、跨数据中心、跨地域存储。即使在单机数据库中,事务一致性处理都是极难实现的,在分布式数据库系统中,事务处理的技术难度更是成倍增加。
这其中,如何权衡分布式数据库的强一致性与系统的读写性能之间的关系是研发团队攻克该技术难点时需要重点思考并解决的问题。如果该难点不能得到有效解决,不仅会影响产品的应用场景,也会抵消分布式数据库带来的优势,必将大幅降低开务数据库的产品整体性能。
摸着石头过河,“日常性试错”是团队研发的常态。“为了攻克难题,我们团队内部持续数月进行车轮式研讨和实践,前后参考了国际数据库技术大会的百余篇论文,更是专门组织超50人的攻关团队对调整事务隔离级别、优化副本管理、均衡事务管理、内存事务引擎等关键技术进行逐一突破。” 贾德星表示,没有完整的先例,没有足够的参考,但没有人抱怨、没有人退缩,大家都互相加油打气,传递正能量。
经过半年的努力,开务团队最终以内存事务引擎和智能事务隔离技术为基础,并引入原子钟技术实现分布式事务时间戳的Ture-time机制,成功研发了符合自身需求的强一致性事务处理技术,事务性能得到成倍提升。不仅如此,开务数据库还在分布式架构、功能等方面取得了多项颠覆式创新。
今年上半年,开务数据库研发团队确定了当下要实现的目标:开务数据服务平台,也就是KDP,还有基于分布式关系型数据库的多模架构,面向AIOT场景增加时序引擎、实时引擎和AI引擎,争取实现AIOT场景下的全数据统一管理。
截至目前,KDP整个框架基本功能已经联调通过,并在研发内部进行了演示。各模块都在按计划推进,预计明年三月底会发布alpha版,多模架构也预计明年会完成研发,进入市场与用户见面。