优池智能手表使用说明书,优池手表说明书

首页 > 实用技巧 > 作者:YD1662024-02-25 11:01:55

TGDB 分布式图数据库从内部架构上主要分 3 层:

TGDB 图数据库系统在集群部署的架构是完全分布式去中心化的,各个节点都很平权,不存在单 master 的单点故障或为了防止该问题而导致的系统复杂度。

底层数据一致性基于一套稳定的消息队列和快照机制,使得任何节点和过程都可以假设一个虚拟的稳定的中间信息交互平台,并且平台保证消息的全局一致性、排序、最高一次送达等保证,同时支持多份热备,结合合理的机柜布局,可以保证高容错能力。

从技术层面上来讲,TGDB 是如何才能实现万亿级关联关系数据实时查询?对此,邵宗文做了详细的解释。

他说到,大规模的实时查询不是一个简单的查询分流或者优化就可以解决的,需要查询计划优化、高并发任务处理机制、分布式底层资源管理与系统部署架构的紧密配合才能高效实现。

具体来说,TGDB 首先把每个查询或计算请求变成一个优化的 DAG(Directed Acyclic Graph),分布式任务通过 DAG 模型保证前置依赖正确完成,每个 DAG 的顶点是一个可执行任务,边是一个逻辑先后关系或数据传输任务,各个机器节点并行调度分解任务,每个 DAG 被分解成了多个没有相互依赖的独立计算任务,这类计算任务变的非常容易被并行的分发与执行,因为任务之间没有了依赖关系以及消息发送/接受/处理等问题,大大降低了系统任务控制复杂度,实现了高并发计算工作流优化控制。

TGDB 分布式资源管理逻辑负责统一管理和调度集群的计算资源和数据存储资源,任何分布式机器节点上都可以进行任务注册和发布,支持跨多平台移植,功能上提供任务的监控、转移和恢复。分布式资源管理使用了 bag of tasks 模式,在平台内构建了资源池,使得其中的计算任务可以被各个节点智能获取执行,高效发挥去中心化自组织架构的优势,实现最优化、无瓶颈、高容错的调度分布式资源。

简单地说,基于这样的设计,高并发的实时查询可以被系统分拆成易于分布式并行执行的单元,被整个系统优化执行。

原生图存储

从存储计算方式上来说,TGDB 使用了原生图存储,不依赖于任何第三方数据存储平台,如 HBase 或 RocksDB 等,存储系统是腾讯自主研发,这一点和国外的 Neo4j 等原生图类似,而不同于开源的 JanusGraph 等产品。

相比之下,原生图在查询和运算速度上比非原生图有巨大的性能优势。为了说明这一点,邵宗文打了个比方:原生图上层和存储通讯相当于一个人自己与自己在脑中对话,非原生图上层和第三方存储通讯相当于人和人之间用语言来沟通,需要喊一声,对方听到,再回复。可以看到,非原生模式下,性能代价更高,尤其是在进行深度图查询、多轮迭代计算、图的数据量变时,劣势会更加明显。

图切割算法

传统的图算法大多是基于矩阵来进行表达和运算的,而 TGDB 的另一个技术特点是分布式,不仅是系统架构和部署上的分布式,更重要的是分布式的图分割算法和其他分布式图算法的设计和实现。是否支持图分割也是一个图数据库是否能真正支持线性扩展的关键,这一点与一些其他数据库产品有本质区别。TGDB真正实现了把一张大图分割成一片一片的小图,分散到各个分布式节点存储,而不是用 Raft 协议等搭建一个单节点,全图没有图切割、分布式节点上每一个节点都是全图的存储方式。显然,后者本质上还是要把所有数据在一台单机上存储,无法真正支持数据量的延展。TGDB 是原生的分布式图数据库,数据存储抽象就是顶点和边,不是矩阵的形式,同时进行了图分割,把一张大图分成了很多片存放在了多台服务器上。在这种新的结构下,传统的图算法需要彻底重写,变成用顶点和边的形式、充分考虑图数据分片的分布、极致优化跨服务器消息传输的方式,以实现可扩展的分布式并发执行。

其他特性

在查询语言方面,TGDB 支持 Neo4j 的 Cypher 语言,可以和 Neo4j 进行简单替换,也支持易用的图形用户界面,让分析人员不用编程就可以快速进行图管理和图迭代分析。

TGDB 具有高扩展、高集成、运算快、轻部署等特点,核心功能如下表:

优池智能手表使用说明书,优池手表说明书(5)

TGDB 目前支持多种算法并在不断增加,同时,它可以和腾讯的柏拉图计算引擎平台结合,输出算法能力,包括一些图神经网络的算法。另外,邵宗文提到,如前所述,传统图算法在分布式架构下需要被重构优化,TGDB 在这方面还有很多科研任务要完成,这也是学术上的一个前沿领域。

优池智能手表使用说明书,优池手表说明书(6)

图数据库展望:首先在金融领域有爆发式增长

作为图数据库领域专家,邵宗文从技术创新和应用两方面对图数据库未来的发展趋势做了一个预测。

他预计,图数据库预计会首先在金融领域有爆发式增长,因为之前传统的关系型数据库或大数据其实受限于先天架构问题,比如传统数据库无法很好解决金融风控相关问题,以及员工和亲属、员工与客户、客户之间的关系、业务合规的关系,这些都是非常复杂的关系。

另外,随着 5G 时代的到来,人与人、人与物、物与物的联结信息会越来越多,这也为图数据库提供了很好的发展机会。

优池智能手表使用说明书,优池手表说明书(7)

TGDB 未来规划:到传统行业大展拳脚

当前,TGDB 的应用场景包括互联网、金融风控、物联网、电力网络、电子商务、智慧交通、生物序列研究、医疗诊断决策、疾病传播分析、辅助司法决策、公共安全等。但在未来,邵宗文表示,TGDB 还将深挖传统行业,如能源、电力行业数据之间的关联。他说道,这些行业虽然已经具备了一定的数据整合能力,但数据之间关联关系的挖掘其实还比较困难,以电力知识图谱为例,支持对电网中接入的各类时序量测数据进行存储和更新,并直接对电网中电力设备的从属关系和拓扑结构进行表示,全面揭示设备状态和设备之间的关系,实现全网设备的监控与管理。不同于传统的基于向量和矩阵进行大型运算的耗时操作,由于复杂的电力网络及知识以图结构进行了表示,可以直接在图上进行查询和计算,并将计算结果直接作为图中的元素进行存储,大幅提升电网计算和分析效率,实现电网运行方式检索、设备状态推理、设备画像和家族性缺陷分析等应用。

而这些,都是 TGDB 未来可以大展拳脚的领域。

优池智能手表使用说明书,优池手表说明书(8)

上一页123下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.