12.0要升级12.4吗,12.0版本建议往上升级吗

首页 > 经验 > 作者:YD1662022-11-01 16:12:11

① 单点爆炸问题

单点爆炸需要对数据进行去重。Clickhouse 对数据去重不友好,需要在内存中缓存数据后进行存储;也可以利用 replaceMergeTree 引擎,每次去重需要执行 OPTIMIZE TABLE visits PARTITION xx 操作;使用 MergeTree 引擎,需要用 distinct 去重,但导致数据库存储的数据量增多,磁盘存储空间消耗大。IoTDB 和 TDengine 则原生地支持了根据时间戳写入去重。

云智慧的智能运维平台架构如图,平台可以处理 IT 和 OT 设备产生的数据。数据上报后,经过 Kafka 消息队列写入智能运维算法平台。元数据存储在 MySQL 中,时序数据存储到 IoTDB 和云智慧自研的 DODB 内。上层应用包含指标管理、指标问题发现、异常检测和单指标预测和分析及日志分析、事件分析等引擎,云智慧也提供了基于 Tensorflow 的智能分析引擎。

12.0要升级12.4吗,12.0版本建议往上升级吗(13)

云智慧的很多成员是 IoTDB 的 Commiter,我们对社区进行了回馈。我们向IoTDB 社区贡献了 Prometheus 的分布式、长时间跨度的持久化存储方案,使用 IoTDB 作为 Prometheus 的外存,代码已经合并到 IoTDB 主干分支。

12.0要升级12.4吗,12.0版本建议往上升级吗(14)

Prometheus 内部主要分为三大块, Retrieval 是负责采样指标数据,TSDB(内置的本地存储时间序列数据库)是负责存储采样数据,PromQL 是 Prometheus 提供的查询语言模块。同时为了解决数据持久化的问题和更好的进行弹性扩展,Prometheus 提供了 http 接口:remote_write 和 remote_read,来实现数据的远程的读、写操作达到监控与数据分离的目的。

我们把 Prometheus labels 的 key 和 value 作为 IoTDB 的 tags,同时lables 中的 value 作为路径 Mertic name 当作 measurement 存储,通过这一的方式完成了 Prometheus 原始采样数据转换为 IoTDB 数据模型进行存储的操作。

12.0要升级12.4吗,12.0版本建议往上升级吗(15)

该方案让 Prometheus 可以存储更长时间跨度的数据,效果如图。

12.0要升级12.4吗,12.0版本建议往上升级吗(16)

上一页12345下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.