四、整体收益
综上所述，通过我们对日志系统的持续演进, 进一步降低了存储成本(至少20%)并增强了日志系统的稳定性, 保证了日志的低延迟、低成本, 以支持全公司的各类日志数据, 以及满足他们的查询和进一步使用需求。我们还基于iceberg实现了离在线一体架构的演进的同时还保持了架构的开放性。
同时, 我们围绕日志作为核心，构建了一整套针对MTTR的日志服务和功能, 包括日志一站式快速分析、基于最小代价的日志聚类、灵活配置打通可观测性平台的日志告警等, 帮助业务显著降低平均故障修复时间。
五、未来展望
在过去半年时间里我们完成了上诉相关的工作，基本解决了开头提到的几大问题。但当前系统仍然存在诸多不足以及功能补齐。
1、clickhouse多集群平滑拆分。解决clickhouse集群越来越大导致的不必要的稳定性问题；
2、日志数据insight能力，帮助业务进行日志管理，简化业务自主日志优化以及降本；
3、基于opentelemery和整个可观测性平台更强的联动，提供更强的根因分析以及排障能力；
4、实现快速海外云上部署。当前方案严重依赖B站大数据体系以及微服务体系，以至于海外云上部署困难重重；
5、统一可观测性平台几大组件底层技术支撑能力。让logs/tracing/metrics基于统一的架构上，实现更大层面的资源混合调度；
6、探索为日志而生的iceberg meta service以及index service可行性，进一步提升对于海量日志查询下的性能；
7、探索更加弹性的数据管道以及消费端组件，提供更灵活的资源调度；
8、探索log-agent基于wasm的动态算子下推能力。
