可以看到,MaxCompute 中的物化视图的功能还是很全的,囊括了分区、聚簇、查询改写、延时物化、穿透、自动生成和自动更新等功能。
MaxCompute 物化视图在淘天业务线的应用效果如下:
在淘天业务线上,目前创建了超 5 千个物化视图,优化的查询任务超 2 万。优化后的查询平均资源的消耗降低了 20% 以上,甚至有一些查询消耗降低了 80%。目前自动物化视图这个功能还在灰度中,预计最终可以创建超 10 万个物化视图,查询的覆盖范围可以达到 50 万,预计将节省 14% 的 CU 资源。
最后是对未来工作的展望。
未来,我们还将在以下方面进行完善:
- 增量更新:虽然现在已经实现分区级的增量更新,可以满足大部分批处理的场景要求,但是对于更新频率要求更高的场景,更新的粒度还有待细化。
- 基于事件触发更新:目前支持定时刷新、手动刷新和分区增量刷新,未来希望可以做到基于事件的更新。
- 扩展外表的使用场景:湖仓一体的时代,大量的数据都存储在 OSS 和 HDFS 上,物化视图也可以作为一个外部数据的缓存去使用。
- 扩展查询改写算子:自动查询改写这块还有很大的扩展空间,比如扩展对 LEFT OUTER/RIGHT OUTER JOIN 的支持,扩展对 GROUP BY、HAVING、ORDER BY、LIMIT 和聚合函数表达式的支持。
以上就是本次分享的内容,谢谢大家。