每种数据分析所要面对的分析需求,应用场景,数据量,数据结构不同,需要有不同的分析类型和技术选型。
数据分析有四种类型:
1.交互分析:分钟级时效性、灵活多维度的分析能力、超高扫描分析性能
应用:统计实时报表,即席查询,如clickhouse
2.离线分析: 长达 T 1 的时效性
应用:数据挖掘,模型训练, 如hive
3.流式分析:固定的分析模式
应用:数据ETL, 定制分析, 如flink
4.检索分析:受限的分析性能,一般需要索引支持检索
应用:实时观测,访问跟踪,如ES
传统关系型数据库OLTP,专注事务处理。
交互式分析OLAP(Online Analytical Processing),对海量数据进行多维度、交互式的统计分析能力,以充分利用数据的价值进行量化运营、辅助决策等,帮助用户提高生产效率。
交互式分析主要应用于统计实时报表、即席查询(Ad Hoc)等领域,前者查询模式较固定,后者即兴进行探索分析。
代表场景例如:移动互联网中 PV、UV、活跃度等典型实时报表;
互联网内容领域中人群洞察、关联分析等即席查询。
用户数据:在网站、App 和游戏中,对用户数据的点击、时长等使用数据进行收集,构建用户特征分析大宽表。
企业数据:经营分析,对数亿业务记录或更大规模的大宽表和数百维度的查询,都能在亚秒级内响应,得到查询结果。
孜孜不倦,每日一学