数仓分层

数仓分层

数据仓库理论上一般分为三层

  1. ODS 数据运营层
  2. DW 数据仓库层
  3. ADS 数据服务层

ODS 数据运营层

OperationDataStore数据准备区,也称为贴源层。
数据仓库源头系统的数据表通常会原封不动的存储一份,称为 ODS 层,是后续数据仓库加工数据的来源。
ODS 层数据的来源方式:

  1. 业务库: 离线方面经常会使用 Sqoop 来抽取,例如每天定时抽取一次。实时方面可以考虑用 Canal 监听 MySQL 的 binlog,实时接入即可。
  2. 埋点日志: 日志一般以文件的形式保存,可以选择用 Flume 定时同步,可以用 SparkStreaming 或者 Flink 来实时接入
  3. 消息队列: 即来自 ActiveMQ、Kafka 的数据等。

DW 数据仓库层

DW 数据仓库层,由下到上可以分为 DWD(数据明细层),DWM(数据中间层),DWS(数据服务层)。
从 ODS 层中获得的数据将按照主题建立各种数据模型。这一层和维度建模会有比较深的联系。

DWD 细节数据层

DWD: Data Warehouse Details 细节数据层,是业务层与数据仓库的隔离层。
主要对 ODS 数据层做一些数据清洗和规范化的操作。(依企业业务需求)
数据清洗: 去除空值、脏数据、超过极限范围的
这一层主要是保证数据的质量和完整,方便后续层中特征分析。

DWM 数据基础层

DWM: 也有的称为 DWB(Data Warehouse Base) 数据基础层,对数据进行轻度聚合,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。

这里最容易搞混,实际生产中甚至跳过这个,只有 dwd 和 dws 层,其实严格要求上来讲,dwd 层数据来源于生产系统,只对数据负责,别的不考虑。而到了 dwm 层,已经开始向我们的业务层靠拢,要根据数据来进行分析和轻度聚合,进行细粒度统计和沉淀。

DWS 数据服务层

DWS: Data Warehouse Service 数据服务层,基于 DWB 上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。按照业务进行划分:流量、用户、订单….用于提供后续的业务查询,OLAP 分析,数据分发等。

ADS 数据服务层

ADS: Application Data Service 应用数据服务,该层主要是提供数据产品和数据分析使用的数据,一般会存储在 ES、mysql 等系统中供线上系统使用。
我们通过说的报表数据,或者说那种大宽表,一般就放在这里。