实时数仓中的分层

与离线数仓不同，实时数仓的计算框架是Flink。

实时架构

 

数据分层

ods层：

存储框架：kafka（可以实时读，可以实时写）

场景：每过来一条数据，读取并存储数据

作用：数据备份

dim层：

存储框架：Hbase、数据量小可使用Mysql、redis

场景：事实表会根据主键获取一条维表数据（永久存储，根据主键查询）

作用：存储维度信息

dwd层：

存储框架：kafka

场景：每过来一条数据，读取并加工处理

作用：存储事实数据

dws层：

存储框架：clickhouse

场景：每过来一条数据，读取并分组累加处理

作用：做汇总数据，宽表提高数据的复用性

ads层：

存储框架：不落地，就是展示数据执行的sql

场景：读取最终数据并展示