Day08_DM层建设实战，本地视频+md，review第1遍,220625，

DM

• 名称：数据集市层 Data Market

• 功能：基于DWS层日统计宽表，上卷出周、月、年等统计宽表，即粗粒度汇总。

• 解释

  • 从理论层面来说，数据集市是一个小型的部门或工作组级别的数据仓库。

  • 一些公司早期的数据集市后期可能会演变成为数仓系统。

  • 本项目中在数据集市层面主要进行粗粒度汇总，也可以将这些功能下放至DWS层完成。抛弃DM.

使用DataGrip在Hive中创建dm层

注意，对于建库建表操作，需直接使用Hive，因为Presto只是一个数据分析的引擎，其语法不一定支持直接在Hive中建库建表。

create database if not exists yp_dm;

知识点03：DM层搭建--销售主题统计宽表--建模

dm层:在dws的基础上，保持维度和指标不变，计算不同时间粒度的数据。

• dm层:在dws的基础上，保持维度和指标不变，计算不同时间粒度的数据。

• 建表

  整个表和DWS层销售主题统计宽表dws_sale_daycount的区别就在于多了开头的时间粒度字段。

  用于标识后面的指标是哪个时间粒度统计出来的指标。

  

   

  

   

   

   prosto服务器没开，

 

 

 

 

 多行输入时，end键到字段最后，

 

 

 

 子集==left join

--step3:新旧数据的合并  合并的结果及顺序要和DM层目标机一致
 
    coalesce(new.sku_id,old.sku_id) as sku_id,
    --最新的30天的下单指标累积值
    coalesce(new.order_count_new_30d) as order_last_30d_count,
    new.order_num_new_30d as order_last_30d_num,
    new.order_amount_new_30d as order_last_30d_amount
    --最新的总累计下单指标值
        --新的当中最后一天的结果和旧的总累计值，进行累加求和，
        old.order_count+new.order_count as order_count,
        old.order_num+new.order_num as order_num,
        old.order_amount+new.order_amount as order_amount

 

已看完：：：：：：：：：