• Flink Icerberg 离线输仓-维度建模过程（二）

    维度建模过程

    维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实

    选择业务过程

    在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。

    声明粒度

    数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。 声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来应各种各样的需求。

    典型的粒度声明如下：

    订单事实表中一行数据表示的是一个订单中的一个商品项； 支付事实表中一行数据表示的是一个支付记录。

    确定维度

    维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。 确定维度的原则是：后续需求中是否要分析相关维度的指标。

    原始数据格式及字段含义

    DWD层 6张基础表

    基础表事实表和维度表
    1.  
    2. //member_log 用户基本信息表
    3.  
    4. member_log 用户基本信息表
    5. {
    6.  
    7. "ad_id": "0",                 //广告id
    8.  
    9. "birthday": "1981-08-14",     //出生日期
    10.  
    11. "dt":"20190722",              //日期分区
    12.  
    13. "dn": "webA",                 //网站分区
    14.  
    15. "email": "test@126.com",
    16.  
    17. "fullname": "王69239",         //用户姓名
    18.  
    19. "iconurl": "-",
    20.  
    21. "lastlogin": "-",
    22.  
    23. "mailaddr": "-",
    24.  
    25. "memberlevel": "6",            //用户级别
    26.  
    27. "password": "123456",          //密码
    28.  
    29. "paymoney": "-",
    30.  
    31. "phone": "13711235451",        //手机号
    32.  
    33. "qq": "10000",
    34.  
    35. "register": "2016-08-15",     //注册时间
    36.  
    37. "regupdatetime": "-",
    38.  
    39. "uid": "69239",  //用户id
    40.  
    41. "unitname": "-",
    42.  
    43. "userip": "123.235.75.48",    //ip地址
    44.  
    45. "zipcode": "-"
    46.  
    47. }
    48.  
    49.  
    50. member_regtype 用户跳转地址注册表
    51. {
    52.  
    53. "appkey": "-",
    54.  
    55. "appregurl": "http:www.webA.com/product/register/index.html",  //注册时跳转地址
    56.  
    57. "bdp_uuid": "-",
    58.  
    59. "createtime": "2015-05-11",
    60.  
    61. "dt":"20190722",        //日期分区
    62.  
    63. "dn": "webA",           //网站分区
    64.  
    65. "domain": "-",
    66.  
    67. "isranreg": "-",
    68.  
    69. "regsource": "4",       //所属平台 1.PC  2.MOBILE  3.APP   4.WECHAT
    70.  
    71. "uid": "0",             //用户id
    72.  
    73. "websiteid": "0"        //对应basewebsitelog 下的siteid网站
    74.  
    75. }
    76.  
    77.  
    78. base_ad_log 广告基础表原始json数据
    79.  
    80. {
    81.  
    82. "adid": "0",                  //基础广告表广告id
    83.  
    84. "adname": "注册弹窗广告0",     //广告详情名称
    85.  
    86. "dn": "webA"                  //网站分区
    87. }
    88.  
    89.  
    90. base_website_log 网站基础表原始json数据
    91. {
    92.  
    93. "createtime": "2000-01-01",
    94.  
    95. "creator": "admin",
    96.  
    97. "delete": "0",
    98.  
    99. "dn": "webC",                  //网站分区
    100.  
    101. "siteid": "2",                 //网站id
    102.  
    103. "sitename": "114",             //网站名称
    104.  
    105. "siteurl": "www.114.com/webC"  //网站地址
    106.  
    107. }
    108.  
    109. //pcentermempaymoneylog 用户支付金额表
    110. {
    111.  
    112. "dn":"webA",  //网站分区
    113.  
    114. "paymoney":"162.54",   //支付金额
    115.  
    116. "siteid":"1",          //网站id对应 对应basewebsitelog 下的siteid网站
    117.  
    118. "dt":"20190722",       //日期分区
    119.  
    120. "uid":"4376695",       //用户id
    121.  
    122. "vip_id":"0"           //对应pcentermemviplevellog vip_id
    123.  
    124. }
    125.  
    126. //pcentermem_vip_level_log用户vip等级基础表
    127. {
    128.  
    129. "discountval": "-",
    130.  
    131. "dn": "webA",                  //网站分区
    132.  
    133. "end_time": "2019-01-01",      //vip结束时间
    134.  
    135. "last_modify_time": "2019-01-01",
    136.  
    137. "max_free": "-",
    138.  
    139. "min_free": "-",
    140.  
    141. "next_level": "-",
    142.  
    143. "operator": "update",
    144.  
    145. "start_time": "2015-02-07",    //vip开始时间
    146.  
    147. "vip_id": "2",  //vip id
    148.  
    149. "vip_level": "银卡"             //vip级别名称
    150.  
    151. }
    152.  
    153.

    DWS层 宽表和拉链表

    针对dws层宽表的支付金额（paymoney）和vip等级(vip_level)这两个会变动的字段生成一张拉链表，需要一天进行一次更新

    ADS报表层各指标统计

    统计通过各注册跳转地址(appregurl)进行注册的用户数

    统计各所属网站（sitename）的用户数

    统计各所属平台的（regsourcename）用户数

    统计通过各广告跳转（adname）的用户数

    统计各用户级别（memberlevel）的用户数

    统计各分区网站、用户级别下(dn、memberlevel)的top3用户

  • 相关阅读:
    小程序封装组件简单案例，所有小程序适用（传入参数、外抛事件、传入样式）
    HDMI接口含义
    MySQL数据库入门到精通4--进阶篇(SQL优化)
    记录UNIAPP打包苹果iOS·APP
    数学建模--优化类模型
    FLStudio2024汉化破解版在哪可以下载？
    采用 guidance 提高大模型输出的可靠性和稳定性
    网页制作课作业基于HTML+CSS+JavaScript+jquery仿慕课网教学培训网站设计实例 企业网站制作
    [附源码]计算机毕业设计springboot个人博客系统
    Kotlin的标准函数和静态方法
  • 原文地址：https://blog.csdn.net/wank1259162/article/details/125600428