码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【数据仓库工具箱】DW/BI系统的核心元素和基本要求


    核心元素

    DW/BI 环境划分为4个不同的,各具特色的组成部分。分别是:操作型源数据,ETL系统,数据展现和商业智能应用。

    操作型源数据 记录的是操作型系统,用于获取业务事务。源数据关注的是处理性能和可用性。源系统一般不维护历史信息,而这部分责任可以依靠好的数据仓库来实现。

    数据获取-转换-加载 ETL系统 是处于操作型系统和数据展现区之间的部分,1. 获取是将数据从操纵型系统中导入数据仓库中,2. 数据转换,elt系统通过数据清洗/合并来自不同数据源的数据/复制数据等,增强数据价值,3.数据加载,实际构建和加载数据到展现区域的目标维度模型中。elt 过程的主要任务是识别维度和事实,因此其包含的子系统非常重要。

    设计目标:吞吐率、完整性和一致性。

    ⚠️规划化结构难以同时满足可理解性和性能两个目标。
    ‼️ELT需要关注数据质量,一致性和完整性。

    展现区 我们认为数据应该以维度模型来展现,星型模型或olap多维数据库。

    ⚠️处于DW/BI系统的可查询的展现区必须是维度化的,原子的(辅以增强性能的聚集),以业务为中心的。坚持使用总线矩阵结构的数据库,不应该是按照个别部门需要的数据来构建。
    设计目标:方便实用、查询性能

    商业智能BI 比如报表或者随意查询等等。

    将DW/BI系统与餐厅类比
    ETL系统与餐厅后厨
    布置要高效,尽量减少时间运转

    一致性:调味酱要提前做好,菜品的质量也要一致

    厨房的输出要有一定的完整性

    处于前端用餐区的数据展现和BI — 交付的产品是展现区的数据
    菜单:通过元数据/数据报表和参数化分析应用告诉用户什么数据可用。DW/BI 的用户希望获得一致的,良好的数据质量。

    服务:发布的数据要满足需求,快速提供给业务用户和开发人员。

    DW/BI 的基本需求

    1. 方便存取,及时访问和数据获取。
    2. 数据正确。
    3. 数据可用。
    4. DW 支持决策。
  • 相关阅读:
    AI绘画升温、AI写作降温,AIGC玩“变脸”
    Kubernetes学习笔记-StatefulSet:部署有状态的多副本应用(2)20220625
    当设计模式遇上万象:探秘适配器模式的神奇变身
    回溯算法 | 子集问题(递增子序列) | leecode刷题笔记
    Oracle数据库 sql优化
    使用Python操作CSV文件,方便又快捷
    ubuntu22.04 电脑声音和腾讯会议等声音很小怎么修复
    算法分析与设计考前冲刺 (算法基础、数据结构与STL、递归和分治、 动态规划、贪心算法、 回溯算法)
    如何快速地生成一个Python项目的requirements.txt
    Django-(4)
  • 原文地址:https://blog.csdn.net/ALX3li/article/details/138038814
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号