12（第十一章，数据仓库和商务智能）

目录

概述

目标和原则

基本概念

商务智能

数据仓库

数据仓库建设方法

数据仓库架构组件

加载处理方式

1、历史数据

2、批量变更数据捕获（CDC）

3、准实时和实时数据加载

活动

运营分析应用

方法

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型

雪花模型

数据聚合

数据域

度量指标

---

概述

本文的标题中，数据仓库（Data Warehouse，DW）是后端，商务智能则是前端。

目标和原则

数据仓库的建设应该遵循如下知道原则

基本概念

商务智能

商务智能这个术语有两层含义，第一层含义是商务智能指一种理解组织诉求和寻求机会的数据分析活动。第二层含义是商务智能指支持这类数据分析活动的技术集合。

数据仓库

数据仓库有两个重要组成部分，一个集成的决策支持数据库和与之相关的用于收集、清理、转换和存储来自各种操作和外部数据源数据的软件程序。

数据仓库建设方法

Inmon 把数据仓库定义为“面向主题的、整合的、随时间变化的、相对稳定的支持管理决策的数据集合”，用规范化的关系模型来存储和管理数据。而Kimball则把数据仓库定义为“为查询和分析定制的交易数据的副本”。

虽然 Inmon 和 Kimball 提的数据仓库建设方法不同，但他们遵循的核心理念相似:

1. 数据仓库存储的数据来自其他系统。
2. 存储行为包括以提升数据价值的方式整合数据。
3. 数据仓库便于数据被访问和分析使用。
4. 组织建设数据仓库，因为他们需要让授权的利益相关方访问到可靠的、集成的数据。
5. 数据仓库数据建设有很多目的，涵盖工作流支持、运营管理和预测分析。

数据仓库架构组件

源系统，即数据源。

数据集成ETL。

数据存储区域。数据存储区域又包括多个不同用途的存储区域：暂存区、参考数据和主数据一致性维度、中央数据仓库、操作性数据存储（ODS）、数据集市、数据立方体（Cubes）。

加载处理方式

数据仓库涉及两种主要的数据集成处理类型：历史数据加载和持续不断的数据更新。历史数据通常只需要加载一次，或者为了处理数据问题加载有限的几次，然后再也不会加载。

1、历史数据

2、批量变更数据捕获（CDC）

3、准实时和实时数据加载

活动

运营分析应用

三种经典的OLAP实现方法：

1. 关系型联机分析处理（ROLAP）。ROLAP 通过在关系数据库 (RDBMS) 的二维表中使用多维技术来支持 OLAP。星型架构是 ROLAP 环境中常用的数据库设计技术。
2. 多维矩阵型联机分析处理（MOLAP）。MOLAP 通过使用专门的多维数据库技术支持 OLAP
3. 混合型联机分析处理 （HOLAP）。它是 RLAP 和 MOLAP 的结合。HOLAP 实现允许部分数据以MOLAP 形式存储，而另一部分数据存储在 ROLAP 中。控件的实现方式各不相同，设计师对分区的组合也各有不同。

方法

书上写的偏概念，可能重点比较少，这里我举一个简单的例子，以后有事件，单独搞一个相关的规范分享，项目上实际的构建过程。

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型

雪花模型

数据聚合

数据域

度量指标

• 使用指标
• 主题域覆盖率
• 响应事件和性能指标