1. 数据治理体系

 1.1 背景

        > 数据治理是大数据的基础

        > 数据应用未得到有效管理（标准不统一）

        > 数据安全问题

        > 数据孤岛

 1.2 数据治理的定义

• 指对数据质量的管理、专注在数据本身。
• 数据治理是对数据的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等，整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。

1.3 数据治理的价值

        从数据产生、采集、加工、存储、应用到销毁的过程中，可能在各个环节引入各种问题。而数据治理就是要不断消除引入的问题，以高质量、高可用、高安全的方式为业务、决策提供数据，有效管理企业数据资产，实现数据价值的最大化。

        

[数字化转型]  即利用新一代信息技术，构建数据的采集、传输、存储、处理和反馈的闭环，打通不同层级与不同行业间的数据壁垒，提高行业整体的运行效率，构建全新的数字经济体系。

[问题]  数据无法匹配，数据不可识别，数据不一致，数据沉余重复，实效性不强，精度不够，没有统一的数据标准，各业务系统间数据无法充分共享，跨系统无法拉通，关键核心数据无法识别，成本高，安全问题，效率低

1.4 数据治理目标

• 高质量

  通过数据治理，确保数据完整性、有效性、及时性、一致性、准确性、唯一性，是数据产生价值的基础保障

• 高可用

  数据治理创造一个开放的生态系统，依靠多方资源的协同，推动多主体、多领域、数据多要素等的整合、互补，进一步提升数据价值

• 高安全

  通过严谨可控的数据治理措施，数据治理和分享的过程是安全可控的，这个过程不会侵犯用户隐私，不会给组织本身留下安全隐患，控制风险

（持续提升数据质量和数据全流程打通；提升运营效率，降低成本，减少风险）

1.5  内容构成

        数据治理流程：建组织、定标准、管流程、搭平台、做衡量

        

2 大禹-DGC平台

        数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台，提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业客户快速构建数据运营能力。

 

对于数据治理的思考：

• 管理有用、高质量的数据，让数据清洁有序，释放千行百业数据的价值；

2.1 规范设计

DGC规范设计以关系建模、维度建模理论支撑，实现规范化、可视化、标准化数据模型开发，定位于数据治理流程设计落地阶段，输出成果用于指导开发人员实践落地数据治理方法论。

• 主要模块

（1）主题设计

主题设计也是业务分层设计，用于指导后续针对指标维度、事实表模型的构造。首先我们来了解一

下什么是业务分层：业务分层是华为定义的一套数据资产的分层，共分为 L1-L5 五层，每层概念如

下：

• 主题域分组（L1）：大的信息分类，每个主题域分组对应一个公司关注的业务领域的数据。

  例：智慧园区整体【多个数据库多个系统】。

• 主题域（L2）：大信息分类下的子系统。例：大合同（划分管辖范围）、子系统数据库【（多）个数据库一个系统】。

• 业务对象（L3）：一般具有身份、状态、管理、内部结构等属性。例：客户合同（合同下有好几张Order表、合同双方的Person表等）、购物车模块（Cart里有多个仓库，仓库下有多个产品）【一个业务模块，多张表的整合】。

• 逻辑数据实体/逻辑实体（L4）：将业务对象的属性进行分组。例：一个订单（Order表）、一个购物车（Cart表）【数据库里的一张表】。

• 属性（L5）：表里的一个属性。例：一个订单里的PO#（Order表中的po属性）【一张表中的一个字段】。

2.技术指标

• 原子指标是最基础的算子，是维度模型下表的某个属性或针对该属性简单的运算，不包含统计维度的限定。

• 衍生指标则针对原子指标添加了维度的限定，使之具有参考价值。

• 复合指标则是多个衍生指标的聚合。

（3）规范设计

        构建统一的数据分类标准、数据标准体系、指标体系、数据模型体系。

2.2 数据集成

云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。

• 功能

2.3 数据

数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。

2.4 数据质量

数据质量是通过定义相关规则，对数据进行质量的检测，支持自动化监控数据质量变化，并生成相应的质量报告，对质量不合格数据进行告警。帮助提高整体数据可信度与可用度。

• 功能

  功能	场景
  业务指标监控	自定义SQL指标，通过指标的逻辑表达式定义规则，配置作业调度周期，通过业务场景运行结果，判断业务指标是否满足质量规则。1.新建指标。2.新建规则。3.新建业务场景
  数据质量监控	完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。1.新建规则模板。2.新建质量作业3.新建对账作业

2.5 数据服务

DGC数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力，涵盖API发布、管理、运维、售卖的全生命周期管理，帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成，向合作伙伴、开发者开放功能和数据。

• 功能

  功能	场景
  创建API	支持向导模式生成API和脚本模式生成API
  调试API	API创建支持在线调试，其中后端路径中含有环境变量的API，不支持调试。API绑定签名密钥时，不支持调试。
  发布API	数据服务是数据对外开放的最后一道防线，为了安全起见，在数据服务中生成的API以及注册的API，都需要发布到服务目录中才能对外提供服务。
  管理API	发布API后可设置对外可见和可见范围。可以选择为“当前工作空间可见”、“当前项目可见”或“当前租户可见”。
  调用API	1.获取API：从服务目录获取需要调用API。仅在API发布后，才支持被调用。2.（可选）创建应用并获取授权对于使用APP和IAM认证的API，需要完成创建应用和将API授权给应用。在API调用过程中，使用所创建应用的密钥对（AppKey、AppSecret），数据服务根据密钥对进行身份核对，完成鉴权。3.API调用者完成以上步骤后，可以参考数据服务SDK参考进行API调用。
  流量控制	DGC数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略，能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。

2.6 数据资产

针对DGC上的数据资产进行管理，包括资产统计，血缘分析，数据权限，数据密级，原数据采集等功能。支撑对数据资产的可视化管理。

• 功能

  功能	场景
  数据地图	数据地图围绕数据搜索，服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者，提供方便快捷的数据搜索服务，拥有功能强大的血缘信息及影响分析。
  数据权限	为确保数据使用安全可控，使用数据表需要先申请权限。数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。
  数据安全	数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施，帮助用户建立安全预警机制，增强整体安全防护能力，让数据可用不可得和安全合规。
  元数据采集	元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。

1.7 管理中心

数据连接：通过配置数据源信息，可以建立数据连接。DGC基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 资源迁移：可使用数据湖治理中心DGC的资源迁移功能，对资源进行导入导出。 支持迁移的资源包含数据服务、元数据分类、元数据标签、元数据采集任务和数据连接。