• 数据治理浅析


    数仓建设真正的难点不在于数仓设计,而在于后续业务发展起来,业务线变的庞大之后的数据治理,包括资产治理、数据质量监控、数据指标体系的建设等。

    其实数据治理的范围很⼴,包含数据本⾝的管理、数据安全、数据质量、数据成本等。在 DAMA 数据管理知识体系指南中,数据治理位于数据管理“车轮图”的正中央,是数据架构、数据建模、数据存储、数据安全、数据质量、元数据管理、主数据管理等 10 大数据管理领域的总纲,为各项数据管理活动提供总体指导策略。

    1. 数据治理之道是什么

    1. 数据治理需要体系建设

    为发挥数据价值需要满足三个要素:合理的平台架构、完善的治理服务、体系化的运营手段

    根据企业的规模、所属行业、数据量等情况选择合适的平台架构;治理服务需要贯穿数据全生命周期,保证数据在采集、加工、共享、存储、应用整个过程中的完整性、准确性、一致性和实效性;运营手段则应当包括规范的优化、组织的优化、平台的优化以及流程的优化等等方面。

    2. 数据治理需要夯实基础

    数据治理需要循序渐进,但在建设初期至少需要关注三个方面:数据规范、数据质量、数据安全。规范化的模型管理是保障数据可以被治理的前提条件,高质量的数据是数据可用的前提条件,数据的安全管控是数据可以共享交换的前提条件。

    3. 数据治理需要 IT 赋能

    数据治理不是一堆规范文档的堆砌,而是需要将治理过程中所产生的的规范、流程、标准落地到 IT 平台上,在数据生产过程中通过“以终为始”前向的方式进行数据治理,避免事后稽核带来各种被动和运维成本的增加。

    4. 数据治理需要聚焦数据

    数据治理的本质是管理数据,因此需要加强元数据管理和主数据管理,从源头治理数据,补齐数据的相关属性和信息,比如:元数据、质量、安全、业务逻辑、血缘等,通过元数据驱动的方式管理数据生产、加工和使用。

    5. 数据治理需要建管一体化

    数据模型血缘与任务调度的一致性是建管一体化的关键,有助于解决数据管理与数据生产口径不一致的问题,避免出现两张皮的低效管理模式。

    2. 浅谈数据治理方式

    如上面所说,数据治理的范围非常广,其中最重要的是数据质量治理,而数据质量涉及的范围也很广

  • 相关阅读:
    sparksession对象简介
    Go语言学习笔记——单元测试
    “WeekendMeaningfulThings“ app Tech Support(URL)
    redhawk: create timing window文件
    淘宝客APP源码/社交电商自营商城源码/前端基于Uniapp开发
    java毕业设计天天好药店管理系统源码+lw文档+mybatis+系统+mysql数据库+调试
    RabbitMQ快速上手及讲解
    在 Python 中,函数是第一类对象
    有一种浪漫,叫接触Linux
    致美网页练习完整代码
  • 原文地址:https://blog.csdn.net/ZHAOHUODIAN888/article/details/126573179