数据之道读书笔记-08打造“清洁数据”的质量综合管理能力

数据之道读书笔记-08打造“清洁数据”的质量综合管理能力

越来越多的企业应用和服务都基于数据而建，数据质量是数据价值得以发挥的前提。例如企业运营效率主要依赖于数据获取的准确性和及时性，企业客户关系管理系统中的错误或不完整数据将导致客户沟通不顺畅，影响客户满意度。

随着数据类型、数据来源的不断丰富以及数据量的飞速增长，企业面临数据质量问题的概率显著增加。数据质量是一个复杂问题，往往是多种因素综合作用的结果，解决数据质量问题要从机制、制度、流程、工具、管理等多个方面发力。

本章讲述数据质量基本概念和管理框架，详细说明数据质量控制、数据质量改进、数据质量度量的基本方法。

---

8.1 基于PDCA的数据质量管理框架

企业数据来源于多个不同的业务系统，数据流转、处理环节多，用“Garbage in Garbage out（垃圾进，垃圾出）”原则保证数据质量已成为数字化转型企业的共识。企业数据质量管理是一个系统性的工程，华为数据质量从数据质量领导力、数据质量持续改进、数据质量能力保障三方面展开，有机结合形成联动。

8.1.1 什么是数据质量

ISO9000标准对质量的定义为“产品固有特性满足要求的程度”，其中“要求”指“明示的、隐含的或必须履行的需求或期望”，强调“以顾客为关注焦点”。

在Won Kim的论文“A Taxonomy of Dirty Data”中，数据质量被定义为“适合使用”，即数据适合使用的程度、满足特定用户期望的程度。

数据质量不是追求100%，而是从数据使用者的角度定义，满足业务、用户需要的数据即为“好”数据。

华为数据质量指“数据满足应用的可信程度”，从以下六个维度对数据质量进行描述。

1）完整性：指数据在创建、传递过程中无缺失和遗漏，包括实体完整、属性完整、记录完整和字段值完整四个方面。完整性是数据质量最基础的一项，例如员工工号不可为空。

2）及时性：指及时记录和传递相关数据，满足业务对信息获取的时间要求。数据交付要及时，抽取要及时，展现要及时。数据交付时间过长可能导致分析结论失去参考意义。

3）准确性：指真实、准确地记录原始数据，无虚假数据及信息。数据要准确反映其所建模的“真实世界”实体。例如员工的身份信息必须与身份证件上的信息保持一致。

4）一致性：指遵循统一的数据标准记录和传递数据和信息，主要体现在数据记录是否规范、数据是否符合逻辑。例如同一工号对应的不同系统中的员工姓名需一致。

5）唯一性：指同一数据只能有唯一的标识符。体现在一个数据集中，一个实体只出现一次，并且每个唯一实体有一个键值且该键值只指向该实体。例如员工有且仅有一个有效工号。

6）有效性：指数据的值、格式和展现形式符合数据定义和业务定义的要求。例如员工的国籍必须是国家基础数据中定义的允许值。

8.1.2 数据质量管理范围

提到数据质量管理，经常有人会问：数据质量和流程质量有什么区别？流程质量是基于流程结果评估业务执行的好坏，数据质量更关注业务对象、业务规则、业务过程、业务结果等数据是否得到了及时记录。以采购验收为例，采购验收及时性属于流程质量，送达到验收所需时间满足3天的SLA即属于流程质量合格；而验收数据录入及时性属于数据质量，验收到录入所需时间满足1天的SLA即属于数据质量合格。

8.1.3 数据质量的总体框架

华为以ISO8000质量标准体系为依据，设计了PDCA（Plan、Do、Check、Action、计划、执行、检查、处理）持续改进的数据质量管理框架，如图8-1所示。

数据质量管理以数据清洁为目标，以业务需求为驱动，通过PDCA的循环，提升数据质量，达到数据质量结果满意。领导力模块通过制定政策、规范来构建数据质量管理机制，对数据质量的工作起牵引作用。能力保障模块构建完整的数据组织、流程和工具，起到支撑作用。
（1）自上而下打造数据质量领导力
数据质量政策应该有不同的层次，数据质量的管控要兼顾宏观方面的指导原则以及微观层面的具体操作要求，引导正确的业务行为，提升企业成员的数据质量意识。
（2）全面推进数据质量持续改进机制
提升数据质量是为了满足业务应用，业务战略变化会产生新数据，对数据应用提出更高的要求，使得数据质量管理范围、目标发生变化，因此数据质量管理是动态、持续的循环过程。
（3）不断加强数据质量能力保障
数据质量管理具有专业性，需要专业团队制定数据质量管理策略、流程、规范等，通过技术工具实现自动融入日常业务。通过不断提升数据质量管理组织的管理水平、改善数据质量工具平台，使企业数据质量获得进一步提高。

8.2 全面监控企业业务异常数据

不论做了多少数据质量预防措施，实施多严格的数据质量过程控制，只要涉及人为干预，总会存在数据质量的问题。为了避免或降低数据质量对业务的影响，要能及时发现数据质量问题。问题的发现既可以“正向”主动监控，也可以“逆向”通过下游环节反馈问题来识别。主动发现、制定解决方案、采取行动，比被动采取补救措施效果更好，并且代价更小。数据质量监控环节必不可少，本节重点讲述基于异常数据的数据质量监控。

8.2.1 数据质量规则

异常数据是不满足数据标准、不符合业务实质的客观存在的数据，如某位员工的国籍信息错误、某位客户的客户名称信息错误等。

数据在底层数据库多数是以二维表格的形式存储，每个数据格存储一个数据值。若想从众多数据中识别出异常数据，就需要通过数据质量规则给数据打上标签。

数据质量规则是判断数据是否符合数据质量要求的逻辑约束。在整个数据质量监控的过程中，数据质量规则的好坏直接影响监控的效果，因此如何设计数据质量规则很重要。

依据数据在数据库落地时的质量特性及数据质量规则类型，设计如下四类数据质量分类框架。
1）单列数据质量规则。关注数据属性值的有无以及是否符合自身规范的逻辑判断。
2）跨列数据质量规则。关注数据属性间关联关系的逻辑判断。
3）跨行数据质量规则。关注数据记录之间关联关系的逻辑判断。
4）跨表数据质量规则。关注数据集关联关系的逻辑判断。
华为结合ISO8000数据质量标准、数据质量控制与评估原则（国标SY/T 7005—2014），共设计了15类规则，具体如图8-2所示。

规则类型的详细说明如表8-1所示


当我们发现某个数据格的数据异常时，往往会思考这一列其他的数据格是否也存在同样的问题，是否应该对这一列的其他数据格进行检查。因此数据质量规则一般以业务属性（即数据列）为对象，数据质量规则类型为颗粒度进行设计和应用。这样既方便获取业务属性的整体数据质量状况，又可清晰定位异常数据、识别严重问题、制定解决方案，同时数据质量规则也不会因互相交织而过于庞大，方便后续的运营维护。

我们以员工“邮箱地址”业务属性为例设计数据质量规则进行数据质量检查。根据业务问题反馈、数据源剖析及15类数据质量规则对数据遍历的综合结果，我们设计了“不可为空类”“语法约束类”“格式规范类”三个数据质量规则进行数据质量检查。同时对这三个子规则向上收敛，形成“邮箱地址”业务属性的完整的主规则，这种层级关系我们称之为“规则树”，如图8-3所示。

通过规则树，我们既能统计出共有多少员工的“邮箱地址”数据异常，又可分别统计各子规则的异常数量，从而快速识别出当前哪个问题更严重（异常数量越多，问题越严重）。因此我们在制定相应的解决方案时，可能会优先解决问题严重的子规则。
在如图8-4所示的规则应用结果中，我们可以看到6位员工的“邮箱地址”有异常，其中“不可为空类”的异常有5个，占比最大，且解决此问题的技术手段简单，成本较低。因此我们决定先解决邮箱地址“不可为空”的问题，在数据产生系统中根据数据质量规则增加防呆设计。

这里需要强调的是，并不是每一个属性都会涉及上述15类规则，例如“记录唯一类”规则，适用于“员工ID”但不适用于“员工姓名”；“值域约束类”规则，仅适用于有枚举值列表的业务属性。同时，随着解决方案的落地、历史数据的清理、新需求的开发，需要进行监控的数据质量规则也会随之新增、变更、取消。例如上面所提到的“邮箱地址”的“不可为空类”规则，当IT系统实现了防呆功能且完成历史数据清理后，监控持续一段时间里异常率都为0，则规则可下线。所以，数据质量规则的生命周期是随着数据治理范围的扩大和数据治理程度的深入而更新的。

8.2.2 异常数据监控

质量控制是通过监控质量形成过程，消除全过程中引起不合格或不满意效果的因素，以达到质量要求而采用的各种质量作业技术和活动。要保证最终交付质量，必须对过程进行质量控制，通常是在过程中设置关键质量控制点。例如，可以在数据录入阶段设置规则程序，从源头避免不可接受的数据进入系统。

数据质量控制的目的是致力于满足数据质量要求，消除或减少异常数据。数据质量控制可以在数据的生命周期内的不同时点被应用，来测试数据的质量和其是否适合于其所在的系统。华为通过数据质量监控平台，以异常数据管理为核心，实施数据质量控制，如图8-5所示。

1. 识别监控对象范围，确定监控内容
数据质量控制从明确业务需求开始，根据业务规划和数据相关方的需求，阶段性确定数据质量控制范围。
从定性、定量两个维度识别关键数据，定性维度参考以下原则。
（1）重要性原则
关键主数据和基础数据：公司级、领域级主数据，如产品、客户、供应商、组织、人员、站点。
关键的事务数据：主交易流的核心事务数据，如客户合同、BOQ、工程服务采购PR、S&OP计划、采购PO。
痛点问题：领域业务运营痛点问题、公司级变革、攻关项目、业务核心KPI等涉及的对象纳入度量，如产品Item。
（2）成本效益原则
运作成熟且质量较高的数据，或度量成本很高但预期的改进很少的数据，可不优先考虑。
数据管家也可通过收集业务需求、数据质量问题等其他途径从中筛选当前需监控的数据。

领域数据质量策划样例如图8-6所示，图中领域数据质量监测范围选择，以当期业务运营重点工作“1个全局运营场景、4个核心领域运营场景、2个质量运营场景”作为基础范围，再按照重要性打分排序，筛选出数据质量监控优先级高的业务对象。之后，通过运营管理重点、影响范围、数据质量痛点、下游流程路径选择、与其他属性有逻辑关系等因素，确定业务对象的关键属性集。明确关键数据范围后，通过IT工具配置数据质量规则，识别异常数据。

2. 数据源剖析
在着手设计数据质量规则前，需对数据进行快速数据剖析，目的是分析数据源的内容、质量和结构，同时发现和分析数据源中的所有数据不规范问题和使数据项目处于危险中的隐藏数据问题。
数据剖析摘要视图示例如图8-7所示，其显示了配置文件中所有列和规则的属性。摘要视图包含属性的可视化表示形式。

1）数据源内容：如从上述数据源剖析结果的摘要视图中，我们可以了解到此表包含员工工号、姓名等内容，即列信息等。
2）数据源结构：包括技术结构和业务结构。技术结构指空值频率、相异值频率、值范围（最大值、最小值）、模式、长度、数据类型。业务结构如组织结构存储是平面结构还是树状结构。
3）数据源质量：根据数据标准分析剖析结果的数据质量，例如必填字段是否有空值存储，有允许值列表中的值个数与相异值频率是否一致等。
数据剖析可以更好地识别需要监控数据的质量要素，如图8-8所示。
3. 设计和配置监控规则，自动监测异常数据
上一节已详细讲述了如何设计质量规则，部署质量监控规则，对目标数据进行质量监控，并对发现的数据异常情况进行告警。目前华为数据质量监控平台已实现质量规则的可配置、数字化、快速部署、自动监控识别异常数据等能力，并可随时间推移，制定周期性监控计划，监视数据质量的进展情况，并通过虚拟化的方式快速、灵活发布监控结果，如图8-9所示。

可利用自助分析工具开发在线数据质量分析报告，通过前端工具不仅能够查看监控结果汇总数据，而且能够通过钻取功能查看异常明细数据，以便业务人员准确定位业务系统的异常数据。

8.3 通过数据质量综合水平牵引质量提升

通过数据质量度量综合评价公司整体数据质量水平，制定数据质量基线，披露数据质量问题与短板，促进问题改进，推动数据Owner承接数据质量改进目标，持续提升数据质量，实现数据清洁。

8.3.1 数据质量度量运作机制

（1）度量模型
过程设计与执行结果并重，设计质量评估信息架构的建设，执行质量评估数据清洁。数据质量度量模型如图8-10所示。

（2）数据Owner职责要求
1）公司数据Owner：下达数据质量目标，并签发数据质量度量报告；基于数据质量结果及改进状况，对相应数据Owner进行奖励及问责。

2）各领域数据Owner：承接公司数据Owner设定的数据质量目标；明确数据质量问题改进责任人，并推动问题闭环管理；对数据质量度量结果负责，依据要求向公司数据Owner述职。

（3）专业支撑组织职责要求
1）公司数据管理部：根据公司数据管理工作规划，制定数据质量目标；组织数据质量度量工作开展，发布公司数据质量度量报告；组织评审数据质量标准及指标，并验收数据质量问题闭环状况。

2）各领域数据管理部：基于公司数据质量度量工作要求，拟定数据质量标准并设计指标，执行数据质量度量；组织各领域业务专家，分析数据质量问题根因，制定改进举措及闭环管理。
（4）度量规则
1）度量对象选定原则：聚焦业务运营痛点数据和影响财报的关键数据。

2）度量频率：一年度量两次。上半年度量期间为1月～6月，重点监控质量改进状况；全年度量期间为1月～12月，综合评价质量达成水平。
3）度量方法：从“设计”及“执行”两个方面开展，通过“设计”明确架构及标准，通过“执行”反映其质量结果。
4）评价标准：统一采取百分率的方式评价，并根据度量得分划分如表8-2所示的五档。

8.3.2 设计质量度量

为确保设计质量标准稳定，从信息架构的四个角度（数据资产目录、数据标准、数据模型、数据分布）进行综合评估，其范围覆盖度量期间内已通过IA-SAG评审发布的所有数据资产。当实际业务有例外场景时，可向IA-SAG专业评审团申请仲裁，若评审通过，则可采用白名单的方式进行管理。
（1）数据资产目录
1）业务对象需有明确、唯一的数据Owner，并对该业务对象全流程端到端质量负责，如是否有定义数据质量目标、是否有数据质量工作规划等。
2）业务对象的元数据质量，如数据分类是否完整、业务定义是否准确、数据管家是否有效等。
3）资产目录完整性。
（2）数据标准
1）数据标准元数据质量，如数据标准是否唯一、业务用途及定义是否准确、各责任主体是否有效等。
2）所有业务对象应准确关联数据标准。
3）数据标准在IT系统及其对应的业务流程中应得到应用和遵从。
（3）数据模型
1）开发概念模型和逻辑模型，并通过IA-SAG评审。
2）物理数据模型设计应遵从逻辑数据模型设计，数据库中物理表的落地应遵循物理模型。
（4）数据分布
1）已认证数据源，并通过IA-SAG评审。
2）交易侧完整的信息链和数据流，并通过IA-SAG评审。
3）交易侧业务资产、数据湖、主题联接、数据服务、自助分析之间完整准确的血缘关系。
（5）设计质量打分模型
质量打分细则如图8-11所示。

8.3.3 执行质量度量

执行质量度量主要是从数据质量六性（一致性、完整性、及时性、唯一性、有效性、准确性）评估数据内容的清洁度，涉及三个要素：客户关注重要性、法律财务风险性、业务流程战略性。业务领域也可根据阶段性的管理重点和诉求调整评估的要素。
客户关注重要性：给客户运营带来直接影响的数据的客户关注重要性就高，如合同、PO、验收标准、开票数据等。
法律财务风险性：与法律、财务的关联性强，一旦发生质量问题，会触犯法律或带来相关财务损失，那么该数据的法律财务风险性就高，如收入、成本等数据。
业务流程战略性：数据所产生的业务流程如果是公司核心交易流程（如LTC流程）或战略地位高的流程（如IPD流程），那么数据的业务流程战略性普遍会得到较高关注；如果是相关支撑或使能流程（如变革流程、IT开发流程等），那么数据的业务流程战略性相对较弱。
关键数据对象评分表如图8-12所示。

1. 确定度量指标
与度量对象一样，数据质量度量指标也往往来源于日常监控的数据质量规则，将业务属性层主规则通过叠加公式变成业务对象层度量指标。
数据质量规则的设计应让相关业务人员参与，以满足业务的使用场景。但当某些业务场景的规则不够清晰，或当前的技术手段无法较为准确地识别异常数据时，这类数据质量规则往往只能用于警示，不建议纳入度量。例如数据标准的唯一性规则，通过判断数据标准被业务属性的引用次数来定义。当某数据标准被引用次数少于10次时，我们认为这类数据标准可能存在冗余的风险，但不能完全确定为异常数据。此类规则若纳入度量考核，后续需投入大量的人工核对成本。其次，数据质量规则应可支撑持续度量。例如某些完整性的数据质量规则，可设置必填项，一次性解决其数据质量问题，此类数据质量规则不建议纳入数据质量度量。

数据质量指标同时参考5项原则进行设置。
重要性原则：对核心数据、痛点问题较严重的数据，需重点考虑设计度量指标。
成本效益原则：运作成熟且质量较高的数据，或度量成本很高但预期改进很少的数据，可以考虑简化度量指标或不度量。
明确性原则：指标设计清晰、可衡量。
分层分级原则：可根据不同层级的管理诉求，设计分层分级的指标。
持续度量原则：一次性就可解决问题的数据不需要度量。一个业务对象下有如此多的数据质量规则，如何叠加形成数据质量度量指标呢？对于叠加公式，我们建议使用以下计算规则。

1）逻辑实体数据质量度量指标=∑属性数据质量异常数量/∑属性数据总量，我们称之为数据格面积算法。

2）业务对象数据质量度量综合指标= Average（逻辑实体数据质量度量指标）。不直接在业务对象层采用数据格面积算法，是为了避免重要的错误数据被“淹没”。我们以业务对象“采购PO”中的逻辑实体“PO头信息”和“PO行信息”为示例进行阐述。

1）每年“PO头信息”的数据量大概为“PO行信息”的数据量的1/100。

2）“PO头信息”中业务属性“汇率类型”异常率为50%，即100个PO头信息中有50个汇率类型错误。“PO行信息”中业务属性“品类”异常率为10%，即10 000个PO行信息中，有1000个“品类”信息。

3）若我们在业务对象层级采用数据格面积算法作为其度量指标，则业务对象综合数据质量异常率为：（50 + 1000）/（100 + 10000）≈10.4%。这就基本忽略了“PO头信息”中业务属性“汇率类型”这个重要异常率。

当然企业也可根据公司自身的数据特点，制定相应的叠加公式进行综合计算。例如可以对业务对象下逻辑实体异常率进行加权平均，而权重比例可参考其数据量的差异倍数进行设置。
2. 确定数据质量衡量标准
数据质量衡量标准是指指标测评结果与用户质量诉求的关系。华为主要采用五个等级（差、中、良、优、满分）来衡量和拉通数据质量满足消费者的应用程度，如表8-3所示。为了让读者能更深入地了解五分制的目的和用途，这里我们列举两个对比示例。

示例一：企业供应商数量为2000家，其供应商账号信息中的“收款账号”信息准确率为90%，即有200位供应商的“付款账号”数据错误，这意味着有10%的应付可能出现付款错误。对于这个准确率数据，消费者是不能接受的。

示例二：企业度量“员工现居住地址准确率”结果为90%。调研统计结果表明有50%的员工处于租房状态，因此数据消费者认为当前的数据质量可以满足他们的应用要求。

从上述两个示例我们会发现，不同数据的数据消费者对其要求不同，不能单纯以度量结果来衡量数据质量的好坏，因此需要有一个衡量标准。为避免衡量标准的参差不齐，我们有一些原则性的建议。

1）主数据绝对拉通，采用业界通用的六西格玛要求。
2）事务数据可依据各业务流进行相对拉通，但对于完整性和及时性这类较简易的数据质量要求，应相对严格。
3）衡量标准的划分，数据管家应组织数据生产者和数据消费者共同协商讨论，达成一致。数据管家应从数据专业视角给予建议，数据生产者从其当前的数据管理、IT工具、人员技能等方面预估当前的数据质量水平，数据消费者从数据的使用视角提出数据质量要求。

这里还需要说明一点，同一个业务对象下的不同业务属性的消费者不同。那么如何综合所有消费者的诉求，在业务对象层级划分数据质量衡量标准呢？这里我们建议同一业务对象下的可保留部分独立的数据质量规则，再逐一对业务对象下的所有度量指标划分质量衡量标准，最后再通过加权平均的方法收敛到业务对象层，即得到业务对象分。

3. 执行度量
数据质量度量已流程化，因此我们可将其作为一次小型变革项目进行管理。根据度量运作机制，由公司数据管理部定期启动公司级数据质量度量。召开启动会议，明确本次数据质量度量细则，如数据质量度量目标、度量期间、度量范围、度量指标、计划进度等相关事宜，以确保数据质量度量工作有序、高效地开展，同时也确认数据质量度量结果的公正、有效。

8.3.4 质量改进

数据质量改进致力于增强满足数据质量要求的能力。数据质量改进消除系统性的问题，对现有的质量水平在控制的基础上加以提高，使质量达到一个新水平、新高度。

质量改进的步骤本身就是一个PDCA循环。质量改进包括涉及企业跨组织的变革性改进（BTMS）和企业各部门内部人员对现有过程进行渐进的持续改进（GPMS）。华为公司也出现过针对一些问题年年改进但是年年问题再次发生的现象，最为关键的原因就是没有真正按照质量改进的步骤开展工作，没有用质量改进的方法把真正的根因识别出来加以改进并固化到流程体系中。因此，规范改进过程并按照过程规范实施管理改进是非常关键的。华为定义的改进过程框架是一个大的PDCA循环。通过管理层（ST）的管理评审以及变革与改进的规划，识别变革与改进项目，每个项目按照规范的项目群管理运作流程或者改进过程框架实施改进。

改进成果固化到流程及管理体系中并实施推广执行，执行后再通过质量组织进行客户满意度管理、度量、审核与变革进度指标评估等，将再次识别改进作为管理评审的输入，最终形成大的改进循环。数据质量改进流程如图8-13所示。

在这里我们说明一下数据质量控制和数据质量改进的关系。质量活动通常分为两类：维持与改善。维持是指维持现有的数据质量水平，其方法是数据质量控制；改善是指改进目前的数据质量，其方法是主动采取措施，使数据质量在原有的基础上有突破性的提高，即数据质量改进。

从结果的角度来说，数据质量控制的目的是维持某一特定的质量水平，控制系统的偶发性缺陷；而数据质量改进则是对某一特定的数据质量水平进行“突破性”的提升，使其在更高的目标水平下处于相对平衡的状态。控制是日常进行的工作，可以纳入流程体系的“操作规程”中加以贯彻执行，最好的手段就是纳入流程体系进行标准化。

质量改进则是一项阶段性的工作，达到既定目标之后，该项工作就完成了。质量改进的最终效果比原来维持下的效果好得多，这种工作必然需要精心策划。质量改进要固化在流程体系中进行标准化，通过质量控制使得标准化的流程得以实施，达到新的质量水平。质量控制是质量改进的前提，控制就意味着维持以前的质量水平，是PDCA改进循环中保证水平不下降的“努力的楔子”，是保证下一次改进的起点，而改进则是在起点基础上的变革和突破。如果不做好质量控制，质量水平就会下降，下次又在低水平重复，因此不能只关注质量改进，改进后关键还是要实施质量控制，二者交替进行，相辅相成。

8.4 本章小结

数据质量管理应成为企业持续、例行的工作，企业数据质量管理水平直接影响数据应用的效果和数字化转型的成效。华为数据质量管理框架由三个部分构成，包括自上而下打造数据质量领导力、全面推进数据质量持续改进机制、不断加强数据质量能力保障。通过制定数据质量政策，并依托公司变革体系和流程运营体系实现质量管控的落地，同时以多种方式在全公司营造质量氛围和文化。其中最重要的是建立了企业数据质量持续改进的机制，即基于质量管理的PDCA循环——数据质量策划、控制、度量和改进。最后通过组织、流程、IT三个方面的能力保障，使数据质量管理“系统化”“持续化”“常态化”。