数据契约与质量治理

目标

让每个重要数据产品都有明确语义、责任人、质量状态、来源、用途边界和生命周期。只产出契约、控制设计、评审结论和验证计划；不采集私密数据，不连接生产系统，不执行管线或模式变更。

工作边界

从数据支持的决定和消费风险出发，不以“多收集”作为默认价值。
区分源事实、转换结果、估算、推断和人工修订。
将契约视为生产者与消费者的共同承诺，而不是单方字段清单。
只使用脱敏样本、模式、聚合质量结果和只读证据。
不宣称数据“准确”“完整”或“合规”，除非范围、规则、时间和证据明确。

收集输入

先请求最小必要信息；缺失项标为待确认：

数据支持的决定、产品名称、所有者、生产者、消费者和责任升级链。
实体或事件、粒度、主键、字段、时间语义、单位、枚举和缺失语义。
来源、采集依据、授权、转换、存储、服务和消费方式。
当前质量基线、事故、对账、告警、回填和消费者反馈。
数据分类、允许用途、访问主体、地域、共享、保留和删除要求。
模式变更、指标冲突、迁移、历史重算或退役计划。

不要索取真实凭据、整表导出、明文个人资料、客户内容或与治理结论无关的原始记录。

执行流程

1. 定义数据产品与责任

明确数据产品边界、支持的决定、非目标和错误使用方式。
指定业务所有者、技术所有者、生产者、消费者和事故责任人。
列出权威源、派生副本、缓存、投影和不可变证据；禁止“多个系统都是真相”却没有冲突规则。
将未知所有权视为治理缺口，不默认归给 CDO 或平台团队。

2. 建立数据契约

为稳定消费边界定义：

实体/事件、粒度、主键、唯一性范围和排序保证。
字段名称、类型、业务含义、单位、时区、允许值、缺失和默认语义。
事件时间、观察时间、处理时间和生效时间，避免时间含义混用。
模式版本、兼容等级、弃用窗口、消费者通知和迁移责任。
交付频率、延迟、重放、去重、幂等、回填和更正语义。
来源、用途、分类、访问、保留、删除和审计要求。

不要把示例值当成规则，也不要用 null=0、本地时间或静默截断掩盖未知语义。

3. 设计质量模型

按消费风险选择适用维度，不强制所有数据使用同一分数：

完整性：应有记录或字段是否存在。
有效性：值是否符合类型、范围、枚举和业务规则。
唯一性：业务键或事件是否重复。
一致性：跨字段、跨表、跨系统和跨时间是否满足不变量。
准确性：与可信外部事实或人工标注是否一致。
及时性/新鲜度：数据何时可用、允许多旧。
覆盖与代表性：样本覆盖哪些人群、时间、渠道和状态。
完整传递：源记录是否在转换和服务链路中无静默丢失。

为每条规则写明对象、算法、阈值、窗口、严重度、业务影响、数据源、所有者、处置和最近验证证据。阈值必须来自消费需求、基线和风险，不套用固定 99%。

4. 设定数据 SLO 与处置

把新鲜度、完整性、有效性、可用性和恢复目标绑定到具体消费者。
区分阻断消费、带警告降级、隔离坏分区和继续服务的条件。
明确低样本、延迟到达、上游停摆、模式漂移和历史回填期间的计算方法。
定义违反 SLO 后的通知、隔离、更正、回填、复核和恢复证据。
防止用删除失败记录、放宽阈值或改分母让质量报表变绿。

5. 建立端到端血缘

从来源、字段和事件追踪到转换、模型、指标、报表、模型特征和关键决定。
为每个节点记录版本、负责人、变换逻辑、输入输出、更新时间和验证状态。
标识人工修订、估算、模型推断、外部许可和跨地域/跨主体传输。
对计划变更执行影响分析：受影响消费者、兼容性、重算范围、通知和回退。
不把目录登记等同于真实血缘；用可复核的查询、配置、代码或运行证据校准。

6. 治理语义与主数据

为核心实体定义稳定标识、匹配/合并规则、来源优先级和冲突状态。
为关键指标记录名称、公式、粒度、时区、过滤、归因、版本和适用决定。
同名不同义时显式改名；同义不同名时建立映射，不靠会议口头统一。
保留来源值与规范化值，避免无法追溯的覆盖。
对无法自动解决的实体冲突进入可见队列并指定裁决人。

7. 评审隐私与生命周期

为每类数据记录目的、合法来源、数据主体、敏感度和允许消费者。
执行最小化：只保留支持明确用途所需的字段、精度和时间范围。
区分生产访问、分析访问、支持访问、导出和第三方处理，采用最小必要权限。
明确保留触发点、期限、暂停删除条件、删除范围、备份处理和可验证删除证据。
用途变化、重新识别、跨主体共享、敏感推断或无法撤回的披露必须升级审查。
不把哈希自动视为匿名化，也不把免责声明当作隐私控制。

8. 准备质量事故

按消费者影响、错误决定风险、敏感数据暴露和恢复难度分级。
定义发现、止损、隔离、消费者通知、更正、回填和恢复责任。
保存原始证据和修订轨迹；不得覆盖历史让事故看似未发生。
记录时间线、根因、促成因素、控制缺口、受影响资产和已通知消费者。
只有完成恢复验证和防复发控制后，才关闭事故。

9. 管理变更与退役

按兼容、可逆、消费者数量、历史重算、隐私和数据损失风险分级变更。
优先扩展后收缩：增加兼容字段/版本，迁移消费者，验证稳定，再删除旧路径。
为退役确认所有者、消费者清单、替代品、通知窗口、导出、保留/删除、回滚和审计记录。
无人消费不自动授权删除；先验证隐藏消费者、法律保留和下游快照。
无所有者、无消费者、无质量证据或无法证明价值的数据资产应进入退役评审。

10. 设置验证门

契约：生产者和消费者用同一组正向、边界和失败样本验证。
质量：规则能在已知坏样本上失败，并在已知好样本上通过。
血缘：抽样字段能从源追到消费端，计划变更能列出真实受影响对象。
语义：关键指标用固定夹具重算并与批准定义一致。
隐私：访问、导出、保留、删除和备份路径均有可复核证据。
事故/退役：演练或桌面推演证明通知、恢复、更正和停止条件可执行。

不得把目录存在、模式可解析、一次查询成功或管线运行成功当成完整治理验证。

交付模板

按以下结构产出“数据治理包”：

# 数据治理评审｜<数据产品>

## 结论
- 建议：通过 / 有条件通过 / 暂停
- 支持的决定：
- 业务所有者 / 技术所有者：
- 关键未知：

## 数据契约
| 实体/事件 | 粒度/主键 | 时间语义 | 字段/单位 | 缺失语义 | 版本/兼容 | 所有者 |

## 质量与 SLO
| 规则 | 维度 | 算法/窗口 | 阈值依据 | 消费影响 | 处置 | 证据 |

## 血缘与影响
| 源/字段 | 变换 | 指标/产品 | 消费者/决定 | 版本 | 负责人 |

## 语义与主数据
- 核心实体和标识：
- 指标定义与适用场景：
- 合并、冲突和裁决规则：

## 隐私与生命周期
| 数据类 | 目的 | 来源/许可 | 访问 | 共享 | 保留 | 删除证据 |

## 事故与恢复
- 严重度和升级链：
- 隔离、更正、回填、通知：
- 恢复与防复发验证：

## 变更或退役
| 资产 | 消费者 | 兼容/替代 | 通知 | 保留/删除 | 回退 | 批准人 |

## 决策记录
- 已验证事实：
- 假设与信心：
- 待办、负责人、期限：
- 不在本次证明范围：

停止与升级

遇到以下情况，停止在建议层并升级：

请求连接生产库、运行采集、导出真实记录、修改模式/管线、回填或删除数据。
需要凭据、绕过访问控制、扩大用途、重新识别或共享敏感数据。
没有权威源、所有者、消费者或时间语义，却要求确认指标正确。
模式变更可能静默破坏消费者，或删除/回填没有可验证恢复路径。
法律依据、许可证、地域、保留义务或数据主体权利不清；转交 CLO、Governor 或具名人类负责人。

角色边界

CDO：拥有数据语义、契约、质量、血缘和治理方向。
CTO：评审整体系统边界、平台可靠性和技术投资。
PE：实现并验证已批准的管线、模式、控制和迁移。
业务/产品负责人：确认数据支持的决定、指标含义和错误影响。
CQO/CRO：使用可信数据开展研究，但不改写数据权威。
CLO/Governor：独立审查隐私、许可、合规、证据与例外。
本 Skill：形成治理材料和验证门，不批准访问或执行数据动作。

触发校准

正向触发：

“为订单事件建立生产者—消费者数据契约和质量 SLO。”
“审查指标口径冲突、字段血缘和下游影响。”
“设计客户主数据的合并、隐私、保留和退役治理。”

负向触发：

“登录生产库把坏数据修掉。”属于生产执行。
“帮我抓取某平台所有用户资料。”属于数据采集与隐私高风险。
“分析这个 CSV 的趋势。”应使用数据分析 Skill，而非治理 Skill。

data-contract-quality-governance