怎么算治理好:DQI、验收指标与投入产出

引言

三种常见的“看起来治好了”:

  1. 采集率 100%。 所有点都接进来了,但一半是死点,一半没有单位。
  2. 报表对得上。 因为报表和源系统用的是同一套错误口径。
  3. 验收通过。 验收时抽了十条曲线都正常,验收后三个月没人维护。

治理是否有效,需要一套能自己被复算的度量。本文给出一套可落地的 DQI(数据质量指数)算法,和与之配套的验收、投入产出方法。

一、七维:六维对齐国标,两维补工程

GB/T 36344—2018《信息技术 数据质量评价指标》(2018-06-07 发布、2019-01-01 实施,现行)给出六个维度:规范性、完整性、准确性、一致性、时效性、可访问性。工程上还需要补“唯一性”,因为 OT 场景的重复采集与冻结值问题太常见。

维度落地口径权重
完整性实到点数 / 应到点数(按时间轴)25%
准确性Good 点占比 + 与标准表比对偏差25%
一致性跨系统同测点差异率、单位统一率15%
时效性到达延迟 P95 达标比例10%
唯一性1 − 重复副本率10%
规范性台账合规率 + 语义完备率10%
可访问性元数据完备率 + 接口可用率5%

权重不是标准值,需要按业务场景调。做质量追溯的场景,完整性与准确性权重应更高;做能耗对账的场景,一致性与时效性更关键。权重必须在启动时书面确认,不能在算完之后调。

二、DQI 怎么算

单测点先算分,再按权重汇总到产线、到厂。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
from dataclasses import dataclass


@dataclass
class PointStat:
expected: int # 应到点数
actual: int # 实到点数
good: int # 质量码 Good 的点数
max_gap_s: float # 最大连续缺失时长(秒)
compliant: bool # 台账是否合规
semantic_complete: bool
duplicate: int = 0 # 重复副本数


WEIGHTS = {"integrity": 0.25, "accuracy": 0.25, "consistency": 0.15,
"timeliness": 0.10, "uniqueness": 0.10, "normative": 0.10,
"accessibility": 0.05}


def dqi(p: PointStat, consistency: float = 1.0,
timeliness: float = 1.0, accessibility: float = 1.0) -> float:
"""单测点 DQI(0—100)。缺失与不可用维度由外部计算后传入。"""
integrity = min(1.0, p.actual / p.expected) if p.expected else 0.0
# 长缺口惩罚:超过 30 分钟按比例扣分,避免平均值掩盖单点严重度
gap_penalty = max(0.0, 1 - p.max_gap_s / 3600)
integrity *= gap_penalty
accuracy = p.good / p.actual if p.actual else 0.0
uniqueness = 1 - min(1.0, p.duplicate / max(1, p.actual))
normative = (0.5 * float(p.compliant) + 0.5 * float(p.semantic_complete))

score = (WEIGHTS["integrity"] * integrity
+ WEIGHTS["accuracy"] * accuracy
+ WEIGHTS["consistency"] * consistency
+ WEIGHTS["timeliness"] * timeliness
+ WEIGHTS["uniqueness"] * uniqueness
+ WEIGHTS["normative"] * normative
+ WEIGHTS["accessibility"] * accessibility)
return round(score * 100, 1)


def grade(score: float) -> str:
if score >= 90:
return "A"
if score >= 80:
return "B"
if score >= 70:
return "C"
return "D"


if __name__ == "__main__":
stat = PointStat(expected=86400, actual=86000, good=84600,
max_gap_s=300, compliant=True, semantic_complete=True)
print(f"DQI: {dqi(stat)} 等级: {grade(dqi(stat))}")

按上面的参数:完整性 0.9953、准确性 0.9837、规范性 1.0,其余维度取 1.0,加权后约 96 分,A 级。这个分数不能直接对外宣称“治理优秀”——它只说明这一个测点在这个月表现不错。

三、最大的陷阱:全厂平均值

一个有 40 万点位的企业,如果 60% 的点位 DQI 在 95 分以上、10% 在 50 分以下,全厂平均仍有 80 分左右。汇报上很体面,实际那 4 万个低分点可能正好是关键质量控制点。

所以 DQI 必须同时看四个分布指标:

指标含义用法
平均值总体水平看趋势
P50(中位数)一半测点低于此值看整体健康度
P10最差 10% 的水平看长尾问题
关键点达标率关键测点中达 A 级的比例看业务风险

决策看 P10 和关键点达标率,汇报可以看平均值。只看平均值的治理,最后都会停在“报表好看、现场难用”。

四、三层验收指标

层级指标达标线(示例)谁验收
接入层覆盖率、时标偏差、断联次数覆盖率 ≥ 98%,偏差 ≤ 1 s信息化 + 仪表
语义层台账合规率、语义完备率、映射准确率合规 ≥ 95%,完备 ≥ 90%治理办公室 + 工艺
应用层追溯成功率、对账差异率、接口复用数追溯 ≥ 95%,差异率 ≤ 0.5%业务部门

三层缺一不可。只验接入层,会出现“全接进来但没人能用”;只验应用层,会出现“演示能过、扩展就崩”。

追溯成功率的定义要写清:给定 N 个钢卷号,能在规定时间内(如 3 秒)返回全部关键参数的比例。这个指标比“系统响应时间”更贴近业务。

五、投入产出:把治理折算成钱

治理投入包括:采集硬件与网关、时序库与算力、人力(治理办公室 + 区域管理员)、外部服务。产出可以从三条路径折算:

路径一:减少人工对账与追溯工时。 假设追溯从 2 小时降到 3 秒,每月 20 次追溯,每次 2 人,人均成本按 100 元/小时计,年节省约 9.6 万元。这个数不大,但加上“质量异议处理周期缩短”带来的客户信任,价值不止于此。

路径二:降低质量损失。 若能通过参数追溯把某类缺陷的定位时间从 3 天降到 1 天,减少的判废与降级损失通常是百万级。这一项需要真实的缺陷数据支撑,不能拍。

路径三:数据资源入表。 按财会〔2023〕11 号《企业数据资源相关会计处理暂行规定》(2023-08-21 印发,2024-01-01 起施行,采用未来适用法),符合条件的数据资源可确认为无形资产或存货。南钢公开报道其 2025 年数据资产入表金额为 2 324 万元、同比增长 125%(企业宣传口径)。

入表的前提是数据资源可辨认、可计量、可带来经济利益——这恰恰要求治理到位:没有台账、没有质量码、没有使用记录的数据,很难通过审计。

六、投资回收的粗略算式

1
2
3
4
5
6
7
8
9
10
def payback_months(investment: float, annual_benefit: float) -> float:
"""静态回收期(月)。"""
if annual_benefit <= 0:
raise ValueError("年收益必须为正")
return investment / annual_benefit * 12


if __name__ == "__main__":
# 示例:投入 300 万,年化收益 120 万
print(f"静态回收期: {payback_months(300, 120):.1f} 个月")

静态回收期只是内部沟通工具,不能替代完整测算。真实决策还要看:治理带来的能力是否可复用(第二、第三个场景几乎零边际成本),以及不做治理的隐性成本(追溯失败、客户索赔、审计风险)。

七、四个常见误区

误区一:用采集率代替质量。 采集率是入口指标,不是结果指标。

误区二:权重事后调整。 算完发现某维度太差,就把权重调低。这是自欺,也会让度量失去公信力。

误区三:只算平均值。 见第三节。

误区四:把验收当终点。 验收通过只是起点,后续要靠月度度量和考核维持。

八、一个比喻:体检报告

DQI 像体检报告:总分告诉你大致健康,但真正要看的是各项指标和异常项。一个人总分 85 分,可能血脂血糖都正常,也可能某一项严重超标被平均值掩盖。

对应关系是:总分对应 DQI 综合分,单项对应七个维度,异常项对应 P10 与关键点不达标。比喻的边界在于:体检可以每年一次,数据质量是每天在变的——度量频率必须跟上变化频率。

九、落地清单

  • 七维权重书面确认,全年不随意调整
  • 完整性按时间轴算,含最大连续缺失惩罚
  • 准确性以质量码为分子,不用“抽检合格率”
  • 度量报告同时给平均值、P50、P10、关键点达标率
  • 三层验收指标各有责任人与达标线
  • 追溯成功率按“N 个样本内成功比例”定义
  • 投入产出至少给出两条可核验的收益路径
  • 月度出分,季度复盘,年度与考核挂钩

十、结论

“治理好不好”可以变成一个数,前提是口径公开、可复算、不被平均值掩盖:

  • 七维覆盖面够用,权重按场景定;
  • 单点算分、分层汇总,分布比均值更重要;
  • 三层验收,接入、语义、应用都要过线;
  • 投入产出至少给出两条能核验的路径。

一个能自证的分数,比十页汇报材料有用。