OT 运维的三类数据故障:重复、断联与异常波动

引言

运维值班最常遇到的三类报障:某个点位数据重复、某个通道断断续续、某条曲线忽高忽低。

这三件事看起来是“系统故障”,在治理体系里却对应明确的质量维度:重复对应唯一性,断联对应完整性,异常波动对应准确性。把它们当故障修,修完还会复发;当成治理对象,才能定规则、留痕迹、闭环。

一、重复采集:两种根因,两套解法

类型成因数据特征治理动作
架构性重复多条采集通道各自拉同一批点同一测点存在多份副本,时标相近或相同采集通道收敛,建统一边缘底座
信号性重复传感器失效输出冻结值连续 N 个周期数值完全不变识别冻结、打 Bad 码、派仪表工单

两者的区别要看副本的时标分布:架构性重复的副本往往时标几乎一致、数值几乎一致;信号性重复是单条通道内连续不变,没有第二份副本。

架构性重复的代价很容易低估。一条产线若被 3 个系统各自采集,PLC 的通信负荷就是 3 倍,这是现场“PLC 通信超时”的常见原因之一。治理动作只能从架构下手——在下游去重,通信负荷不会减少。

信号性重复的判据要写成规则,例如“连续 6 个采样周期数值变化小于最小分辨率”,或“超过设备超时时间 3 倍无变化”。前者适合 1 Hz 的快速量,后者适合分钟级采集的慢变量。

二、断联:补与标必须分开

类型成因能否恢复处置
可恢复断联网络闪断、网关重启、通道超时能边缘缓存 + 断点续传,携带原始时标回补
不可恢复断联传感器损坏、线路烧断、点位停用不能标记不可用,保留缺失状态,不插值

关键判断是缺失的时长与工艺含义。短时离散缺失(几秒到几分钟)在热惯性大的温度测点上,插值误差可能小于测量误差;而连续数小时的缺失,插值出来的是一条平滑的假曲线,会把“炉子已经停了”掩盖成“温度缓慢下降”。

处置边界建议写进规则:

  • 缺失 < 3 倍采样周期:标 Uncertain,允许插值;
  • 缺失持续 3 倍采样周期到 30 分钟:标 Missing,不插值,只告警;
  • 缺失超过 30 分钟或跨越班次:标 Missing,生成工单,并在报表中显式标注缺口。

这些阈值不是行业统一标准,而是需要按测点类型分别定:快速量(压力、流量)阈值短,慢变量(料位、温度)可以长一些。

断联检测的核心是“按期望采样间隔铺时间网格,找出空档”:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
from statistics import median


def find_gaps(times: list[float], expected_period: float,
factor: float = 2.5) -> list[tuple[float, float, int]]:
"""找出断联区间,返回 [(缺口起点, 缺口终点, 缺失点数)]。

当相邻两点间隔超过 factor 倍期望周期时,判为断联。
"""
gaps = []
for t0, t1 in zip(times, times[1:]):
dt = t1 - t0
if dt > expected_period * factor:
missing = max(0, int(round(dt / expected_period)) - 1)
gaps.append((t0, t1, missing))
return gaps


if __name__ == "__main__":
# 期望 1 s,序列中出现 5 s 与 12 s 的间隔
ts = [0, 1, 2, 3, 8, 9, 21, 22]
print(find_gaps(ts, 1.0)) # [(3, 8, 4), (9, 21, 11)]


def gap_stats(gaps: list[tuple[float, float, int]]) -> dict:
"""缺口统计:用于 DQI 完整性指标。"""
if not gaps:
return {"count": 0, "total_missing": 0, "max_gap_s": 0.0, "median_gap_s": 0.0}
durations = [t1 - t0 for t0, t1, _ in gaps]
return {
"count": len(gaps),
"total_missing": sum(n for _, _, n in gaps),
"max_gap_s": max(durations),
"median_gap_s": median(durations),
}

注意 factor 不能设成 2.0:采样抖动本身就可能造成 1.5 倍间隔,会把正常抖动误判为断联。

三、异常波动:区分“坏数据”与“真异常”

类型表现根因处理
传感器故障长期不变、频繁跳变、超量程断线、松脱、干扰、漂移标 Bad,派工单
真实工况异常短时偏离后回归、与工艺事件同步工艺操作、设备异常保留并标 Uncertain,供分析

判定的技术路线有三类,适用条件不同:

方法原理优点局限
固定阈值超上下限即判简单、可解释工况变化后失效
3σ 统计偏离滑动窗口均值 3 倍标准差自适应受异常值污染,窗口内有突变就失准
Hampel / MAD用中位数与绝对偏差中位数,抗污染稳健计算稍重,需窗口参数

工程上推荐 Hampel 思路,因为钢铁数据里突变多,均值和标准差容易被带偏:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from statistics import median


def detect_spikes(values: list[float], k: float = 3.0) -> list[int]:
"""基于中位数绝对偏差(MAD)检测跳变,返回异常点下标。

MAD 对异常值不敏感,比 3σ 更适合含突变的工业序列。
"""
if len(values) < 5:
return []
m = median(values)
mad = median([abs(v - m) for v in values]) or 1e-9
threshold = k * 1.4826 * mad # 1.4826 使 MAD 与标准差可比
return [i for i, v in enumerate(values) if abs(v - m) > threshold]


if __name__ == "__main__":
series = [118.6, 118.4, 118.5, 118.6, 260.0, 118.5, 118.4]
print(detect_spikes(series)) # [4],只有第 5 个点被判为跳变

这条规则只做“标记”,不做删除。删除的后果是:真实的生产异常被抹掉,质量追溯失去最关键证据。

四、判定顺序

flowchart TD
    A["收到测点告警/巡检发现"] --> B{"时间轴上有缺口?"}
    B -->|有| C{"缺口可补?"}
    C -->|网络类| D["边缘补传 + 原始时标"]
    C -->|设备类| E["标 Missing + 工单"]
    B -->|无| F{"数值长期不变?"}
    F -->|是| G["标 Bad FROZEN + 仪表工单"]
    F -->|否| H{"是否超阈值/MAD 跳变?"}
    H -->|是| I{"与工艺事件时间吻合?"}
    I -->|吻合| J["保留 + 标 Uncertain 供分析"]
    I -->|不吻合| K["标 Bad + 排查传感器"]
    H -->|否| L["正常,记录巡检结果"]

图 1:三类故障的判定顺序。先查完整性与冻结,再看跳变,最后才判断是否真实异常

顺序很重要:先判“有没有数据”,再判“数据是否可信”,最后判“可信数据是否异常”。顺序颠倒会出现“把断联期间的空值当跳变”这类误判。

五、从故障到工单再到度量

单次处置不值钱,闭环才值钱。一条可用的闭环包含四段:

环节记录内容用途
发现时间、测点、类型、判据、证据片段可复现
处置谁处理、做了什么、耗时可追责、可算 MTTR
验证处置后是否有改善(缺口消失、冻结解除)防止“假闭环”
度量纳入 DQI 完整性/准确性分项趋势与考核

度量口径举例:某产线 30 天内累计缺口 214 次、缺失点 18 600 个、最大缺口 46 分钟;按 1 秒采样、8 640 万应到点计算,完整性约 99.98%。这个数字看起来很高,但最大缺口 46 分钟意味着那段时间的质量数据完全缺失——平均值会掩盖单点严重度,所以完整性指标必须同时看“覆盖率”和“最大连续缺失时长”。

六、三个常见误区

误区一:断联恢复后立刻按当前时间补写。 曲线会出现一个尖峰,后续所有基于该时段的分析都错。补写必须带原始时标。

误区二:把冻结值当有效数据。 传感器坏了但采集系统仍在“忠实记录上一次的值”,这类数据在库里的质量码是 Good,比缺失更危险——缺失至少看得见。

误区三:跳变一律删除。 钢铁过程的突变往往对应真实事件(出钢、换辊、断浇),删掉等于毁掉证据。

七、一个比喻:三个不同的毛病

重复像“同一份文件被复印了三份放进柜子”,断联像“中间几页被撕掉了”,异常波动像“某几页的字迹被水泡糊了”。

对应关系是:复印件对应架构性重复,撕页对应缺失,字迹糊对应数值不可信。比喻的边界在于:文件可以重新复印,生产过程不能重来——所以处置必须是“标记 + 保留”,而不是“修好了看不出痕迹”。

八、落地清单

  • 冻结判定规则按测点类型分组,阈值有依据
  • 断联判定使用期望周期 × 2.5 倍阈值,避免抖动误判
  • 补传携带原始时标,写入端按“测点 + 时标”幂等
  • 补全边界成文:多久之内可插值、超过多久只标记
  • 跳变检测用稳健统计(MAD/Hampel),只标不删
  • 三类故障都有工单模板与责任人
  • 完整性与准确性指标纳入月度度量,含最大连续缺失
  • 处置结果有验证环节,防止假闭环

九、结论

三类故障的治理逻辑可以压缩成三句话:

  • 重复,先分清是架构问题还是设备问题,前者收敛通道,后者识别冻结;
  • 断联,先分清可恢复与不可恢复,“补”要有边界,“标”要留痕迹;
  • 异常,先分清坏数据与真异常,只标记不删除。

做到这三点,运维从“救火”变成“按规则处置”,治理才真正落到日常。