钢铁OT数据治理系列-07OT 运维的三类数据故障:重复、断联与异常波动
OT 运维的三类数据故障:重复、断联与异常波动
引言
运维值班最常遇到的三类报障:某个点位数据重复、某个通道断断续续、某条曲线忽高忽低。
这三件事看起来是“系统故障”,在治理体系里却对应明确的质量维度:重复对应唯一性,断联对应完整性,异常波动对应准确性。把它们当故障修,修完还会复发;当成治理对象,才能定规则、留痕迹、闭环。
一、重复采集:两种根因,两套解法
| 类型 | 成因 | 数据特征 | 治理动作 |
|---|---|---|---|
| 架构性重复 | 多条采集通道各自拉同一批点 | 同一测点存在多份副本,时标相近或相同 | 采集通道收敛,建统一边缘底座 |
| 信号性重复 | 传感器失效输出冻结值 | 连续 N 个周期数值完全不变 | 识别冻结、打 Bad 码、派仪表工单 |
两者的区别要看副本的时标分布:架构性重复的副本往往时标几乎一致、数值几乎一致;信号性重复是单条通道内连续不变,没有第二份副本。
架构性重复的代价很容易低估。一条产线若被 3 个系统各自采集,PLC 的通信负荷就是 3 倍,这是现场“PLC 通信超时”的常见原因之一。治理动作只能从架构下手——在下游去重,通信负荷不会减少。
信号性重复的判据要写成规则,例如“连续 6 个采样周期数值变化小于最小分辨率”,或“超过设备超时时间 3 倍无变化”。前者适合 1 Hz 的快速量,后者适合分钟级采集的慢变量。
二、断联:补与标必须分开
| 类型 | 成因 | 能否恢复 | 处置 |
|---|---|---|---|
| 可恢复断联 | 网络闪断、网关重启、通道超时 | 能 | 边缘缓存 + 断点续传,携带原始时标回补 |
| 不可恢复断联 | 传感器损坏、线路烧断、点位停用 | 不能 | 标记不可用,保留缺失状态,不插值 |
关键判断是缺失的时长与工艺含义。短时离散缺失(几秒到几分钟)在热惯性大的温度测点上,插值误差可能小于测量误差;而连续数小时的缺失,插值出来的是一条平滑的假曲线,会把“炉子已经停了”掩盖成“温度缓慢下降”。
处置边界建议写进规则:
- 缺失 < 3 倍采样周期:标 Uncertain,允许插值;
- 缺失持续 3 倍采样周期到 30 分钟:标 Missing,不插值,只告警;
- 缺失超过 30 分钟或跨越班次:标 Missing,生成工单,并在报表中显式标注缺口。
这些阈值不是行业统一标准,而是需要按测点类型分别定:快速量(压力、流量)阈值短,慢变量(料位、温度)可以长一些。
断联检测的核心是“按期望采样间隔铺时间网格,找出空档”:
1 | from statistics import median |
注意 factor 不能设成 2.0:采样抖动本身就可能造成 1.5 倍间隔,会把正常抖动误判为断联。
三、异常波动:区分“坏数据”与“真异常”
| 类型 | 表现 | 根因 | 处理 |
|---|---|---|---|
| 传感器故障 | 长期不变、频繁跳变、超量程 | 断线、松脱、干扰、漂移 | 标 Bad,派工单 |
| 真实工况异常 | 短时偏离后回归、与工艺事件同步 | 工艺操作、设备异常 | 保留并标 Uncertain,供分析 |
判定的技术路线有三类,适用条件不同:
| 方法 | 原理 | 优点 | 局限 |
|---|---|---|---|
| 固定阈值 | 超上下限即判 | 简单、可解释 | 工况变化后失效 |
| 3σ 统计 | 偏离滑动窗口均值 3 倍标准差 | 自适应 | 受异常值污染,窗口内有突变就失准 |
| Hampel / MAD | 用中位数与绝对偏差中位数,抗污染 | 稳健 | 计算稍重,需窗口参数 |
工程上推荐 Hampel 思路,因为钢铁数据里突变多,均值和标准差容易被带偏:
1 | from statistics import median |
这条规则只做“标记”,不做删除。删除的后果是:真实的生产异常被抹掉,质量追溯失去最关键证据。
四、判定顺序
flowchart TD
A["收到测点告警/巡检发现"] --> B{"时间轴上有缺口?"}
B -->|有| C{"缺口可补?"}
C -->|网络类| D["边缘补传 + 原始时标"]
C -->|设备类| E["标 Missing + 工单"]
B -->|无| F{"数值长期不变?"}
F -->|是| G["标 Bad FROZEN + 仪表工单"]
F -->|否| H{"是否超阈值/MAD 跳变?"}
H -->|是| I{"与工艺事件时间吻合?"}
I -->|吻合| J["保留 + 标 Uncertain 供分析"]
I -->|不吻合| K["标 Bad + 排查传感器"]
H -->|否| L["正常,记录巡检结果"]图 1:三类故障的判定顺序。先查完整性与冻结,再看跳变,最后才判断是否真实异常
顺序很重要:先判“有没有数据”,再判“数据是否可信”,最后判“可信数据是否异常”。顺序颠倒会出现“把断联期间的空值当跳变”这类误判。
五、从故障到工单再到度量
单次处置不值钱,闭环才值钱。一条可用的闭环包含四段:
| 环节 | 记录内容 | 用途 |
|---|---|---|
| 发现 | 时间、测点、类型、判据、证据片段 | 可复现 |
| 处置 | 谁处理、做了什么、耗时 | 可追责、可算 MTTR |
| 验证 | 处置后是否有改善(缺口消失、冻结解除) | 防止“假闭环” |
| 度量 | 纳入 DQI 完整性/准确性分项 | 趋势与考核 |
度量口径举例:某产线 30 天内累计缺口 214 次、缺失点 18 600 个、最大缺口 46 分钟;按 1 秒采样、8 640 万应到点计算,完整性约 99.98%。这个数字看起来很高,但最大缺口 46 分钟意味着那段时间的质量数据完全缺失——平均值会掩盖单点严重度,所以完整性指标必须同时看“覆盖率”和“最大连续缺失时长”。
六、三个常见误区
误区一:断联恢复后立刻按当前时间补写。 曲线会出现一个尖峰,后续所有基于该时段的分析都错。补写必须带原始时标。
误区二:把冻结值当有效数据。 传感器坏了但采集系统仍在“忠实记录上一次的值”,这类数据在库里的质量码是 Good,比缺失更危险——缺失至少看得见。
误区三:跳变一律删除。 钢铁过程的突变往往对应真实事件(出钢、换辊、断浇),删掉等于毁掉证据。
七、一个比喻:三个不同的毛病
重复像“同一份文件被复印了三份放进柜子”,断联像“中间几页被撕掉了”,异常波动像“某几页的字迹被水泡糊了”。
对应关系是:复印件对应架构性重复,撕页对应缺失,字迹糊对应数值不可信。比喻的边界在于:文件可以重新复印,生产过程不能重来——所以处置必须是“标记 + 保留”,而不是“修好了看不出痕迹”。
八、落地清单
- 冻结判定规则按测点类型分组,阈值有依据
- 断联判定使用期望周期 × 2.5 倍阈值,避免抖动误判
- 补传携带原始时标,写入端按“测点 + 时标”幂等
- 补全边界成文:多久之内可插值、超过多久只标记
- 跳变检测用稳健统计(MAD/Hampel),只标不删
- 三类故障都有工单模板与责任人
- 完整性与准确性指标纳入月度度量,含最大连续缺失
- 处置结果有验证环节,防止假闭环
九、结论
三类故障的治理逻辑可以压缩成三句话:
- 重复,先分清是架构问题还是设备问题,前者收敛通道,后者识别冻结;
- 断联,先分清可恢复与不可恢复,“补”要有边界,“标”要留痕迹;
- 异常,先分清坏数据与真异常,只标记不删除。
做到这三点,运维从“救火”变成“按规则处置”,治理才真正落到日常。
