钢铁OT数据治理系列-06OT 数据治理的技术支撑:协议、边缘、时序库与质量码
OT 数据治理的技术支撑:协议、边缘、时序库与质量码
引言
方法论讲完,落到工程就是五个选择:用什么方式取数、边缘侧做什么、时序库怎么选、压缩怎么做、质量怎么标。任何一个选错,后面都要靠人力填坑。
很多方案在协议这一层就埋了雷:把 HTTP 接口当成实时采集通道,用裸 Socket 拼报文却不做粘包处理,用 Kettle 定时抽数却指望它承载秒级质量追溯。这些不是技术路线之争,而是需求与能力错配。
本文按“分层—协议—时延—边缘—存储—质量”的顺序展开,每一节给出适用条件与代价。
一、先分层,再谈协议
讨论协议最容易犯的错误,是拿不同层的东西互相比较。HTTP 和 Modbus 不在一个层,Kettle 甚至不是协议。
图 1:OT 取数涉及的四层,协议比较必须同层进行
这个分层解释了一个常见困惑:“为什么 OPC UA 比 Modbus 好?”——它们在应用协议层是同层的,但设计目标不同:Modbus 追求极简,OPC UA 追求语义与互操作。而 HTTP 与它们同层,却面向请求—响应而不是周期数据流。
二、协议逐个看:能力、端口与代价
2.1 总表
| 协议 | 默认端口/链路 | 数据模型 | 实时性 | 语义能力 | 典型用途 |
|---|---|---|---|---|---|
| OPC UA | TCP 4840 | 节点、类型、属性 | 订阅推送,百毫秒级 | 强(信息模型) | 跨系统集成、平台侧统一入口 |
| OPC DA | DCOM(RPC 135 动态端口) | 标签 + 值 | 百毫秒级 | 弱 | 存量 DCS/SCADA 接入 |
| S7 | TCP 102(ISO-on-TCP) | DB 块地址 | 十毫秒级 | 无 | 西门子 PLC 直读 |
| Modbus TCP | TCP 502 | 寄存器 | 百毫秒级 | 无 | 仪表、变频器、老设备 |
| Modbus RTU | RS-485 串行 | 寄存器 | 秒级(受波特率限制) | 无 | 现场仪表、低成本设备 |
| MQTT + Sparkplug B | TCP 1883 / TLS 8883 | 主题 + 指标载荷 | 秒级,弱网友好 | 中(命名空间 + 元数据) | 边缘到平台、广域传输 |
| HTTP/REST | TCP 80 / 443 | 资源 + JSON | 秒级到分钟级 | 中(靠接口文档) | MES 接口、视觉设备、云端 API |
| 裸 Socket | 自定义 TCP/UDP 端口 | 无 | 取决于实现 | 无 | 称重仪表、化验仪器、老 PLC |
| IEC 60870-5-104 | TCP 2404 | 信息对象地址 | 秒级 | 中 | 电力与能源调度系统 |
2.2 OPC UA:语义最强,代价是复杂度
OPC UA 由 IEC 62541 系列标准定义,默认端口 4840(西门子 S7-1200 系列内置服务器默认即为 4840,可在 1024—49151 间调整)。
它的三个特性对治理最有价值:
- 信息模型:节点可以带类型定义、工程单位、量程等属性,测点自描述,不必靠外部表格解释。
- 订阅机制:客户端订阅监控项,服务端在值变化或达到发布间隔时推送,避免全量轮询。
- 安全内建:支持证书、签名与加密,不必额外套一层隧道。
代价也明确:会话管理、证书轮换、服务端实现差异都会带来运维成本。老设备要么不支持,要么只支持最基础的读写,信息模型是空的。
2.3 S7:效率高,耦合也高
S7 走 ISO-on-TCP,端口 102。它直接读写 PLC 的 DB 块,效率高、延迟低,是西门子产线最常用的直采方式。
问题在于耦合:地址形如 DB10.DBD40,一旦程序里插入新块或调整结构,后续地址整体偏移。用 S7 直采,必须把地址映射做成配置而不是硬编码,并在每次程序变更后跑一遍地址校验。
2.4 Modbus:简单到没有语义
Modbus RTU 帧最大 256 字节:从站地址 1 字节、功能码 1 字节、数据最多 252 字节、CRC 2 字节。Modbus TCP 在其前面加 7 字节 MBAP 头(事务号 2、协议号 2、长度 2、单元号 1),走 502 端口,不再需要 CRC——完整性交给 TCP。
它的问题不是性能,而是没有数据类型:一个寄存器是整数还是浮点、高低字节谁在前、单位是什么,全靠寄存器表约定。寄存器表丢了,数据就成了天书。所以 Modbus 的治理重点不在协议,在台账。
2.5 MQTT 与 Sparkplug B:为弱网和规模设计
MQTT 本身只是发布/订阅传输,主题和载荷格式自定。Sparkplug B(Eclipse 规范,最新为 3.0.0)补上了工业需要的部分:
- 主题命名空间:统一 group/edge/node/device 层级,消息可被自动发现;
- BIRTH/DEATH 机制:借助 MQTT 的遗嘱消息与保活定时器,让平台知道某个边缘节点是在线还是掉线;
- 结构化载荷:每条指标带名称、数据类型、时间戳等元数据,而不是一串裸数值。
这三点正好对应治理中的“可发现、可判断在线、可解释”,所以边缘到平台这一段,Sparkplug B 比自定义 JSON 更省事。
2.6 HTTP/REST:能取数,但不适合高频
HTTP 在 OT 里的真实位置是系统间接口,不是采集通道。
| 维度 | 表现 |
|---|---|
| 交互模式 | 请求—响应,服务端不能主动推送(除非轮询或 WebSocket) |
| 开销 | 每次请求带完整头部,高频短报文时头部占比极高 |
| 语义 | 靠接口文档与 JSON 字段约定,无内建类型系统 |
| 可靠性 | 依赖超时与重试,需要应用层做幂等 |
| 适用场景 | MES 与 L3 接口、视觉检测结果上报、云端 API、设备诊断页 |
一个算例:某视觉设备每秒推送 20 条检测结果,每条 JSON 约 200 字节,HTTP 头部按 300 字节计,实际带宽是有效载荷的 2.5 倍;若改成批量提交(每 5 条一包),头部开销可降到 0.5 倍以内。用 HTTP 就要接受“批量 + 重试 + 幂等”这套工程约束。
2.7 裸 Socket:最灵活,也最容易失控
Socket 是传输层通道,TCP 保证顺序与可靠,UDP 不保证。它之上没有任何语义——报文怎么切、字段怎么排、字节序是大端还是小端,全看设备手册。
现场三类设备常用裸 Socket:
- 称重仪表、皮带秤:定时推送重量字符串;
- 化验室仪器:检测完成后发送结果文件或定长报文;
- 老式 PLC 与专用控制器:私有协议,厂商不开放驱动。
工程上必须处理四件事:
- 粘包与半包:TCP 是字节流,不保证一次读到一条完整报文。要按长度字段或分隔符切分。
- 字节序:浮点数的四字节顺序,不同厂商可能相反。
- 心跳与重连:长时间空闲会被防火墙或设备断开,需要应用层心跳。
- 无时标:很多报文不带时间,必须由接收方打时标,并记录“接收时间不等于发生时间”。
1 | import struct |
这段代码解决的就是“半包”:不够一帧时保留缓冲,等下一次读取拼接。没有这一步,现场表现是“数据偶尔丢失或错位”,而且极难复现。
2.8 IEC 60870-5-104:能源系统绕不开
钢铁企业的能源介质(电、煤气、蒸汽)常由电力调度或能源中心系统管理,这类系统多用 IEC 60870-5-104(端口 2404)。它的信息对象地址、遥测/遥信分类与 OT 点位模型差异较大,接入时要做一层语义转换,不能直接把点号当测点编码。
2.9 协议选择的三条经验
- 上层统一、下层适配。 平台侧收敛到 OPC UA 或 Sparkplug B,现场侧用网关适配,不在平台里维护十几种驱动。
- 能用订阅就不用轮询。 测点多、带宽小的时候,轮询必然拉长周期。
- 寄存器表就是台账。 任何无语义的协议(Modbus、S7、Socket),其地址映射必须并入测点台账统一管理。
三、时延与吞吐:算一遍再定方案
串行链路的报文时间可以直接算。以 Modbus RTU、9 600 bps、8 数据位、无校验、1 停止位为例,每字节 10 位:
1 | def rtu_frame_ms(bytes_count: int, baud: int = 9600, bits_per_byte: int = 10) -> float: |
按 8 字节请求、25 字节响应计算,单站约 34 ms(不含设备处理),100 个从站一轮约 3.4 秒。这解释了现场最常见的一句话:“PLC 里是 100 ms,数据库里是 3 秒”——不是采集软件慢,是链路带宽不够。
反推也很实用:若要求 1 秒轮询 100 个从站,单站预算只有 10 ms,9 600 bps 下根本不够,必须提高波特率、拆多串口或改用网口设备。
四、Kettle:它是集成工具,不是协议
Kettle(现名 Pentaho Data Integration)常被写进“数据采集方案”,这里必须把定位说清楚:它是批处理 ETL 工具,不是实时采集协议,也不承担 OT 数据的质量管理。
4.1 它能做好的事
| 能力 | 说明 | 在 OT 治理中的位置 |
|---|---|---|
| 多源抽取 | 关系库、文件、HTTP 接口、消息队列 | 历史数据迁移、L3/L4 系统供数 |
| 增量同步 | 按时间戳或自增 ID 拉增量 | 班报、日报、月结数据同步 |
| 转换清洗 | 字段映射、单位换算、空值处理 | 批量补历史、口径转换 |
| 调度编排 | 定时任务、依赖作业 | 夜间跑批、对账作业 |
| 输出 | 目标库、文件、接口 | 数据集市、报表库 |
4.2 它做不了的事
| 需求 | 为什么 Kettle 不合适 |
|---|---|
| 秒级/亚秒级采集 | 作业按调度周期启动,启动开销与事务开销都在秒级 |
| 断点续传与原始时标 | 依赖源端可查,断网期间无法缓存 |
| 质量码逐条传递 | 行级质量状态需要采集端生成,ETL 只能整批处理 |
| 高频时序写入 | 面向行式数据库设计,不适合百万点/秒的写入 |
| 长事务与幂等 | 作业重跑容易重复写入,需要额外去重设计 |
4.3 正确的位置
一条完整的链路里,Kettle 应该在采集之后、应用之前:
flowchart LR
A["现场设备"] --> B["边缘网关<br/>实时采集 + 质量码"]
B --> C["时序库<br/>原始层"]
C --> D["Kettle 批量作业<br/>历史补数、口径转换、跨库同步"]
D --> E["分析库 / 数据集市"]
E --> F["报表与模型"]图 2:Kettle 在链路中的正确位置——批量加工,不承担实时采集
具体三类用法最稳:
- 历史数据迁移:老系统停机前把十年数据按批次搬到新库,按时间片切分,失败可重跑。
- 跨系统对账:每天凌晨把计量表读数、ERP 结算量、时序库统计量拉到一张表比对,差异出清单。
- 口径转换:把旧口径的班报按新口径重算,用于历史可比。
用 Kettle 做实时采集的典型症状是:调度间隔 5 分钟,追溯要求 3 秒,最后靠“加大调度频率”硬撑,作业重叠、数据库锁表,整体崩掉。
五、边缘侧的三件事
sequenceDiagram
participant P as PLC/DCS
participant G as 边缘网关
participant Q as 本地缓冲
participant T as 时序库
P->>G: 周期采样(含设备时标)
G->>G: 时标校正 + 类型转换 + 质量码
G->>Q: 写入本地缓冲(断网继续写)
G->>T: 正常上报
Note over G,Q: 网络中断
G->>Q: 持续缓存,记录断点位置
Note over G,T: 网络恢复
G->>T: 断点续传(携带原始时标)
G->>T: 补传完成标记,触发下游重算图 3:边缘网关的采集与断点续传时序
缓存容量要算,不能拍。 假设一条产线 5 000 点、1 Hz、每点 24 字节(含时标与质量码),一天约 10.4 GB。若要求扛住 8 小时断网,网关至少需要 3.5 GB 可用空间,实际按 1.5 倍冗余配置。
回补必须幂等。 补传可能重复,写入端要按“测点 + 时标”去重,或用补传批次号做幂等键。
对时必须留证。 网关自身接统一时钟源,同时保留设备原始时标;两者偏差超过阈值时打标,供后续判断。
六、时序库选型:六个维度,别只看写入
| 维度 | 要问的问题 | 不达标的表现 |
|---|---|---|
| 写入吞吐 | 峰值每秒多少点 | 高峰丢点、写入排队 |
| 压缩比与原始精度查询 | 压缩后能否按原始精度取数 | 算峰值偏低、积分偏小 |
| 乱序与迟到写入 | 能否接受历史时段补写 | 回补数据被丢弃或进旁路表 |
| 标签基数 | 百万级测点是否支持 | 元数据膨胀、查询变慢 |
| 查询能力 | 窗口聚合、降采样、插值是否原生 | 全靠应用层算,性能塌陷 |
| 运维成本 | 单机还是集群、备份与扩容 | 小团队维护不动 |
关于产品,只说定位不说排名:InfluxDB 生态成熟、适合中等规模;TDengine 面向高基数时序、自带缓存与流计算;TimescaleDB 基于 PostgreSQL,SQL 友好、适合与业务库混部;IoTDB 面向工业场景、支持树形测点模型。选哪个取决于现有技术栈与运维能力,不取决于 benchmark 排名。
最容易被忽略的是乱序写入:断点续传本质上是往历史时段写数据,如果库只接受递增时间戳,回补就只能进旁路表,治理链路立刻分叉。
七、压缩:省空间,但要留住峰值
- 死区压缩:值变化超过阈值才记录,适合缓慢变化的温度、液位。
- 旋转门(SDT):用直线段近似曲线,保留能保证误差在 ε 以内的端点,适合趋势型信号。
两者都能把存储降一个量级,也都改变数据形态。工程做法是分层保留:原始层按高精度存 3—6 个月,聚合层长期保留,指标字典里注明某指标基于哪一层计算。否则“峰值”和“均值”会算出两个版本。
八、质量码:一个数值必须携带的判断
| 状态码 | 含义 | 下游处理 |
|---|---|---|
| 0 Good | 正常 | 可直接使用 |
| 1 Uncertain | 可疑(插值、超时未更新、临界越界) | 可用但需降权 |
| 2 Bad | 失效(传感器故障、超量程、冻结) | 不可用于计算,仅可展示 |
| 3 Missing | 缺失(断联、未采集) | 不可用,触发补数或告警 |
原因子码用于区分同类状态的不同根因,如 SENSOR_FAULT、OVER_RANGE、FROZEN、NETWORK_LOSS、LATE_ARRIVAL、INTERPOLATED。有了子码,才能统计“这周 Bad 里 60% 是冻结值”,从而把工单派给仪表专业,而不是笼统地“数据质量差”。
1 | from dataclasses import dataclass |
这段逻辑刻意把“冻结”和“跳变”分开:冻结是传感器失效(Bad),跳变多数只是可疑(Uncertain)。把跳变直接判坏,会误伤真实的工艺突变。
九、一个比喻:五种收货方式
取数方式像收货:OPC UA 是标准化集装箱,规格清楚、交接有单据;Modbus 是散装货,只告诉你“第几个格子”,装的是什么要自己记;HTTP 是快递,一次一件、要签收,适合少量多次;裸 Socket 是对方按自己的规矩装箱,你得先弄清他的箱子尺寸;Kettle 是每天固定时间来一趟的货车,装得多但不随时到。
对应关系是:集装箱对应信息模型,散装货对应寄存器表,快递对应请求—响应,货车对应批量作业。边界在于:收货可以慢慢拆,实时控制等不起——取数方式选错,治理再补也补不回时间精度。
十、检查清单
- 每个协议都写了端口、默认超时、重连策略
- 无语义协议(Modbus/S7/Socket)的地址映射已并入测点台账
- HTTP 接口做了批量提交、超时重试与幂等
- 裸 Socket 做了粘包切分、字节序校验、心跳
- 边缘缓存容量按“最坏断网时长 × 1.5”配置
- 补传按“测点 + 时标”幂等去重
- 时序库验证过乱序写入与历史回补
- 压缩策略写明分层保留周期与精度
- 质量码为两级编码,原因子码可统计
- 批量作业(Kettle 等)与实时链路物理隔离,避免互相影响
十一、结论
技术选型没有“最好”,只有“匹配”:
- 协议按现场存量选,平台侧统一收敛;
- HTTP 走批量接口,Socket 必须切帧,Kettle 只做批量;
- 边缘必须能缓存、能回补、能对时;
- 时序库必须支持乱序写入与原生窗口查询;
- 质量码必须二级编码,状态之外还要有原因。
这五条是底线,缺一条,治理就会退化成“人工补数”。
