青岛研博基于EMQ物联网数据基础设施在智慧水务平台产品中的实践

背景

在城市水务行业中，各省市水务集团作为国有资产管理和基础设施投资运营主体，负责城镇供水、排水防汛、污水处理、中水回用、河道运维、污泥处置、海水淡化、水务工程建设等各类水务相关业务。

根据新基建数字化转型以及智慧水务规划的目标任务，各水务运营主体提出了通过数字化转型提升集团生产效能，助推水务事业高质量发展的要求。

水务业务的数字化转型过程可分为「数据先行、夯实基础」、「资源整合、管理提升」、「管理创新、战略发展」三个阶段实施。而构建一个物联网统一接入系统则是「数据先行，夯实基础」阶段的重要任务。

本文将分享青岛研博结合EMQ物联网数据基础设施软件，构建智慧水务平台产品的实践经验。

水务数字化的现状与问题

厂站建设不标准

厂站数据未实现实时数据集中监管，各个厂站自控系统建设标准未统一，网络部署无规划，各个厂站PLC和组态软件的点表没有统一的标准规范，制约了数据汇聚及大数据分析应用，不利于数据挖掘工作。

抄表标准不统一，系统壁垒严重

随着各供水企业远传水表数量逐渐增多，各水表厂家的数据传输标准不统一，导致远传水表不能互换；各水表厂家各自搭建了抄表平台，存在抄表平台重复建设和数据壁垒问题，不利于集团统一管理。

数据质量无法支撑大数据平台

部分水务集团规划建设了集团大数据中心实现数据统一治理，大数据中心必须有高质量的感知层数据支撑。由于厂站数据、抄表数据以及其他业务数据没有统一接入规范，数据质量参差不齐。各类数据分散在各个系统中，很难形成可为大数据中心提供实时性强，格式规范的数据源。

青岛研博水务物联网统一接入系统建设思路

为了更好地服务于当前水务数字化转型的需求，青岛研博提出了基于物联网技术实现水务物联网统一接入系统的建设思路：

厂站数据在边缘侧统一采集并规范化处理上报

为了解决厂站生产数据分散和数据壁垒问题，通过将已有厂站、管网的各类工业自动化设备与系统的数据在厂站边缘侧进行实时采集，数据格式统一处理，将各厂站数据统一接入到上层的物联网统一接入系统中。

从各个厂站上传周期需要根据现场的物理设备进行确认，但一般速率都比较快。

每个厂站要采集的数据都不相同，点数也不同，以其中某厂站为例，需要接入各种类型设备。如某大型厂站主站设备包括：搅拌器，内回流泵（远程就地、故障、手动自动，开、停），电动阀门（阀位、开度、开到位、关到位、故障），生物池空气阀门（调节阀、阀位），外回流池，刮泥机，液位计，流量计，进口氨氮，氨氮硝氮一体机，溶解氧探头，ORP（测试微生物），MLSS（污泥浓度）；子站设备包括：鼓风机流量，压力，鼓风机，计量泵，液位计，卸料泵，混合泵，电动阀，流量计。大厂站采集点位在几千点，小型厂站采集点规模也在几百点。

在实际项目中，厂区可以分为新建厂区和老厂区两种。

老厂区基本上PLC比较老旧，而且不可以对现有PLC程序进行改造，需要对接厂区现有SCADA系统（一般对接OPC-DA接口）将数据采集出来后进行数据格式转换，然后上传到物联网统一接入系统中。

新建厂区可以要求新建厂区的PLC支持OPCUA协议或者ModbusTCP协议，通过对接这两种协议将数据上传到物联网统一接入平台。

远传水表统一接入

针对抄表平台重复建设和数据壁垒问题，通过建立一套不受硬件厂商限制，实现不同品牌远传水表接入的数据采集系统，具备对各供水企业远传水表数据统一接入的能力。

物联网统一接入系统可以通过不同的通信方式，同时支持TCP、UDP、MQTT、CoAP等物联网通讯协议连接感知层设备、工程系统和运营商物联网平台等系统进行对接、采集与数据汇聚。

接入数据汇聚，统一处理，对接大数据平台

通过建设物联网统一接入系统，将海量水务设备数据汇聚在集团数据中心。在平台数据汇聚层进行对各类数据按照水务运营部门对数据源格式进行统一处理，并实时对接后台的大数据中心的数据服务接口，从而支撑水务大数据分析的需求。

基于EMQ数据基础设施软件的云边结合水务物联网接入实施方案

综合上述方案与需求，统一接入物联网平台主要需要具备以下能力：

• 边缘侧各类工控协议的对接，边缘数据处理以及与数据中心平台实时对接上报数据；

• 平台侧多种物联网设备与各类物联网协议统一接入，并且提供对接第三方数据平台能力

• 平台高可靠海量数据汇聚，低时延低实时数据处理与北向大数据平台对接能力；

青岛研博在评估考察了各类基础软件能力后，选择了采用EMQ的云边整体数据接入产品作为研博平台的数据底座。

具体实施方案如下：

厂站数据采集

厂站通过部署支持标准Linux的工业网关硬件配合安装EMQ边缘工业协议网关软件Neuron，将网关接入厂站的生产网络中，然后通过配置Neuron以及现场PLC和SCADA系统通信获取数据。

为了符合水务运营部门对厂站数据上报格式的统一化要求，在边缘侧的工业网关中安装EMQ提供的轻量级流数据处理引擎eKuiper，在厂站本地将数据格式转换为标准的上行报文格式。

厂站内网通过运营商专网服务对接上级单位生产网。边缘网关通过MQTT协议将标准化的厂站数据报文实时发给到生产网中EMQX的MQTT集群服务中。在生产网与办公网之间，通过EMQX集群桥接方式穿越防火墙进行数据实时桥接，最终将实时数据写到办公网中的EMQX集群中。

水表数据采集

通常水表数据采集包括大表与户表两大类，新型的大表与户表采用可以MQTT协议直接对接统一数据平台。表计上报的MQTTPayload通过水务运营管理部门的统一规划的上行报文规范进行数据传输。户表上传周期每天一次、大表半小时上传一次。

现有表计主要为直连设备NB水表与M-Bus水表以及采集网关，对接方式有以下三种方案：

• 水表与采集网关符合水务运营主体制定的统一接入规范直接上传

由营销系统通过配表操作，向物联网统一接入系统推送新增或更换表具信息。物联网统一接入规范进行对接；

• NB水表通过运营商平台上传数据

由营销系统通过配表操作，向物联网统一接入系统推送新增或更换表具信息。物联网统一接入系统按照运营商上行协议，进行数据对接，但运营商平台传送数据类型需符合统一接入规范；

• 通过自定义上行协议与系统对接

现实业务中存在某些国际品牌，如西门子，只能通过厂家自定义上行协议与系统对接的设备。由营销系统通过配表操作，向物联网统一接入系统推送新增或更换表具信息，物联网统一接入系统按照厂家自定义上行协议进行对接。

作为较大的市级水务系统，表计大约在几十万台左右，结合厂站数据以及其他类型设备，需要系统可以支持百万设备并发连接能力。EMQX作为高性能物联网消息中间件，在平台接入层提供了海量数据统一汇聚能力。由于水务平台系统的业务关键性，需要采用EMQX多节点集群满足了系统高可用需要，避免接入层的单点故障。

EMQX内置提供了MQTT协议接入、NB设备常用的CoAP/LwM2M协议接入、运营商HTTPRestAPI接入数据接入。同时，EMQX针对企业私有协议提供了协议扩展能力，青岛研博通过自研开发EMQX私有协议插件，实现了一套平台全协议栈统一接入。

平台数据处理与北向数据对接

通过对水务厂站与水表数据的统一接入，可以将设备数据汇聚到集团EMQX集群中。在设备数据对接北向大数据平台前，需要按要求在EMQX中对原始数据进行清洗与整理，使数据规范化。

由于每种设备协议的不同采集的数据格式也是千差万别，为了方便后续对数据的有效使用，需要对数据统一构建数据模型。

基于EMQX内置的高性能实时规则引擎，数据被筛选后形成预处理数据，将数据的各个维度（时间、空间、业务）等进行标准化处理，构建统一设备数据模型。有了统一的数据模型以后，可以更好的支撑后续的数据计算和大数据分析。

通过EMQX规则引擎的处理后的数据，一方面对接大数据平台的大数据服务（如Kafka服务），另一方面数据存储到本地的时序数据库中，实现了对数据的实时分流。以下为EMQX规则引擎配置：

性能测试

为了确保统一接入系统性能，我们在系统上线前进行了模拟性能测试。测试模拟10万台设备连接双节点EMQX到Kafka和TDengine，模拟每台设备间隔一分钟发两条数据，主要关注平均响应时间不高于100毫秒，吞吐量不低于1000TPS，响应成功率不低于百分之99.999%。

测试报告如下：

项目成果与未来展望

到本文截稿日，本方案已经在各地区实际项目中接入各类大小水厂数十个，采集点超过30000点，表计设备超过5000个。青岛研博打造的统一接入系统，为应用层实现了对水表各类设备的统一设备管理、智能配置等平台能力。同时，每月为上层大数据平台提供超过1TB的高质量实时数据。

青岛研博基于自身在数据可视化方面多年积累，结合统一接入平台实时数据，实现了对水务系统各个网点和厂站的实时数据大屏展示、分区数据自定义展示能力，为水务运营主体的业务精细化管理与快速业务决策提供有力支撑。

除了提供产品，青岛研博在物联网统一接入系统项目实施过程中，通过对每个厂站详细调研以及基于工业物联网技术架构实现的厂站数据实时采集架构改造，针对存在的问题编制了厂站建设改造指导方案，为新厂站及现有厂站自动化改造提供建设规范，从根本上解决了水厂数据无法统一汇聚的问题。

客户简介

青岛研博电子有限公司成立于2006年，是一家致力于智慧水利水务技术研发与业务应用的高新技术企业。经过不懈的努力，青岛研博已发展成为智慧水利水务行业的领军企业。