论文部分内容阅读
摘 要：环保物联网是指，在传统环保行业引入自动化和信息化技术，来实现环境保护科学化管理的系统网络。环保物联网从结构上分，可以分为三层结构。首先是基础层，此层面主要包括污染治理设施（污染源）现场端的感知，主要包括现代化的传感器、分析仪、智能仪表等。其次是通信层，主要作用是实现感知层数据的传输，主要包括两种数据传输方式，有线传输和无线传输。最后是数据应用层，数据应用有两方面的含义，一方面是通过数据分析，得出相关的结论支持环保管理决策;另一方面是通过远程控制来优化环保治理设计的工艺运行条件。利用物联网技术搭建环境物联网网关，能够支撑生态云实时感知污染态势;利用多源异构技术搭建环境数据中心，能够支撑生态云数据服务环境管理。
关键词：物联网;网关;环境感知;平台
中图分类号：X84 文献标识码：A 文章编号：1674-1064（2021）10-0-03
DOI：10.12310/j.issn.1674-1064.2021.10.027
在镇江的信息化基础设施支撑方面，生态环境局仍存在缺少整体规划和建设，监控中心信息化设施明显落后于实际需求，前端感知建设等不足。信息化数据来源于前端的准确采集设备的数据。
环境保护部环境监察局提供的数据显示，截至目前，全国共建成国家、省、市三级监控中心349个，建成率为95.9%;已经建成的343个地方监控中心全部与环保部监控中心联网，三级污染源监控中心基本建成。
环境感知层体系的建立，为生态环境信息化建设以及决策提供了有力支撑[1]。
网关主要以《污染物在线监控（监测）系统数据传输标准》（HJ 212-2017代替HJ/T 212-2005）为基础，支持污染源（废水、废气）污染物检测、各环境要素（水、气、噪声、土壤、辐射等）监测项目检测;通过扩展协议，可支持采集企业能耗、工艺工况、仪器设备运行等数据。同时，整合基于国家标准的多种通信协议（物联网协议、HJ/T 477、JT/T 809等），实现辅助环境监管感知设备的直接接入。网关可以实现污染源“三废”排放监控、工况能耗监控、危废智能终端、环境质量监测、扬尘在线监测数据、视频监控、GPS路线等近350种仪器接入。
环境感知层是整个智慧环保体系的基础物理层，主要负责利用物联网设备感知并采集环境数据进入大数据中心。环境感知层包括物联网设备及智能网关两部分，如图1所示。
1 物联网设备
智慧环保体系中的物联网设备，包括环境监测设备、数据采集设备、视频监控设备、工况监控设备、无人機等环境感知平台，可以划分为环境感知设备、数据采集设备、环境感知平台类设备三大类。
1.1 环境感知设备
其主要包括环境监测设备、视频监控设备、工况监控设备等。
环境监测设备。监测某区域或集中污染物排放点的环境质量信息，具体监测因子按区域污染物排放特点进行配置，确保可以涵盖能代表区域污染物排放特征的环境因子。
视频监控设备。视频监控设备主要负责监控区域的环境风险状态、污染物排放的物理性状、进出区域的车辆及人员情况，以及关键物料物资的转运情况等，可以支撑环境风险监控、环境遥感、固废转移及危险化学品转移监控等。
工况监控设备。工况监控设备主要监控企业的用水、用电消耗等情况，判断企业资源消耗情况与环保设施的开启状态。
1.2 数据采集设备
环保数采仪。智慧环保体系内的数采仪主要用于采集环境感知数据，符合《污染源在线自动监控（监测）数据采集传输仪技术要求》（HJ 477-2009）和《污染源在线自动监控（监测）系统数据传输标准》（HJ 212-2017）。
数据采集。数采仪可采集配套仪器（环境采样设备等）的状态和工作参数（包括校正因子、校正系数和校正时间等），用于智慧环保后续的数据分析与应用。
远程控制。其包括远程控制数采仪软件或硬件重启、远程升级、各种参数的远程配置等。
数据传输。无线通信模块可断电复位，保证永久在线，具有数据自动补传功能。支持多中心数据传送，可同时配置有线和无线通信方式，支持多种国内主流仪器厂商（HJ 212等）的通信协议。
数据存储。各种历史数据可存储12个月以上，具有数据导出功能。
1.3 环境感知平台
其主要包括无人机、无人船等，用于搭载环境感知设备完成环境感知功能，并作为用户部分业务的应用手段，如利用无人机搭载视频监控进行区域巡查监察，利用无人船定位企业非法排污口等。
2 智能网关
智慧环保利用大数据存储、弹性资源以及流式计算等相关技术，通过环境大数据网关，解决数万量级的环保数据采集设备的实时联网、高效通讯及数据入库与分发的问题，构建分布式、高并发、高可用的污染物环境感知智能网关，结合数据有效性审核规范，高效稳定地完成智能协议路由及数据解析、数据存储;通过采用实时数据流、离线数据接口等方式，实现所接收数据的发布，并按需提供给各个业务系统，智能网关架构如图2所示。
环境智能网关如图3所示，可分为设备网关、数据服务、API网关三大模块。
2.1 设备网关
设备网关是整个通讯中心的核心功能，主要负责海量前端设备发出的高频率数据包的接收，及实现准实时设备反控功能。
设备网关采用云模式设计，通过基于TCP层网络均衡服务进行分布式部署，后台采用SSDB高速缓存队列进行数据包暂存。
设备网关采用linux系统下多进程和多线程技术研发，网关内部由一个管理进程、若干个通讯进程及一个数据包处理进程组成，如图4所示。
管理进程负责监控通讯进程的工作状态。管理进程作为设备网关的大脑，负责指挥整个进程的运行，其分配的合理性也决定了整个系统运行的效率。 根据服务器性能通讯进程，判断单进程可创建的最大线程数，每个进程可创建子线程，每个通讯子线程可同时与若干个前端设备建立链接，通过询问、握手、校验、应答等标准通讯协议进行数据通讯，并截取主要数据包放入临时数据包缓存队列中。同时，也可直接对前端设备进行远程反控，当通讯进程通过进程通讯技术接收到反控命令时，该设备主动链接设备网关后，第一时间使通讯完成反控操作[2]。
數据包处理进程通过多线程技术实现数据包存储，负责将临时数据包缓存队列存放至SSDB中，确保数据包不丢失。
由此可以看出，通讯网关以多进程多线程模式设计开发，确保单个节点能承担更多的前端设备;经第三方测试，以单台服务器配置16核CPU、32 G内存为例，（16-2）进程*1024个线程*5个TCP链接>7万设备同时接入，单个节点同时接入监测设备的数量远大于20 000个监测设备;通过局域网1 000 M网络模拟测试：10秒内3 000设备联网上线，1分钟内15 000设备联网上线，2分钟内25 000设备联网上线。
2.2 数据服务
数据服务作为后台的基础支持，负责进行数据包入库处理，按照分类路由，智能解析，按需发布的原则完成处理工作，如图5所示。
系统数据库采用MySql+HBase（即SQL+NOSQL模式）进行存储，MySql负责系统管理、设备管理、配置信息等业务关系信息的存储;HBase负责原始数据包、监测数据等业务数据的存储。
2.3 API网关
API网关提供系统注册、订阅管理、设备管理、在线反控、数据查询等在线功能。
2.4 智慧环保体系内可用的网关类型
污染物在线采集网关。2017年5月1日实施的《污染物在线监控（监测）系统数据传输标准》（HJ 212-2017代替HJ/T 212-2005），在原有的污染源在线监控的基础上，将环境质量监控、污染源自动监控、工况过程监控、仪器设备运行参数等纳入协议管理范畴，进一步明确和规范了污染物在线数据传输标准，为扩大环境传感器的接入提供了标准支撑。
其主要包括如下功能：
设备管理。数据发送主体管理（凡是可以发送符合HJ 212-2017协议的数据包的软硬件实体均称为设备，包括环保数采仪器、在线仪器、工控机、其他数据通讯中心软件），主要包括设备注册（获取唯一标识）、设备信息维护（包括基础信息、管理单位信息、运维单位信息等）、设备审核、设备停用、设备删除等功能。
数据接收。网关将依据分布式、高并发、高可用等原则建设，确保现场在线设备通讯正常、数据包不丢失。
数据解析。网关依托流式计算技术对符合HJ 212协议的数据就行拆包解析，并结构化入库。入库过程中，系统可根据各个业务系统提供的数据审核规则（如超标限制、异常判定等有效性审核规则）自动判定数据状态，为入库数据打上数据标识。
数据发布。数据网关为各个业务系统提供数据订阅服务，各个业务系统可根据需要实时获取指定设备的在线数据。
设备反控制。数据网关将HJ 212的反控命令封装接口服务，各个业务系统可根据需要调用反控命令与现场设备联动，如补发数据、现场留样。
原始数据包查询。数据网关提供调阅数据原始数据包，便于设备排查、数据核对。
其他协议数据网关。通过整合基于国家标准的多种通信协议，实现对其他环境监测仪器设备的直接接入。目前，主要的通信协议包含：物联网协议、HJ/T 477、JT/T 809等，主要包括大气环境质量自动监控、企业工况在线监控、机动车遥感遥测、移动式数据、扬尘在线监测数据采集等。
自定义服务数据网关。针对特殊数据类型，用户能通过自定义服务数据网关实现数据上传，使平台完成数据接收。
数据建模。依托大数据中心的信息资源目录、数据交换平台及存储平台，用户可根据自有数据格式、业务系统标准数据格式注册到数据管理平台，并与信息资源目录进行关联，审核通过后生效。
数据接收。平台提供模板导入、DB方式、接口方式等三种模式的接收数据。
模板导入，根据数据建模，平台生成可视化操作页面，下载数据模板。DB方式，依托数据交换平台，用户可配置源数据库信息、数据映射关系、交换规则等信息，实现系统自动数据接收。接口方式，业务系统已有大量数据接口，用户可以配置接口信息、数据入库规则、交换规则等信息，实现数据接收。
参考文献
[1] 郑如滨，王豪伟，许通，等.基于元数据的异构环境物联网管理研究[J].长江科学院院报，2017（11）：138-143.
[2] 何明，陈国华，梁文辉，等.物联网环境下云数据存储安全及隐私保护策略研究[J].计算机科学，2012，39（5）：62-65.
关键词：物联网;网关;环境感知;平台
中图分类号：X84 文献标识码：A 文章编号：1674-1064（2021）10-0-03
DOI：10.12310/j.issn.1674-1064.2021.10.027
在镇江的信息化基础设施支撑方面，生态环境局仍存在缺少整体规划和建设，监控中心信息化设施明显落后于实际需求，前端感知建设等不足。信息化数据来源于前端的准确采集设备的数据。
环境保护部环境监察局提供的数据显示，截至目前，全国共建成国家、省、市三级监控中心349个，建成率为95.9%;已经建成的343个地方监控中心全部与环保部监控中心联网，三级污染源监控中心基本建成。
环境感知层体系的建立，为生态环境信息化建设以及决策提供了有力支撑[1]。
网关主要以《污染物在线监控（监测）系统数据传输标准》（HJ 212-2017代替HJ/T 212-2005）为基础，支持污染源（废水、废气）污染物检测、各环境要素（水、气、噪声、土壤、辐射等）监测项目检测;通过扩展协议，可支持采集企业能耗、工艺工况、仪器设备运行等数据。同时，整合基于国家标准的多种通信协议（物联网协议、HJ/T 477、JT/T 809等），实现辅助环境监管感知设备的直接接入。网关可以实现污染源“三废”排放监控、工况能耗监控、危废智能终端、环境质量监测、扬尘在线监测数据、视频监控、GPS路线等近350种仪器接入。
环境感知层是整个智慧环保体系的基础物理层，主要负责利用物联网设备感知并采集环境数据进入大数据中心。环境感知层包括物联网设备及智能网关两部分，如图1所示。
1 物联网设备
智慧环保体系中的物联网设备，包括环境监测设备、数据采集设备、视频监控设备、工况监控设备、无人機等环境感知平台，可以划分为环境感知设备、数据采集设备、环境感知平台类设备三大类。
1.1 环境感知设备
其主要包括环境监测设备、视频监控设备、工况监控设备等。
环境监测设备。监测某区域或集中污染物排放点的环境质量信息，具体监测因子按区域污染物排放特点进行配置，确保可以涵盖能代表区域污染物排放特征的环境因子。
视频监控设备。视频监控设备主要负责监控区域的环境风险状态、污染物排放的物理性状、进出区域的车辆及人员情况，以及关键物料物资的转运情况等，可以支撑环境风险监控、环境遥感、固废转移及危险化学品转移监控等。
工况监控设备。工况监控设备主要监控企业的用水、用电消耗等情况，判断企业资源消耗情况与环保设施的开启状态。
1.2 数据采集设备
环保数采仪。智慧环保体系内的数采仪主要用于采集环境感知数据，符合《污染源在线自动监控（监测）数据采集传输仪技术要求》（HJ 477-2009）和《污染源在线自动监控（监测）系统数据传输标准》（HJ 212-2017）。
数据采集。数采仪可采集配套仪器（环境采样设备等）的状态和工作参数（包括校正因子、校正系数和校正时间等），用于智慧环保后续的数据分析与应用。
远程控制。其包括远程控制数采仪软件或硬件重启、远程升级、各种参数的远程配置等。
数据传输。无线通信模块可断电复位，保证永久在线，具有数据自动补传功能。支持多中心数据传送，可同时配置有线和无线通信方式，支持多种国内主流仪器厂商（HJ 212等）的通信协议。
数据存储。各种历史数据可存储12个月以上，具有数据导出功能。
1.3 环境感知平台
其主要包括无人机、无人船等，用于搭载环境感知设备完成环境感知功能，并作为用户部分业务的应用手段，如利用无人机搭载视频监控进行区域巡查监察，利用无人船定位企业非法排污口等。
2 智能网关
智慧环保利用大数据存储、弹性资源以及流式计算等相关技术，通过环境大数据网关，解决数万量级的环保数据采集设备的实时联网、高效通讯及数据入库与分发的问题，构建分布式、高并发、高可用的污染物环境感知智能网关，结合数据有效性审核规范，高效稳定地完成智能协议路由及数据解析、数据存储;通过采用实时数据流、离线数据接口等方式，实现所接收数据的发布，并按需提供给各个业务系统，智能网关架构如图2所示。
环境智能网关如图3所示，可分为设备网关、数据服务、API网关三大模块。
2.1 设备网关
设备网关是整个通讯中心的核心功能，主要负责海量前端设备发出的高频率数据包的接收，及实现准实时设备反控功能。
设备网关采用云模式设计，通过基于TCP层网络均衡服务进行分布式部署，后台采用SSDB高速缓存队列进行数据包暂存。
设备网关采用linux系统下多进程和多线程技术研发，网关内部由一个管理进程、若干个通讯进程及一个数据包处理进程组成，如图4所示。
管理进程负责监控通讯进程的工作状态。管理进程作为设备网关的大脑，负责指挥整个进程的运行，其分配的合理性也决定了整个系统运行的效率。 根据服务器性能通讯进程，判断单进程可创建的最大线程数，每个进程可创建子线程，每个通讯子线程可同时与若干个前端设备建立链接，通过询问、握手、校验、应答等标准通讯协议进行数据通讯，并截取主要数据包放入临时数据包缓存队列中。同时，也可直接对前端设备进行远程反控，当通讯进程通过进程通讯技术接收到反控命令时，该设备主动链接设备网关后，第一时间使通讯完成反控操作[2]。
數据包处理进程通过多线程技术实现数据包存储，负责将临时数据包缓存队列存放至SSDB中，确保数据包不丢失。
由此可以看出，通讯网关以多进程多线程模式设计开发，确保单个节点能承担更多的前端设备;经第三方测试，以单台服务器配置16核CPU、32 G内存为例，（16-2）进程*1024个线程*5个TCP链接>7万设备同时接入，单个节点同时接入监测设备的数量远大于20 000个监测设备;通过局域网1 000 M网络模拟测试：10秒内3 000设备联网上线，1分钟内15 000设备联网上线，2分钟内25 000设备联网上线。
2.2 数据服务
数据服务作为后台的基础支持，负责进行数据包入库处理，按照分类路由，智能解析，按需发布的原则完成处理工作，如图5所示。
系统数据库采用MySql+HBase（即SQL+NOSQL模式）进行存储，MySql负责系统管理、设备管理、配置信息等业务关系信息的存储;HBase负责原始数据包、监测数据等业务数据的存储。
2.3 API网关
API网关提供系统注册、订阅管理、设备管理、在线反控、数据查询等在线功能。
2.4 智慧环保体系内可用的网关类型
污染物在线采集网关。2017年5月1日实施的《污染物在线监控（监测）系统数据传输标准》（HJ 212-2017代替HJ/T 212-2005），在原有的污染源在线监控的基础上，将环境质量监控、污染源自动监控、工况过程监控、仪器设备运行参数等纳入协议管理范畴，进一步明确和规范了污染物在线数据传输标准，为扩大环境传感器的接入提供了标准支撑。
其主要包括如下功能：
设备管理。数据发送主体管理（凡是可以发送符合HJ 212-2017协议的数据包的软硬件实体均称为设备，包括环保数采仪器、在线仪器、工控机、其他数据通讯中心软件），主要包括设备注册（获取唯一标识）、设备信息维护（包括基础信息、管理单位信息、运维单位信息等）、设备审核、设备停用、设备删除等功能。
数据接收。网关将依据分布式、高并发、高可用等原则建设，确保现场在线设备通讯正常、数据包不丢失。
数据解析。网关依托流式计算技术对符合HJ 212协议的数据就行拆包解析，并结构化入库。入库过程中，系统可根据各个业务系统提供的数据审核规则（如超标限制、异常判定等有效性审核规则）自动判定数据状态，为入库数据打上数据标识。
数据发布。数据网关为各个业务系统提供数据订阅服务，各个业务系统可根据需要实时获取指定设备的在线数据。
设备反控制。数据网关将HJ 212的反控命令封装接口服务，各个业务系统可根据需要调用反控命令与现场设备联动，如补发数据、现场留样。
原始数据包查询。数据网关提供调阅数据原始数据包，便于设备排查、数据核对。
其他协议数据网关。通过整合基于国家标准的多种通信协议，实现对其他环境监测仪器设备的直接接入。目前，主要的通信协议包含：物联网协议、HJ/T 477、JT/T 809等，主要包括大气环境质量自动监控、企业工况在线监控、机动车遥感遥测、移动式数据、扬尘在线监测数据采集等。
自定义服务数据网关。针对特殊数据类型，用户能通过自定义服务数据网关实现数据上传，使平台完成数据接收。
数据建模。依托大数据中心的信息资源目录、数据交换平台及存储平台，用户可根据自有数据格式、业务系统标准数据格式注册到数据管理平台，并与信息资源目录进行关联，审核通过后生效。
数据接收。平台提供模板导入、DB方式、接口方式等三种模式的接收数据。
模板导入，根据数据建模，平台生成可视化操作页面，下载数据模板。DB方式，依托数据交换平台，用户可配置源数据库信息、数据映射关系、交换规则等信息，实现系统自动数据接收。接口方式，业务系统已有大量数据接口，用户可以配置接口信息、数据入库规则、交换规则等信息，实现数据接收。
参考文献
[1] 郑如滨，王豪伟，许通，等.基于元数据的异构环境物联网管理研究[J].长江科学院院报，2017（11）：138-143.
[2] 何明，陈国华，梁文辉，等.物联网环境下云数据存储安全及隐私保护策略研究[J].计算机科学，2012，39（5）：62-65.