基于多协议并行采集技术的能耗数据采集器及其采集方法

基于多协议并行采集技术的能耗数据采集器及其采集方法
【技术领域】
[0001]本发明涉及数据采集领域，特别涉及一种基于多协议并行采集技术的能耗数据采集器及其米集方法。
【背景技术】
[0002]在全球节能减排工作持续升温，节能减排重要性持续提升的背景下，节能环保行业涌现出了各类节能技术。要实现节能减排，能源消耗现状的统计、分析，开展能源信息化工作，对当前的耗能大户进行用能监测是重要的基础工作。
[0003]当前，能耗测量仪表主要包含电能表、热量表、水表、气表等仪表。能耗监测的任务是将这些能耗测量仪表的数据通过通信手段，集中采集并汇总至能耗管理中心，再由能耗管理中心的软件进行分析和优化。通常，电能表的通信接口采用基于RS485的MODBUS RTU协议或者DL/T645-1997，DL/T645-2007协议；热量表、水表、气表采用CJ/T188-2004协议。此外，由于能耗管理中心往往从层面上分成企业级、城市级、省级、国家级等多个层面，能耗数据需要上传到不同层面的管理中心。
[0004]行业内，由仪表厂商提供的数据采集器往往仅支持一种标准协议或者其自身自定义的通信协议，无法采集第三方协议的仪表。这就导致无法使用各仪表厂商的采集器来汇总能耗数据。从采集器与能耗管理中心的连接及可靠性上看，现有的采集器往往仅支持一个能耗管理中心，往往只能做到企业级的能耗数据集中。同时，在采集器与能耗管理中心间通信中断的情况下，会出现通信中断期间能耗数据丢失的情况。

【发明内容】

[0005]本发明针对现有技术存在的上述不足，提供了一种基于多协议并行采集技术的能耗数据采集器，可采集符合标准协议的能耗仪表，并提供所采集能耗数据的单位换算、报警等处理，并将处理后的数据上传至多个能耗数据中心。本采集器可存储历史能耗数据，确保采集器与能耗数据中心通讯中断期间的能耗数据不丢失。本采集器还内置Web网页配置接口，可方便通过Web对采集参数进行配置和调整。
[0006]本发明通过以下技术方案实现:
一种基于多协议并行采集技术的能耗数据采集器，其特征在于，包括:
采集模块，用以数据采集和处理；
配置模块，用以配置基于多协议并行采集技术的能耗数据采集器的接入网络的配置接口和生成配置文件；以及，
诊断模块，周期性的向采集模块和配置模块发送心跳通知，并接收回应，用以监视采集模块和配置模块是否正常运行；
其中，采集模块包括:数据采集单元、数据处理单元、数据实时值缓冲单元、数据存储单元以及数据上传单元；
数据采集单元包括若干不同协议的采集接口，根据配置文件加载对应的协议库，并根据协议库中的初始化函数进行初始化，结合通用的和特异的方法进行数据采集；
数据处理单元连接数据采集单元，接收数据采集单元采集到的数据，并进行处理，用以减少能耗管理中心的处理压力；
数据实时值缓冲单元连接数据处理单元，用以对处理后的数据进行缓冲；
数据存储单元连接数据实时值缓冲单元，用以存储数据；
数据上传单元连接数据实时值缓冲单元以及数据存储单元，设置能耗管理中心的IP地址和端口，并根据预设的初始化函数进行初始化，建立与能耗管理中心的连接，续传历史数据或上传实时数据。
[0007]较佳的，配置接口包括组态软件配置接口和Web网页配置接口 ；
Web网页配置接口用以配置基于多协议并行采集技术的能耗数据采集器的网口 IP地址、能耗管理中心的IP地址和端口、基于多协议并行采集技术的能耗数据采集器的建筑编码；
组态软件配置接口用以配置采集接口的属性、协议，以及在采集接口上添加仪表节点，配置仪表的属性，然后在仪表节点上添加采集节点，配置采集节点的属性，以生成配置文件。
[0008]较佳的，采集模块还包括若干RS485接口、若干RJ45接口、无线接口，用以数据传输。
[0009]较佳的，数据采集单元采用多线程技术，若干不同协议的采集接口分别创建一独立的采集线程。
[0010]较佳的，数据存储单元采用多文件分散历史数据存储，以小时为间隔生成历史数据文件，按年月日结构存储在对应文件夹。
[0011]本发明另提供一种基于多协议并行采集技术的能耗数据采集方法，可采集符合标准协议的能耗仪表，并对所采集能耗数据的单位换算、报警等处理，并将处理后的数据上传至多个能耗数据中心。
[0012]一种基于多协议并行采集技术的能耗数据采集方法，提供上述的基于多协议并行采集技术的能耗数据采集器，并执行包括以下步骤:
51、对各采集接口进行初始化；
52、根据配置文件对各采集接口加载对应的协议库；
53、根据协议库中的初始化函数对采集接口上的仪表和采集点进行初始化；
54、结合通用的和特异的方法进行数据采集；
55、对采集到的数据进行处理，以减少能耗管理中心的处理压力；
56、将处理后的数据存储到数据存储单元；
57、对能耗管理中心进行初始化，设置其IP地址和端口；
58、根据协议库中的初始化函数对能耗管理中心的密钥、建筑编码进行初始化；
59、与能耗管理中心建立连接和认证；
S10、根据之前的断线情况，续传历史数据和上传实时数据；
其中，所述SI与S7同时开始，异步执行。
[0013]较佳的，各采集接口包括配置了 MODUBS RTU或DL/T645-2007采集协议的RS485接口。
[0014]较佳的，RS485接口的数据采集流程包括:
511、根据配置文件中的波特率、奇偶校验信息设置串口属性，再根据配置文件中该RS485接口的采集协议名从协议库中选择相应的协议库进行加载；
512、利用该协议库的初始化函数设置下挂仪表的设备地址、各采集点的寄存器地址、采集周期等，形成一个采集队列，之后便开始正式的采集循环。
[0015]较佳的，步骤S12包括:
每次从采集队列中取出下一个需要采集的目标，使用协议库的组包函数组好查询数据帧从RS485接口发送出去，然后在超时时间内等待回应的数据帧并使用协议库的校验函数对其进行校验，当校验成功时利用协议库的解析函数进行解析得到每个采集点的数值，当接收失败或校验失败时则进一步判断是否超过重试次数，如果没要超过超时次数时，重试发送查询数据帧，如果超过了重试次数，则利用协议库的解析函数进行采集点的质量码更新，在解析完成后，将该采集目标再插回队列的合适位置，然后开始下一个采集目标的采集。
【附图说明】
[0016]图1所示的是本发明的结构示意图；
图2所示的是本发明采集模块的结构示意图；
图3所示的是本发明数据采集单元的结构示意图；
图4所示的是本发明一采集接口的工作流程图；
图5所示的是本发明数据上传单元的工作流程图；
图6所示的是本发明建筑能耗导则的工作流程图。
[0017]
【具体实施方式】
以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0018]为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。
[001 9]如图1所示，整个基于多协议并行采集技术的能耗数据采集器由:采集模块1、配置模块2、诊断模块3构成。
[0020]如图2所示，采集模块I细分成数据采集单元11、数据处理单元12、数据实时值缓冲单元13、数据存储单元14以及数据上传单元15，它是整个采集器的核心单元。
[0021]数据实时值缓冲单元13为内存中开辟的用来保存所有采集点实时数据(包括实时采集值、采集时间戳、质量码等)的一片区域，提供方便的接口供其他单元修改(一般为数据处理单元12)和读取(一般为数据存储单元14和数据上传单元15)，在接口中使用保护锁机制，保证了多线程操作时的数据安全。
[0022]数据采集单元11利用多线程技术，各采集接口分别创建一个独立的采集线程负责该接口的采集工作，以此方便实现各接口的并发采集，提高采集效率；此外数据采集单元11还利用动态链接库的技术，根据各采集接口的特点，将通用的流程、方法提炼出来集成在主程序之中，将不同采集协议特异的流程、方法独立出来，分别封装于不同的协议代码库中，以此方便并提高了数据采集单元11的可扩展性。
[0023]数据采集单元11的工作流程如图3所示，各接口在采集过程启动时，首先对该接口进行通用初始化，如RS485接口的波特率、无线接口的频段等(这里为一些通用的方法:即不随协议改变而变化的方法，除了这里初始化的例子，还包括，接口对数据的发送和接收等)，然后根据配置文件中各接口配置的采集协议名从协议代码库(以后简称协议库)中选择相应的协议库进行加载，接着使用协议库中的初始化函数对该接口上的仪表和采集点进行初始化，如下挂仪表的地址、采集点的采集周期等(这里为一些特异的方法:即不同协议不同的处理方法，除了这里初始化的例子，还包括，各协议不同数据帧的校验、解析等)，最后结合通用的和特异的流程、方法实现采集过程，在本发明中，通用的和特异的流程、方法都是采用现有的方法，因此，本发明在此不做赘述。
[0024]以下以配置了MODUBS RTU采集协议的RS485接口为例，具体说明数据采集单元11的工作流程:
如图4所示，该RS485接口的主采集程序首先根据配置文件中的波特率、奇偶校验等信息设置串口属性，再根据配置文件中该接口的采集协议名(M0DBUSRTU)从协议库中选择相应的协议库进行加载，然后利用该协议库的初始化函数设置下挂仪表的设备地址、各采集点的寄存器地址、采集周期等，形成一个采集队列，之后便开始正式的采集循环:每次从采集队列中取出下一个需要采集的目标(采集点的集合)，使用协议库的组包函数组好查询数据帧从RS485接口发送出去，然后在超时时间内等待回应的数据帧并使用协议库的校验函数对其进行校验，当校验成功时利用协议库的解析函数进行解析得到每个采集点的数值，当接收失败或校验失败时则进一步判断是否超过重试次数，如果没要超过超时次数时，重试发送查询数据帧，如果超过了重试次数，则利用协议库的解析函数进行采集点的质量码更新，在解析完成后，会将该采集目标再插回队列的合适位置，然后开始下一个采集目标的米集。
[0025]数据处理单元12可以对数据采集单元11得到的数据进行进一步加工和处理，包括数据换算、数据变化报警等，处理的表达式支持带括号的加、减、乘、除、与、或等运算。通过数据处理单元，可以较大地减少服务器数据处理的压力、更及时的得到所需数据等，从而扩大采集器的应用范围。如，可以在采集器层将电量乘以单价换算为费用，使得服务器可以直接进行统计；也可以在采集器层将所有的分表数据(电量、流量等)进行实时汇总，减少服务器对数据进行汇总时的计算压力；还可在数据采集时立刻识别出异常数据及时地通知服务器，实现更快的故障通知等。
[0026]数据存储单元13负责将处理之后的数据以特定格式存储到存储介质(可以是CF卡、SD卡、TF卡、nandflash等)中。IG存储容量，可以保证2000个采集点以60秒的存储间隔保存I个月以上历史数据。能耗数据采集器采用多文件分散历史数据存储，以I小时为间隔生成历史数据文件，按年月日结构存在相应的文件夹中，方便索引和压缩，此外，当存储介质局部出现故障的情况下，仅故障点所在的历史文件被破坏，将故障影响范围限制在局部，保证其他历史数据仍可使用。如果对存储容量要求不高，亦可采用冗余保存机制(或硬件组raidl、或软件保存多份等)，进一步提高数据的安全性。此外数据存储单元还负责记录各能耗管理中心的断线信息，为历史数据的续传提供记录。
[0027]数据上传单元14负责将能耗数据上报至能耗管理中心。与数据采集单元11相同，能耗数据采集器利用多线程技术实现多中心并发上传(用户亦可以此建立多能耗管理中心来实现冗余)，利用动态链接库技术实现上传协议的方便扩展(可支持《国家机关办公建筑和大型公共建筑能耗监测系统分项能耗数据传输技术导则》(以下简称建筑能耗导则)、《可再生能源建筑应用示范项目数据监测系统技术导则》、ModbusTcp、EnergyWise等)，如图5所示，各中心的数据上传单元14首先对该中心进行通用初始化，如服务器的相IP、端口等，然后再根据协议名称选择加载协议代码库，再利用协议代码库对该服务其进行协议初始化，如密钥、上传周期等，最后开始与该能耗管理中心进行数据上传。
[0028]以下简单以配置了建筑能耗导则的能耗管理中心为例具体说明一下采集器与能耗管理中心的通讯流程:
如图5、图6所示，各中心的数据上传单元14首先对该中心进行通用初始化，设置IP、端口等，然后根据协议名称加载建筑能耗导则对应的协议代码库，接下来利用协议库的初始化函数初始化该中心的密钥、建筑编码等其他信息，然后开始与服务器建立连接并认证，当连接建立并认证成功后，根据之前的断线情况，续传历史数据和上传实时数据并准备接收服务器中心的其他指令，当需要退出的时候，结束数据上传工作。这里可以与图3所示的数据采集单元同时开始，异步执行。
[0029]配置模块2是采集器与用户的交互接口，分为组态软件配置接口和Web网页配置接口。在WEB配置页面可以设置采集器的网口 IP地址、能耗管理中心的IP地址和端口、修改采集器的建筑编码等为采集器接入网络提供配置接口 ；在组态软件客户端，采集器以树形图形式展现，每个采集接口都可配置，用户可以先修改采集接口的属性(波特率等)、采集协议等，然后在各个接口上添加仪表节点，配置仪表的属性(仪表地址等)，然后在仪表节点上添加采集点，配置采集点的属性(寄存器地址、数据项、采集周期、换算表达式等)，最后生成配置文件下载到采集器，这样采集器便可以新的组态文件进行采集工作。
[0030]诊断模块3负责监视采集模块1、配置模块2是否正常运行，在其出现故障的情况下，记录故障信息，并重启故障单元，从而提高整个采集器的可用性。其工作原理为周期性向其他单元发送心跳通知，并等待回应，其他单元在工作循环的必经环节(如图4中、图6中的第6步)上加上心跳回应，这样其他单元一旦发生故障，诊断单元就无法在规定时间内收到心跳回应，从而判断出其他单元是否正常运行，在发生故障时，记录故障发生时间、发生单元，并重启故障单元，提高采集的恢复能力，保证正常运行。
[0031]在上述实施例的基础上，本发明另提供一种基于多协议并行采集技术的能耗数据采集方法，包括以下步骤:
51、对各采集接口进行初始化；
52、根据配置文件对各采集接口加载对应的协议库；
53、根据协议库中的初始化函数对采集接口上的仪表和采集点进行初始化；
54、结合通用的和特异的方法进行数据采集；
55、对采集到的数据进行处理，以减少能耗管理中心的处理压力；
56、将处理后的数据存储到数据存储单元； 57、对能耗管理中心进行初始化， 设置其IP地址和端口；
58、根据协议库中的初始化函数对能耗管理中心的密钥、建筑编码进行初始化；
59、与能耗管理中心建立连接和认证；
S10、根据之前的断线情况，续传历史数据和上传实时数据；
其中，所述SI与S7同时开始，异步执行。
[0032]基于多协议并行采集技术的能耗数据采集器硬件采用ARM9处理器，IGB CF卡存储器，64MB SDRAM，并提供了 4个RS485接口，I路以太网RJ45 口，I路GPRS无线接口。在此硬件基础上可以根据需要，扩展其他接口，如增加更多RS485接口，添加RS232接口，添加无线的采集接口等，以增加数据采集的能力，提高能耗采集器的使用范围；也可增加多路RJ45 口，通过设置具体的路由表，实现冗余备份或提高传输速率；除了 GPRS无线接口，也可提供电信的CDMA2000无线接口、联通的WCDMA接口、移动的TD-SCDMA接口等，方便偏远地区能耗数据采集器的数据传输；除了提供CF卡存储介质，也可使用TF卡、SD卡、U盘、nandflash等多种存储介质。
[0033]本发明相较于现有技术，其优势在于:
1、同个串口在不同组态下可挂接不同通讯协议的仪表；
2、采集和上传单元中通用方法和特异方法独立，可方便扩展；
3、采集数据拥有初步处理能力，能够减少服务器计算压力；
4、支持DL/T645-1997、DL/T645-2007、M0DBUS-RTU、CJ/T188 等多种标准通信协议；
5、支持多能耗管理中心(至少5个)，多上传协议的数据上传；
6、支持历史数据记录以及通信中断期间历史能耗数据上传。
[0034]以上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
【主权项】
1.一种基于多协议并行采集技术的能耗数据采集器，其特征在于，包括: 采集模块，用以数据采集和处理； 配置模块，用以配置所述基于多协议并行采集技术的能耗数据采集器的接入网络的配置接口和生成配置文件；以及， 诊断模块，周期性的向所述采集模块和所述配置模块发送心跳通知，并接收回应，用以监视所述采集模块和所述配置模块是否正常运行； 其中，所述采集模块包括:数据采集单元、数据处理单元、数据实时值缓冲单元、数据存储单元以及数据上传单元； 所述数据采集单元包括若干不同协议的采集接口，根据所述配置文件加载对应的协议库，并根据协议库中的初始化函数进行初始化，结合通用的和特异的流程和方法进行数据米集； 所述数据处理单元连接所述数据采集单元，接收所述数据采集单元采集到的数据，并进行处理，用以减少能耗管理中心的处理压力； 所述数据实时值缓冲单元连接所述数据处理单元，用以对处理后的数据进行缓冲； 所述数据存储单元连接所述数据实时值缓冲单元，用以存储数据； 所述数据上传单元连接所述数据实时值缓冲单元以及所述数据存储单元，设置所述能耗管理中心的IP地址和端口，并根据预设的初始化函数进行初始化，建立与能耗管理中心的连接，续传历史数据或上传实时数据。2.根据权利要求1所述的基于多协议并行采集技术的能耗数据采集器，其特征在于，所述配置接口包括组态软件配置接口和Web网页配置接口 ； 所述Web网页配置接口用以配置所述基于多协议并行采集技术的能耗数据采集器的网口 IP地址、能耗管理中心的IP地址和端口、基于多协议并行采集技术的能耗数据采集器的建筑编码； 所述组态软件配置接口用以配置所述采集接口的属性、协议，以及在采集接口上添加仪表节点，配置仪表的属性，然后在仪表节点上添加采集节点，配置采集节点的属性，以生成所述配置文件。3.根据权利要求1所述的基于多协议并行采集技术的能耗数据采集器，其特征在于，所述采集模块还包括若干RS485接口、若干RJ45接口、无线接口，用以数据传输。4.根据权利要求1所述的基于多协议并行采集技术的能耗数据采集器，其特征在于，所述数据采集单元采用多线程技术，所述若干不同协议的采集接口分别创建一独立的采集线程。5.根据权利要求1所述的基于多协议并行采集技术的能耗数据采集器，其特征在于，所述数据存储单元采用多文件分散历史数据存储，以小时为间隔生成历史数据文件，按年月日结构存储在对应文件夹。6.—种基于多协议并行采集技术的能耗数据采集方法，其特征在于，提供如权利要求1所述的基于多协议并行采集技术的能耗数据采集器，并执行包括以下步骤: 51、对各采集接口进行初始化； 52、根据配置文件对各采集接口加载对应的协议库； 53、根据协议库中的初始化函数对采集接口上的仪表和采集点进行初始化； 54、结合通用的和特异的流程和方法进行数据采集； 55、对采集到的数据进行处理，以减少能耗管理中心的处理压力； 56、将处理后的数据存储到数据存储单元； 57、对能耗管理中心进行初始化，设置其IP地址和端口； 58、根据协议库中的初始化函数对能耗管理中心的密钥、建筑编码进行初始化； 59、与能耗管理中心建立连接和认证； 510、根据之前的断线情况，续传历史数据和上传实时数据； 其中，所述SI与S7同时开始，异步执行。7.根据权利要求6所述的基于多协议并行采集技术的能耗数据采集方法，其特征在于，所述各采集接口包括配置了 MODUBS RTU或DL/T645-2007采集协议的RS485接口。8.根据权利要求7所述的基于多协议并行采集技术的能耗数据采集方法，其特征在于，所述RS485接口的数据采集流程包括: 511、根据配置文件中的波特率、奇偶校验信息设置串口属性，再根据配置文件中该RS485接口的采集协议名从协议库中选择相应的协议库进行加载； 512、利用该协议库的初始化函数设置下挂仪表的设备地址、各采集点的寄存器地址、采集周期等，形成一个采集队列，之后便开始正式的采集循环。9.根据权利要求8所述的基于多协议并行采集技术的能耗数据采集方法，其特征在于，步骤S12包括: 每次从采集队列中取出下一个需要采集的目标，使用协议库的组包函数组好查询数据帧从RS485接口发送出去，然后在超时时间内等待回应的数据帧并使用协议库的校验函数对其进行校验，当校验成功时利用协议库的解析函数进行解析得到每个采集点的数值，当接收失败或校验失败时则进一步判断是否超过重试次数，如果没要超过超时次数时，重试发送查询数据帧，如果超过了重试次数，则利用协议库的解析函数进行采集点的质量码更新，在解析完成后，将该采集目标再插回队列的合适位置，然后开始下一个采集目标的采集。
【专利摘要】一种基于多协议并行采集技术的能耗数据采集器及其采集方法，其采集模块包括：数据采集单元、数据处理单元、数据实时值缓冲单元、数据存储单元以及数据上传单元；数据采集单元包括若干不同协议的采集接口，根据配置文件加载对应的协议库，并根据协议库中的初始化函数进行初始化，结合通用的和特异的方法进行数据采集；数据处理单元连接数据采集单元，接收数据采集单元采集到的数据并进行处理；数据上传单元连接数据实时值缓冲单元以及数据存储单元，设置能耗管理中心的IP地址和端口，并根据预设的初始化函数进行初始化，建立与能耗管理中心的连接，续传历史数据或上传实时数据。
【IPC分类】G08C19/00
【公开号】CN104881990
【申请号】CN201510320684
【发明人】不公告发明人
【申请人】合肥市徽腾网络科技有限公司
【公开日】2015年9月2日
【申请日】2015年6月12日