对数据采集终端数据采集的方法及系统.pdf

本发明涉及电力和通信领域，其公开了一种对数据采集终端数据采集的方法，包括，集中器通过低压载波采集居民用电数据；网络表通过交采采集台区用电数据；集中器通过串口连接网络表，所述网络表通过其通讯模块连接前置机并发送用电数据；采集服务器通过该前置机向采集终端发送采集命令数据，并异步接收前置机转发的采集终端的数据，如果采集失败则进入补采，否则跳转入下一步骤；中心服务器分析处理数据。同时又公开了一种对数据采集终端数据采集的系统。本发明的有益效果是：采用优化的通讯方法和完善的补采策略，可接受数量极大的台区、

1.  一种对数据采集终端数据采集的方法，其特征在于：包括以下步骤，(S1)集中器通过低压载波采集用户数据；网络表通过交采采集台区用电数据；
(S2)集中器通过串口连接网络表，所述网络表通过其通讯模块连接前置机并发送用电数据；
(S3)采集服务器通过该前置机向采集终端发送采集命令，并异步接收前置机转发的采集终端的数据，如果采集失败则进入补采流程，否则跳转入下一步骤；
(S4)中心服务器分析处理数据。

2.  根据权利要求1所述对数据采集终端数据采集的方法，其特征在于：所述用电数据对于网络表可为电能量、电压、电流、功率、功率因数、电能质量等，对于集中器可为电量、电表事件等数据。

3.  根据权利要求1所述对数据采集终端数据采集的方法，其特征在于：所述网络表发送用电数据方式有管理中心召唤式和主动上送式，具体为，当网络表接收到采集服务器发来的采集命令后，获取相应用电数据以应答该采集服务器；当满足网络表主动向采集服务器发送用电数据的预定条件时，主动获取用电数据上送到该采集服务器。

4.  根据权利要求3所述对数据采集终端数据采集的方法，其特征在于：所述网络表及集中器发送用电数据方式为管理中心召唤式，具体为，(S101)系统采集服务器按预定条件向与需要监控的采集终端发出采集命令；
(S102)采集终端接收到所述采集命令后，执行获取用电数据；
(S103)前置机接收到采集终端的相应报文后，转发到对应的采集服务器；
(S104)采集服务器解析用电数据，如果解析失败则进行任务补采；(S105)中心服务器对获取到的用电数据进行处理和分析。

5.  根据权利要求1或3所述对数据采集终端数据采集的方法，其特征在于：所述补采按照一定的补采策略执行，所述补采策略具体为，
(S201)数据的采集流程控制以数据时标为指针，采集该指针所指向的时间点数据项；
(S202)所有能解析出正确数据的响应报文，均视为正常，采集服务器接收到此种应答后，时间指针向后移动到下一个需要采集的时间点，继续采集后续的数据点；
(S203)所有不能解析出正确数据的响应报文，均视为不正常，采集服务器接收到此种应答后不能移动采集时间指针，要等待下一次任务执行时间的到来并开始执行，直到满足步骤(S202)为止，否则如此循环预定次数后向后移动时间指针到下一个采集时间点。

6.  根据权利要求5所述对数据采集终端数据采集的方法，其特征在于：所述步骤(S3)中，采集服务器接收到网络表终端发送过来的用电数据包后，判断接收数据包是否完整，如果不完整则等待接收后续帧，并最终抽取完整的数据包；然后对数据的链路层和应用层进行解包处理，提取出应用数据。

7.  一种对数据采集终端数据采集的系统，其特征在于：包括
集中器，用于完成对各种具有载波通信功能的智能仪表、采集终端或采集模块以及各类载波通信终端的数据的收集并存储，同时能与主站或手持单元进行数据交换；
网络表，用于获取台区用电数据；
前置机，用于维护终端到采集系统的连接，在通讯过程中进行数据转发；
采集服务器，控制采集命令发送以及接收终端发送的用电数据的关键程序；负责各种采集命令的调度，流程的流转控制，补采策略的执行；
系统中心服务器，用于对用电数据进行查询、分析及处理。

8.  根据权利要求7所述对数据采集终端数据采集的系统，其特征在于：所述网络表和集中器之间采用串口线直连，网络表在等待集中器应答过程中设有超时限制；如果在所述超时限制时间内集中器未正常应答，则网络表以转发数据区为空的应答帧回应采集服务器。

9.  根据权利要求8所述对数据采集终端数据采集的系统，其特征在于：所述集中器可接入普通居民表和预付费卡表；采集所述集中器数据时通过所述网络表转发。

10.  根据权利要求9所述对数据采集终端数据采集的系统，其特征在于：所述网络表可为台区总表，其采集数据可用于计算台区总线损；所述网络表可作为集中器的上行转发通道。

对数据采集终端数据采集的方法及系统
技术领域
本发明电力和通信技术领域，特别涉及一种对数据采集终端数据采集的方法及系统。
背景技术
随着电力系统的改造，电力数据的采集将逐渐摒弃传统的人工抄表模式而采用远程终端控制抄表方式，并将抄表数据通过GPRS、CDMA、230M等方式传送到主站系统进行分析和应用。为了在主站侧进行数据分析应用以及实时监测用电情况，就必须确保主站侧电力数据的完整性。由于各终端厂商之间采用电力传输规约的差异以及对同一规约理解上的差异导致了采集终端数据的复杂性和不稳定性，再加上网络安全等复杂环境，越发增加了数据采集的难度，因此如何保证主站侧采集数据的完整性及补采方法的选择就显得非常关键。由于台区的数量十分庞大，在同一时间，有大量的采集终端(网络表)需要与中心服务器通讯。同时由于每个台区下居民用户数量也比较多(假设平均500户)，集中器抄表结果可能因为载波状况的不同产生巨大的差别，再加上网络的不稳定性，所以目前的系统要想完整的采集到所有用户的用电数据是很困难的。
发明内容
为了解决现有技术中的问题，本发明提供了一种对数据采集终端数据采集的方法和系统，解决前置机和采集系统同时接入大量采集终端和居民用户，进行并发采集成功率不高的问题。
本发明解决现有技术问题所采用的技术方案是：设计和制造一种对数据采集终端数据采集的方法，包括以下步骤，S1集中器通过低压载波采集用户数据；网络表通过交采(交流采样)采集台区用电数据；S2集中器通过串口连接网络表，所述网络表通过其通讯模块连接前置机并发送用电数据；S3采集服务器通过该前置机向采集终端转发采集命令数据，并异步接收前置机转发的采集终端的数据，如果采集失败则进入补采，否则跳转入下一步骤；S4中心服务器分析处理数据。
本发明进一步的改进是：所述用电数据包括电能量、电压、电流、功率、功率因数、电能质量、电量及电表事件数据；所述网络表按串行方式处理数据请求命令。
本发明进一步的改进是：所述网络表发送用电数据方式为有管理中心召唤式和主动上送式，具体为，当网络表接收到采集服务器发来的采集命令后，获取相应数据以应答该采集服务器；当满足网络表主动向采集服务器发送用电数据的预定条件时，主动获取用电数据上送到该采集服务器。
本发明进一步的改进是：所述网络表及集中器发送用电数据方式为管理中心召唤式，具体为，S101系统采集服务器按预定条件向与需要监控的采集终端发出采集命令；
S102采集终端接收到所述采集命令后，执行获取用电数据；
S103前置机接收到采集终端的相应报文后，转发到对应的采集服务器；
S104采集服务器解析用电数据，如果解析失败则进行任务补采；
S105中心服务器对获取到的用电数据进行处理和分析。
本发明进一步的改进是：所述补采按照一定的补采策略执行，所述补采策略具体为，
S201数据的采集流程控制以数据时标为指针，采集该指针所指向的时间点数据项；
S202所有能解析出正确数据的响应报文，均视为正常，采集服务器接收到此种应答后，时间指针向后移动到下一个需要采集的时间点，继续采集后续的数据点；
S203所有不能解析出正确数据的响应报文，均视为不正常，采集服务器接收到此种应答后不能移动采集时间指针，要等待下一次任务执行时间的到来并开始执行，直到满足步骤S202为止，否则如此循环预定次数后向后移动时间指针到下一个采集时间点。
本发明进一步的改进是：所述步骤S3中，采集服务器接收到网络表终端发送过来的用电数据包后，判断接收数据包是否完整，如果不完整则等待接收后续帧，并最终抽取完整的数据包；然后对数据的链路层和应用层进行解包处理，提取出应用数据。
本发明又提供了一种对数据采集终端数据采集的系统，包括
集中器，用于完成对各种具有载波通信功能的智能仪表、采集终端或采集模块以及各类载波通信终端的数据的收集并存储，同时能与主站或手持单元进行数据交换；
网络表，用于获取用电数据；
前置机，用于维护终端到采集系统的连接，在通讯过程中进行数据转发；
采集服务器，控制采集命令发送以及接收终端发送的用电数据的关键程序；负责各种采集命令的调度，流程的流转控制，补采策略的执行；
系统中心服务器，用于对用电数据进行查询、分析及处理。
本发明进一步的改进是：所述网络表和集中器之间采用串口线直连，网络表在等待集中器应答过程中设有超时限制；所述超时限制为如果在预定超时时间内集中器未正常应答，则网络表以转发数据区为空的应答帧回应采集服务器。
本发明进一步的改进是：所述集中器可接入普通居民表和预付费卡表；采集所述集中器数据时通过所述网络表转发。
本发明进一步的改进是：所述网络表可为台区总表，其采集数据可用于计算台区总线损；所述网络表可作为集中器的上行转发通道。
本发明的有益效果是：采用优化的通讯方法和完善的补采策略，可接受数量极大的台区、居民用户同时接入，并保证对台区、居民用电数据采集的实时、完整性，从而使同时监控大量台区、居民用户成为可能，并可有效的降低监控系统的建设成本。
附图说明
图1是本发明对数据采集终端数据采集的方法数据采集的流程示意图。
图2是本发明采用双补采策略采集的实现流程示意图。
图3是本发明对数据采集终端数据采集的系统的结构框图。
图4是本发明对数据采集终端数据采集的系统一实施例示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
在本发明实施例中，通过使用javaapi nio的多路选择复用监听器，实现对大量Socket连接的异步监听，可以解决主站采集系统同大量网络表之间的并发采集问题。通过网络表采集集中器数据时，采用打包用户采集的方式，减少通讯次数，提高通讯效率，节省流量。进行补采时，采用两种补采策略配合使用，即暂停移动采集时间指针和补采失败队列，该补采方法综合考虑了导致采集失败的各种因素，从而最大限度的保证了采集数据的完整性。
如图1所示，一种对数据采集终端数据采集的方法，包括以下步骤，S1集中器通过低压载波采集用户数据；网络表通过交采(交流采样)采集台区用电数据；
S2集中器通过串口连接网络表，所述网络表通过其通讯模块连接前置机并发送用电数据；
S3采集服务器通过该前置机向采集终端转发采集命令数据，并异步接收前置机转发的该采集终端的数据，如果采集失败则进入补采，否则跳转入下一步骤。
在该步骤中，采集系统(采集服务器)通过前置机采集终端数据，并根据结果判断是否需要补采；
采集系统按照预定周期向采集终端发送采集命令；
采集终端组织好相应用电数据作出应答；
采集系统解析终端应答的用电数据，成功则移动采集时间指针，并等待下一采集周期重新开始新的采集，如果解析失败则不移动采集时间指针，失败次数加1，并等待下一采集周期继续从该失败点开始采集。同一时间点如果失败超过预设重试次数，则移动采集时间指针至下一采集时间点，且将该失败点任务放入失败点补采队列，等待另一补采策略预设补采时间点的到来并执行补采。如果采集的是集中器数据，则需要按照预设打包居民表数量，依次进行采集，上述补采策略同样适用。只是在采集时需要专门记录每个时间点采集失败的用户集合，以便在进行补采时只针对失败的用户，提高采集效率。
S4中心服务器分析处理数据。在一实施例中，中心服务器采用J2EE+WEBSERVICE/EJB+JBOSS/WEBLOGIC构成，可承受50万用户数据的并发传送。中心服务器提供访问数据库的各种接口，屏蔽了各种应用程序对数据库的直接访问，同时提供一个容器的功能如JBOSS、WEBLOGIC等，用于部署WEBSERVICE、EJB等各种应用服务。
所述用电数据包括电能量、电压、电流、功率、功率因数、电能质量、电量及电表事件数据；所述网络表按串行方式处理数据请求命令。集中器获取居民用电数据，网络表获取台区用电数据。网络表根据现场交流采样，获取用电用户的电能量、电压、电流、功率、功率因数、电能质量等数据。集中器通过对各种具有载波通信功能的智能仪表、采集终端或采集模块以及各类载波通信终端，获取居民用户的日电量、卡表数据等。
所述网络表发送用电数据方式为有管理中心召唤式和主动上送式，具体为，当网络表接收到采集服务器发来的采集命令后，获取相应数据以应答该采集服务器；当满足网络表主动向采集服务器发送用电数据的预定条件时，主动获取用电数据上送到该采集服务器。
集中器通过RS485、RS232等串口线连接网络表，按照特定的波特率、数据位、停止位、校验位等和网络表交换数据。网络表利用电力负荷管理系统数据传输规约的数据转发功能AFN＝0x10进行集中器数据的透传。网络表自带通讯模块，支持GPRS通讯，通过电力专网、移动公网供电局局域网等多种网络以socket的方式登录到前置机。前置机维护所有与其连接的采集终端，使用多路复用器异步监听各终端的网络连接，实现并发处理。
所述网络表及集中器发送用电数据方式为管理中心召唤式，具体为，S101系统采集服务器按预定条件向与需要监控的采集终端发出采集命令；
S102采集终端接收到所述采集命令后，执行获取用电数据；
S103前置机接收到采集终端的相应报文后，转发到对应的采集服务器；
S104采集服务器解析用电数据，如果解析失败则进行任务补采；
S105中心服务器对获取到的用电数据进行处理和分析。
作为本发明一优选实施例，采集终端传输用电数据方式有采集系统召唤式和终端主动上报式两种，当采用前一种方式时，所述采集系统按预定条件向与需要监控的采集终端对应的通讯模块发出采集命令，相应的通讯模块收到所述采集命令后，才执行所述步骤S1和S2；当采用后一种方式时，采集终端对应的通讯模块按预定条件主动向采集系统发送用电数据，当满足所述预定条件时，该通讯模块主动执行所述步骤S1和S2；其中所述预定条件可为预定的时间间隔，其大小可为1分钟-720小时。
所述补采按照一定的补采策略执行，所述补采策略具体为，
S201数据的采集流程控制以数据时标为指针，采集该指针所指向的时间点数据项；
S202所有能解析出正确数据的响应报文，均视为正常，采集服务器接收到此种应答后，时间指针向后移动到下一个需要采集的时间点，继续采集后续的数据点。
S203所有不能解析出正确数据的响应报文，均视为不正常，采集服务器接收到此种应答后不能移动采集时间指针，要等待下一次任务执行时间的到来并开始执行，直到满足步骤S202为止，否则如此循环预定次数后向后移动时间指针到下一个采集时间点。
所述步骤S3中，采集服务器接收到网络表终端发送过来的用电数据包后，判断接收数据包是否完整，如果不完整则等待接收后续帧，并最终抽取完整的数据包；然后对数据的链路层和应用层进行解包处理，提取出应用数据。
图2示出本发明实施例提供的采用双补采策略的采集系统的实现流程，详述如下：
补采策略一，暂停采集，即暂停移动任务时间指针的补采方法。在正常采集周期内，允许某点数据连续采集失败几次，但不能超过预定次数。连续采集的数据任务时间指针指向同一时刻。在重试超过预定次数后将该任务放入补采队列，进入补采策略二。
补采策略二，队列补采，即启动专门的补采线程，实时检测任务补采队列，一旦检测到有任务需要补采，立即进入队列补采流程。补采成功后立即从补采队列中将该补采任务删除，如果补采任然失败，则尝试继续补采，但补采次数补能超过预定次数。超过预定次数仍没采集成功的任务做抛弃处理。
另外，连续两次补采之间的时间间隔不能小于预定采集周期，因为采集终端采集/冻结数据也需要一定的时间，所以在每次采集失败之后下次补采之前必须等待足够的时间，以便终端完成对电表数据的采集。
图3示出了一种对数据采集终端数据采集的系统，该系统主要包括网络表、集中器、居民表/多功能表、前置机、采集系统及系统中心服务器等。
集中器通过对各种具有载波通信功能的智能仪表、采集终端或采集模块以及各类载波通信终端，获取居民用户的日电量、卡表数据等。集中器将采集的用电数据按照规约标准组织成报文(字节流)通过RS485串口线传送给网络表。
网络表根据现场交流采样，获取台区总的电能量、电压、电流、功率、功率因数、电能质量等数据。网络表以自身采集的用电数据或接收的集中器数据作为数据区，按照电力负荷管理系统数据传输规约规约标准组织成报文通过其自带的通讯模块传递到主站系统前置机模块。
前置机接收到各网络表发来的数据后解析出对应的终端地址以及主站编号，然后按照主站编号找到对应的主站(采集系统工作站)，将终端应答数据转发给该对应主站采集系统。终端地址用于维护每个网络表与socket通道之间的对应关系。
采集系统接收到前置机的转发报文后按照电力负荷管理系统数据传输规约解析出网络表采集的用电数据；如果本次采集网络表仅作数据转发通道，则需要按照一定协议解析出集中器采集的用电数据。
中心服务器负责数据的处理、分析，实现远程台区监控、运行状态显示、异常信息报警、电能质量检测、线损计算、线损分析、远程抄表、线路电量平衡分析、客户服务等功能。
本发明利用先进的通讯技术、计算机及网络技术，为电力企业解决远程监控、设备异常信息报警、线损分析、停电检修、电能质量检测、负荷管理、线路电量平衡分析、负荷预测、考核、巡检、稽查等问题，以较高的信息化技术和管理手段对抗各种可能的高线损问题，并及时发现计量回路故障和用电异常行为。
本发明旨在为供电企业提供一种高效、客观、稳定、准实时的线损监测、分析、管理、考核的现代化、信息化的监测平台和管理手段，提高配电、用电环节的线损管理的自动化水平和可靠性。并为重点解决低压居民用电高线损(包括技术线损和管理线损)问题，提供技术支撑平台。实现全网各采集、计量、考核点的总、峰、平、谷、尖电度等电能数值，及电流、电压、有功、无功、最大需量、断相断流、功率因数等瞬时数据的自动、完整、准确、安全、及时、可靠、灵活、完善的采集、传输、存储、统计、计算、计费、分析、审核、确认、管理、备份、应用、报表、打印、发布；系统可对开户、换表、满度、CT/PT修改、消户等业务变更和旁路代供情况进行自动、人工处理。本发明的应用对象主要为各级电力公司。
如图4所示，具体实施时，本发明的系统采用从中国移动的地区分公司或中国联通的地区分公司铺设VPN(VirtualPrivate Network，虚拟私有网络)专线的方式，将电力公司的电力专网与GPRS网或WCDMA网连接起来。同时利用Internet宽带公网作为辅助的备用通道。
本发明在系统构架(采用J2EE数据服务技术)与网络组织方式(采用无线GPRS、CDMA20001x、或WCDMA，同时兼容电话拨号、230M通道、串口通道等)上具有一定的前瞻性，通讯手段上采取先进技术，以保证系统的先进性和投资的有效性。本发明的系统设计体系不仅兼容目前的GPRS，而且兼容以后的3G通讯。
本发明中，用电数据的传输方式有采集系统召唤式和采集终端主动上送式两种，当采用前一种方式时，电力主站采集系统按预定条件向与需要监控的采集终端对应的通讯模块发出采集命令，相应的通讯模块收到所述采集命令后，才组织并发送其采集的用电数据；当采用后一种方式时，采集终端对应的通讯模块按预定条件主动向主站采集系统发送用电数据；其中的预定条件可为预定的时间间隔，其大小可为1分钟-720小时。
在数据通讯过程中采用TCP/IP通讯协议和UDP通讯协议相结合的方式，屏蔽各种底层协议。从采集终端到前置机服务器的通讯采用TCP/IP通讯协议，可以视为在广域网中数据的传输；从主站前置机到采集系统之间的通讯采用UDP通讯协议，可以很方便的实现多对多的网络状关系，便于采集系统的并发。中心服务器提供了对底层数据库操作的接口，屏蔽了各应用程序对数据库的直接操作，有利于数据库的稳定运行；同时采用基于J2EE构架的数据WEB服务方式，可避免直接利用底层的Socket通讯，符合HTTP1.1和Data Service的相关国际标准，传输的数据能有效通过广域网中的各种安全设备，同时数据经过数字签名，本身的安全性和完整性也得到了保证。
数据并发传输解决方案：数据的并发传输是一般的远方采集系统的一大瓶颈，由于在实际应用中每个大的系统有数目巨大的采集终端(几万或者几十万)，保证高采通率的前提是解决并发传输的通讯阻塞。本发明采用NIO异步传输技术，实现对多通道的非阻塞数据传输，能够解决大量通讯的阻塞瓶颈问题。本发明平台采用J2EE+Web服务构成，即企业级的基于J2EE构架基础的数据采集和数据服务发布软件构架，该系统能支持高强度的数据并发传输和数据服务，支持海量数据查询，具有极高的实用性。
降低通讯费用的解决方案：目前市面上虽然有一些能通过GPRS或CDMA20001x进行数据通讯的终端设备，例如封装TCP/IP协议的GPRS或CDMA20001x的双向透明数据传输终端(其具有标准RS232/RS485接口)，但在数据传输如何降低通讯费用方面没有作任何特殊措施，使得通讯费用非常高，给使用方带来很大的成本负担。本发明采用打包采集用电数据的方式(网络表数据项较多，采用多个数据项打包采集；居民用户数据项较少，但用户数量较多，采用多个用户一起打包采集)，减少主站同采集终端交互次数，进而减少通讯流量，减少资费。
保证采集数据完整性的解决方案：目前各电力主站采集系统对完全符合国家电网标准的采集终端采集效果比较理想，并没有考虑各不同终端厂家对协议标准理解的分歧、标准协议的不同版本、厂家之间的私下约定等。本发明采用国家标准规约，过滤掉所有厂家的理解分歧以及特殊处理，只分采集成功还是失败两种结果，不根据失败的原因作不同的处理。只要采集失败即进入补采策略开始补采。
由上述可知，本发明基于GPRS、CDMA20001x、或WCDMA通讯方式来传递数据；系统实现采用模块化结构设计，分为三层：数据库层、中间层、应用层，模块化的系统便于维护和扩展；并基于J2EE构架的数据服务，解决大量数据并发处理瓶颈问题，提供强大的基于J2EE的Web Data Service的企业级的数据服务和数据验证，可承受50万用户的并发数据传送。采用本发明，可使远程抄表系统、居民集抄系统的运营成本极大的降低，使系统真正具有实用性，提高各级电力公司的管理自动化水平，促进供电、配电、用电各方的有序发展。
综上所述，本发明解决了现有技术中所存在的既要全面监控各台区用户、又要节省系统建设投资的矛盾问题，解决当采集终端数量较多时易引起网络阻塞的问题，同时解决了现有采集系统采集数据不完整的问题。采用打包方式进行采集使得通过GPRS网络交互的次数减少，从而充分利用有限的网络资源，避免网络阻塞，同时充分利用GPRS按流量计费的特点，减少通讯费用，节约成本。其中，主站系统采用J2EE+JBOSS/WEBLOGIC+WebService+EJB的方法，可同时接入50万居民用户，适应国内所有的地市级电力公司。采用本发明，可在保证信息完整的前提下，大幅度减少用电管理系统的使用成本，并使系统更加可靠、安全。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。