一种分布式处理系统的数据均衡分发方法

专利名称：一种分布式处理系统的数据均衡分发方法
技术领域：
本发明涉及分布式处理系统领域，具体地说，即在一个大的分布式处理系统中实现海 量数据的均衡分发，以便于各处理平台负载均衡地处理数据。
背景技术：
在信息产业高速发展的今天，随着应用程序的规模增大，所用技术越来越复杂，功能 模块越来越多，对分布式的需求也越来越强烈。分布式处理系统将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通 信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务的计算机系统。 分布式网络应用的典型结构是多个PC或服务器通过局域网相连。在这种环境下，众多分散的应用单元协同为终端用户提供各种计算任务。本文描述的分布式处理系统具有如下特 征(1) 海量数据要求可并行处理的分布式系统；(2) 系统由数据接入设备(前台)、数据处理平台(后台)、控制台及局域网组成；(3) 数据以文件形式存放于前台。如何将前台数据文件均匀地分发到各个后台，并且要保证系统的稳定性，是此类分布 式处理系统的难点。当前基于网络的文件传输或共享，实现方式有多种，例如FTP、 NFS、 Samba等，但它们的缺陷是(1) 不能自动均匀分发数据，需要人为控制；(2) 各个传输终端的收发状态不好监控，容易造成系统不稳定。发明内容为了解决以上两个问题，本发明的目的是提供一种稳定、均衡的分布式处理系统的数 据分发方法，前台能实时获取后台的相关负载信息，以便于动态调整数据文件的发往目的， 实现后台的负载均衡；同时，前后台均能实时监测连接对方的网络及系统状态，系统控制 平台只需监控后台，便能掌握整个系统的运行状况，便于维护和管理。本发明的技术方案如下一种分布式处理系统的数据均衡分发方法，包括以下步骤1) 文件发送端与文件接收端建立连接后，取得接收端的cpu空闲率及磁盘可用空间信 息，每个接收端都用序号来标记；同时为了便于控制台监控，接收端需要取得发送端的cpu 空闲率及磁盘可用空间信息；2) 发送端将文件发送到采用均衡分发方法选择出的接收端；3) 接收端在接收完文件后，给发送端返回一个应答。 所述步骤1)文件发送端与文件接收端之间釆用TCP/IP协议通信。 所述步骤2)采用的均衡分发方法步骤如下-a) 按顺序判断接收端的cpu空闲率及磁盘可用空间，是否两者均满足其阈值条件；b) 第一个满足阈值条件的接收端，采用计数器记录下对应的序号；c) 下一次以步骤b)选择的接收端为起点，在余下的接收端中搜索下一个满足阈值条件的接收端如果找到，就将记录的序号更新为当前接收端的序号； 如果余下接收端均不满足阈值条件，则记录的序号保持不变。 其中，接收端的cpu空闲率需要满足cpu〉20。/。，磁盘可用空间需要满足dislOlGB。 所述步骤2)发送端在发送文件的同时，附带有cpu空闲率及磁盘可用空间信息。所述步骤2)发送端无数据发送时，定时发送状态查询数据包，査询接收端的cpu空 闲率及磁盘可用空间，査询数据包中包含了发送端的cpu空闲率及磁盘可用空间信息。进一步，接收端根据发送端发送的状态査询数据包来判断网络及前台系统状况，若超 时未收到状态査询数据包，则说明发送端系统崩溃或者网络不通。所述步骤3)接收端在接收文件过程中，记录发送端的相关信息，包括qm空闲率、 磁盘可用空间、成功接收文件数量、最后处理时间，以备监控平台远程查询。所述步骤3)返回的应答包括文件是否成功接收及本地cpu空闲率及磁盘可用空间。与现有技术相比，本发明的有益效果是实现了局域网内的分布式处理系统的数据均 衡分发，解决了大量手动分散文件的繁琐问题，合理均衡地利用了各处理平台的资源，并 能达到控制平台监控整个系统的目的，简化了系统的维护和管理。进一步地，本发明利用 标准的TCP/IP协议通信，可以跨平台运作。


图1为本发明所应用的分布式处理系统的前后台数据交互；图2为本发明的主流程图；图3为本发明的均衡分发方法流程图。
具体实施方式
下面结合附图和具体实施方式
对本发明作进一步详细描述如图1所示，将文件发送端即前台C上的数据均衡分发到多个接收端即后台(S1,S2， Sn)，图中的箭头代表文件或内存数据包。数据分发的处理流程如图2所示，前后台采用TCP/IP协议通信。具体如下(1) 前台作为客户端，后台作为服务器端，每个后台都有一个序号来标记(1,2，...，n)， 这组序号在以后的处理过程中保持不变；(2) 初始化时，前台发送状态查询数据包到各后台，交换各自的cpu空闲率及磁盘可用 空间信息，作为初始值；(3) 为整个处理过程增加一个计数器p，记录当前正在接收文件的后台设备序号，取值 在l n范围内，初始值为0;(4) 搜索前台指定目录下的文件，并发送到后台，每次在发送文件数据前，前台会做一 个均衡决策，选择合适的后台p作为该文件的接收端；(5) 均衡决策处理过程如图3所示，就是按顺序寻找下一个可用后台，寻找过程为在 序号为l n的后台设备中，顺序判断其cpu空闲率及磁盘可用空间是否同时满足 cpu>20%, disk>lGB，目的是要找到第一个满足上述条件的后台设备，该后台对应 的序号即为p值；下一次以p为起点，在剩下的后台中搜索下一个可用后台，如果 找到，就将p值更新为当前可用后台的序号；如果上述后台均不满足条件，则p值 保持不变，前台每次将文件数据发送到后台p;(6) 后台在接收文件后，会给前台一个应答，返回本地cpu空闲率及磁盘可用空间信息， 前台收到应答后，记录该信息，为下一次做均衡决策所用。另外，前台在发送文件时，同时附带有自己的cpu空闲率及磁盘可用空间信息；后台 在处理接收文件过程中，记录前台的相关信息，除了cpu空闲率及磁盘可用空间外，还包括成功接收文件数量、最后处理时间等，以备监控平台远程查询。前台在没有数据可发时，定时发送状态查询数据包，査询后台的cpu空闲率及磁盘可 用空间，查询数据包中包含了前台自己的cpu空闲率及磁盘可用空间信息。进一步地，后台根据前台发送的数据包来判断网络及前台系统状况，若超时未收到数据包，则说明前台系统崩溃或者网络不通；同时，后台记录前台的相关信息，包括发送成 功的文件数量、最后一次接收时间等，便于控制平台监控。本发明的解决方案主要针对局域网，如果要应用到外网上，建议考虑安全机制及效率 问题，在文件发送端需要对数据进行加密、压縮处理，而文件接收端需要对接收的数据进 行解压缩、解密处理，对于大文件传输，还需要记录传输断点。
权利要求
1. 一种分布式处理系统的数据均衡分发方法，包括以下步骤1)文件发送端与接收端建立连接，取得接收端的cpu空闲率及磁盘可用空间信息，每个接收端都用序号来标记；同时接收端取得发送端的cpu空闲率及磁盘可用空间信息；2)发送端将文件发送到采用均衡分发方法选择出的接收端；3)接收端接收完文件后，给发送端返回一个应答。
2、 如权利要求1所述的分布式处理系统的数据均衡分发方法，其特征在于，所述步 骤l)文件发送端与接收端之间采用TCP/IP协议通信。
3、 如权利要求1所述的分布式处理系统的数据均衡分发方法，其特征在于所述步骤2) 采用的均衡分发方法步骤如下a) 按顺序判断接收端的cpu空闲率及磁盘可用空间，是否两者均满足其阈值条件；b) 选择第一个满足阈值条件的接收端，采用计数器记录其对应的序号；c) 以步骤b)选择的接收端为起点，在余下的接收端中搜索下一个满足阈值条件的接 收端如果找到，就将记录的序号更新为当前接收端的序号； 如果余下接收端均不满足阈值条件，则记录的序号保持不变。
4、 如权利要求3所述的分布式处理系统的数据均衡分发方法，其特征在于步骤l)中 cpu空闲率满足cpu〉20%，磁盘可用空间满足disk〉lGB。
5、 如权利要求1所述的分布式处理系统的数据均衡分发方法，其特征在于所述步骤2) 发送端在发送文件的同时，附带cpu空闲率及磁盘可用空间信息。
6、 如权利要求1所述的分布式处理系统的数据均衡分发方法，其特征在于所述步骤2) 发送端无数据发送时，定时发送包含发送端cpu空闲率及磁盘可用空间信息的状态査询数 据包，查询接收端的cpu空闲率及磁盘可用空间。
7、 如权利要求6所述的分布式处理系统的数据均衡分发方法，其特征在于接收端若 超时未收到状态查询数据包，则说明发送端系统崩溃或者网络不通。
8、 如权利要求1所述的分布式处理系统的数据均衡分发方法，其特征在于所述步骤3) 接收端在接收文件过程中，记录发送端的相关信息，包括cpu空闲率、磁盘可用空间、成 功接收文件数量、最后处理时间，以备监控平台远程査询。
9、 如权利要求1所述的分布式处理系统的数据均衡分发方法，其特征在于所述步骤3) 返回的应答包括文件是否成功接收及本地cpu空闲率及磁盘可用空间。
全文摘要
本发明公开了一种分布式处理系统的数据均衡分发方法，文件发送端在发送文件前，按顺序判断带有序号接收端的cpu空闲率及磁盘可用空间，若均满足条件cpu＞20％，disk＞1GB，用计数器记录下对应的序号；下一次以这个序号为起点，在余下的接收端中搜索满足条件的接收端如果找到，就将序号更新为当前接收端的序号；如果没有找到，则序号保持不变，将文件都发送到序号对应的接收端。本发明实现了局域网内的分布式处理系统的数据均衡分发，解决了大量手动分散文件的繁琐问题，合理均衡地利用了各处理平台的资源，并能达到控制平台监控整个系统的目的，简化了系统的维护和管理，并且利用标准的TCP/IP协议通信，可以跨平台运作。
文档编号H04L1/16GK101277317SQ20081010517
公开日2008年10月1日 申请日期2008年4月29日 优先权日2008年4月29日
发明者张建明, 欧阳明, 毛林燕 申请人:北京锐安科技有限公司