基于图结构与数据信息分离的图计算伸缩方法
基于图结构与数据信息分离的图计算伸缩方法
【技术领域】
[0001]本发明涉及分布式计算技术领域。具体的说，涉及基于图结构与数据信息分离的图计算伸缩方法
【背景技术】
[0002]弹性计算是云平台中重要的特质，直接关系到云平台上应用的执行效率。现有的解决方案以系统级的弹性计算为主，应用层的支持主要有Map Reduce模型的系统，如Hadoop。计算应用迀移的性能主要取决于迀移速度、服务中断时间以及恢复计算以后系统的性能。当前主流的弹性伸缩技术中没有考虑图计算应用伸缩的需求，导致图计算的伸缩对系统性能造成的损失较大。
[0003]因此，如何针对图计算应用伸缩的特点，合理设计迀移策略和方案，减少伸缩过程中的网络传输，提高传输后图计算的本地性，实已成为本领域技术人员亟待解决的技术难题。
【发明内容】
[0004]针对现有技术中的缺陷，本发明的目的在于，利用对上层计算应用的了解，通过图结构与数据信息分离迀移，以及本地性敏感和负载均衡的优化分配机制，缩短迀移时间和中断时间，提升完成伸缩后系统的性能。
[0005]根据本发明提供的一种基于图结构与数据信息分离的图计算伸缩方法包括如下步骤:
[0006]步骤1:对图结构信息与数据信息进行分离迀移；
[0007]步骤2:本地性敏感和负载均衡的优化分配。
[0008]优选地，所述步骤I，包括如下步骤:
[0009]将所述图结构信息与计算过程中的所述数据信息分离；
[0010]由目标机器通过分布式文件系统直接访问计算过程中不变的所述图结构信息，而由源机器通过网络传输计算过程中产生的所述数据信息。
[0011]优选地，所述步骤I，包括如下步骤:
[0012]载入图；在载入图的过程中，划分并构建子图，记录图的划分方式，完成子图构建后将划分信息存储至分布式文件系统；
[0013]在接收到迀移指令时，作为目标机器的迀入服务器将属于迀出服务器的子图结构直接通过分布式文件系统载入，并与迀入服务器上原有的子图合并；作为源机器的迀出服务器向迀入服务器发送关于迀出子图的计算状态；
[0014]迀入服务器接收计算状态，向迀出服务器发送回执信息，迀出服务器关闭应用进程；迀入服务器载入计算状态，恢复计算。
[0015]优选地，所述步骤2包括如下步骤:
[0016]在载入图的过程中，根据所述计算数据的本地性和系统的负载均衡对服务器进行划分，并对服务器的划分结果提取划分特征；
[0017]在接收到迀移指令时，根据所述划分特征计算迀出子图结构迀移到不同迀入服务器的本地性得分，在选出的本地性得分靠前的多个服务器中根据服务器的负载情况选择负载最轻的服务器作为迀入服务器，执行迀移；
[0018]在迀入服务器完成图的重建之后，重新计算服务器上的划分特征。
[0019]与现有技术相比，本发明具有如下的有益效果:
[0020]1、本发明主要提出了一种利用优化的伸缩策略和算法实现图计算的弹性伸缩方法。该方法通过利用图结构与数据信息分离迀移以及本地性敏感和负载均衡的优化分配机制，缩短整体迀移时间和服务中断时间，并优化伸缩完成后的系统性能，提升迀移完成后系统的数据本地性和负载均衡。
[0021]2、本发明相对现有系统级(如借助虚拟机迀移等技术)的弹性缩放支持，能够降低上层应用服务性能的损失，缩短计算系统弹性迀移过程中的整体迀移时间和服务中断时间。提升云计算集群资源利用率以及上层应用服务的可用性，促进具有高通量需求的关键计算服务在云计算数据中心的部署，进而可以带来可观的社会效益及经济效益。
[0022]3、伸缩过程中信息传输量大的问题主要来源于图计算中图结构的信息发送，图计算依赖于图的结构，但是图的结构在计算过程中不发生改变。因此本发明提出将图的结构信息与数据信息分离迀移的方法，减少迀移过程中的网络传输，缩短整体迀移时间。
[0023]4、图计算中对计算性能影响最大的是数据的本地性以及系统的均衡负载。图计算的特点是循环、重复的，良好的数据本地性可以大大减少网络传输，提高计算性能。本发明提出本地性敏感和负载均衡的优化分配机制，在迀移过程中根据迀入与迀出服务器的数据分布，选择合理的迀移方案。
【附图说明】
[0024]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0025]图1是基于图结构与数据信息分离的图计算动弹性迀移流程图。
[0026]图2是基于图结构与数据信息分离的图计算动弹性迀移后的系统状态。
【具体实施方式】
[0027]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0028]本发明采用图结构与数据信息分离迀移的方法，以及本地性敏感和负载均衡的优化分配机制，实现图计算系统的伸缩。
[0029]以下将通过具体实施示例来描述本发明提供的图计算伸缩技术。
[0030]图1是基于图结构与数据信息分离的图计算动弹性迀移流程图(以扩张为例)
[0031]步骤0，系统载入原始数据，划分并构建子图，完成构建后将划分信息存储至分布式文件系统。
[0032]步骤1，系统收到迀移指令(由迀出服务器A迀往迀入服务器B、C)，A向B、C同时发送数据信息(如Ia所示)，同时B、C通过分布式文件系统读取图信息(如Ib所示)。
[0033]步骤2，迀入服务器B、C完成接收，迀出服务器A应用关闭，B、C重新构建图结构和数据信息。
[0034]最终系统的状态如图2。
[0035]进一步具体地，基于图的本地性和负载均衡的优化分配机制的算法
[0036]在步骤O中，每台服务器根据其处理的子图A产生本地性得分评价函数，该函数的输入参数为一个子图B，该函数输出对子图B迀入子图A的评价，本地性好的得分高。
[0037]在步骤I中，当服务器需要迀出时分别产生每台服务器对子图的评分，选取得分最高的2台，根据其负载，选择负载小的一台服务器为迀移目标。
[0038]综上所述，本发明提出的基于图结构与数据信息分离的图计算伸缩技术，采用图结构与数据信息分离迀移的方法，以及本地性敏感和负载均衡的优化分配机制，能够缩短迀移过程中的迀移时间和服务中断时间，提升迀移完成后系统的数据本地性和负载均衡。
[0039]其中，将所述图结构信息与计算过程中的所述数据信息分离，由目标机器通过分布式文件系统直接访问计算过程中不变的所述图结构信息，而由源机器通过网络传输计算过程中产生的所述数据信息；避免传输计算过程中不发生改变的数据，减少对迀移过程中需要传输的数据，缩短伸缩时间。
[0040]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。
【主权项】
1.一种基于图结构与数据信息分离的图计算伸缩方法，其特征在于，包括如下步骤: 步骤1:对图结构信息与数据信息进行分离迀移； 步骤2:本地性敏感和负载均衡的优化分配。2.根据权利要求1所述的基于图结构与数据信息分离的图计算伸缩方法，其特征在于，所述步骤1，包括如下步骤: 将所述图结构信息与计算过程中的所述数据信息分离； 由目标机器通过分布式文件系统直接访问计算过程中不变的所述图结构信息，而由源机器通过网络传输计算过程中产生的所述数据信息。3.根据权利要求1所述的基于图结构与数据信息分离的图计算伸缩方法，其特征在于，所述步骤1，包括如下步骤: 载入图；在载入图的过程中，划分并构建子图，记录图的划分方式，完成子图构建后将划分信息存储至分布式文件系统； 在接收到迀移指令时，作为目标机器的迀入服务器将属于迀出服务器的子图结构直接通过分布式文件系统载入，并与迀入服务器上原有的子图合并；作为源机器的迀出服务器向迀入服务器发送关于迀出子图的计算状态； 迀入服务器接收计算状态，向迀出服务器发送回执信息，迀出服务器关闭应用进程；迀入服务器载入计算状态，恢复计算。4.根据权利要求3所述的基于图结构与数据信息分离的图计算伸缩方法，其特征在于，所述步骤2包括如下步骤: 在载入图的过程中，根据所述计算数据的本地性和系统的负载均衡对服务器进行划分，并对服务器的划分结果提取划分特征； 在接收到迀移指令时，根据所述划分特征计算迀出子图结构迀移到不同迀入服务器的本地性得分，在选出的本地性得分靠前的多个服务器中根据服务器的负载情况选择负载最轻的服务器作为迀入服务器，执行迀移； 在迀入服务器完成图的重建之后，重新计算服务器上的划分特征。
【专利摘要】本发明提供了一种基于图结构与数据信息分离的图计算伸缩方法，其特征在于，包括：步骤1：对图结构信息与数据信息进行分离迁移；步骤2：本地性敏感和负载均衡的优化分配。本发明采用图结构与数据信息分离迁移的方法，以及本地性敏感和负载均衡的优化分配机制，实现图计算系统的伸缩。本发明相对现有系统级(如借助虚拟机迁移等技术)的弹性缩放支持，能够降低上层应用服务性能的损失，缩短计算系统弹性迁移过程中的整体迁移时间和服务中断时间。提升云计算集群资源利用率以及上层应用服务的可用性，促进具有高通量需求的关键计算服务在云计算数据中心的部署，进而可以带来可观的社会效益及经济效益。
【IPC分类】G06F17/30
【公开号】CN104899250
【申请号】CN201510229191
【发明人】陈海波, 陈榕, 臧斌宇, 管海兵
【申请人】上海交通大学
【公开日】2015年9月9日
【申请日】2015年5月7日
【技术领域】
[0001]本发明涉及分布式计算技术领域。具体的说，涉及基于图结构与数据信息分离的图计算伸缩方法
【背景技术】
[0002]弹性计算是云平台中重要的特质，直接关系到云平台上应用的执行效率。现有的解决方案以系统级的弹性计算为主，应用层的支持主要有Map Reduce模型的系统，如Hadoop。计算应用迀移的性能主要取决于迀移速度、服务中断时间以及恢复计算以后系统的性能。当前主流的弹性伸缩技术中没有考虑图计算应用伸缩的需求，导致图计算的伸缩对系统性能造成的损失较大。
[0003]因此，如何针对图计算应用伸缩的特点，合理设计迀移策略和方案，减少伸缩过程中的网络传输，提高传输后图计算的本地性，实已成为本领域技术人员亟待解决的技术难题。
【发明内容】
[0004]针对现有技术中的缺陷，本发明的目的在于，利用对上层计算应用的了解，通过图结构与数据信息分离迀移，以及本地性敏感和负载均衡的优化分配机制，缩短迀移时间和中断时间，提升完成伸缩后系统的性能。
[0005]根据本发明提供的一种基于图结构与数据信息分离的图计算伸缩方法包括如下步骤:
[0006]步骤1:对图结构信息与数据信息进行分离迀移；
[0007]步骤2:本地性敏感和负载均衡的优化分配。
[0008]优选地，所述步骤I，包括如下步骤:
[0009]将所述图结构信息与计算过程中的所述数据信息分离；
[0010]由目标机器通过分布式文件系统直接访问计算过程中不变的所述图结构信息，而由源机器通过网络传输计算过程中产生的所述数据信息。
[0011]优选地，所述步骤I，包括如下步骤:
[0012]载入图；在载入图的过程中，划分并构建子图，记录图的划分方式，完成子图构建后将划分信息存储至分布式文件系统；
[0013]在接收到迀移指令时，作为目标机器的迀入服务器将属于迀出服务器的子图结构直接通过分布式文件系统载入，并与迀入服务器上原有的子图合并；作为源机器的迀出服务器向迀入服务器发送关于迀出子图的计算状态；
[0014]迀入服务器接收计算状态，向迀出服务器发送回执信息，迀出服务器关闭应用进程；迀入服务器载入计算状态，恢复计算。
[0015]优选地，所述步骤2包括如下步骤:
[0016]在载入图的过程中，根据所述计算数据的本地性和系统的负载均衡对服务器进行划分，并对服务器的划分结果提取划分特征；
[0017]在接收到迀移指令时，根据所述划分特征计算迀出子图结构迀移到不同迀入服务器的本地性得分，在选出的本地性得分靠前的多个服务器中根据服务器的负载情况选择负载最轻的服务器作为迀入服务器，执行迀移；
[0018]在迀入服务器完成图的重建之后，重新计算服务器上的划分特征。
[0019]与现有技术相比，本发明具有如下的有益效果:
[0020]1、本发明主要提出了一种利用优化的伸缩策略和算法实现图计算的弹性伸缩方法。该方法通过利用图结构与数据信息分离迀移以及本地性敏感和负载均衡的优化分配机制，缩短整体迀移时间和服务中断时间，并优化伸缩完成后的系统性能，提升迀移完成后系统的数据本地性和负载均衡。
[0021]2、本发明相对现有系统级(如借助虚拟机迀移等技术)的弹性缩放支持，能够降低上层应用服务性能的损失，缩短计算系统弹性迀移过程中的整体迀移时间和服务中断时间。提升云计算集群资源利用率以及上层应用服务的可用性，促进具有高通量需求的关键计算服务在云计算数据中心的部署，进而可以带来可观的社会效益及经济效益。
[0022]3、伸缩过程中信息传输量大的问题主要来源于图计算中图结构的信息发送，图计算依赖于图的结构，但是图的结构在计算过程中不发生改变。因此本发明提出将图的结构信息与数据信息分离迀移的方法，减少迀移过程中的网络传输，缩短整体迀移时间。
[0023]4、图计算中对计算性能影响最大的是数据的本地性以及系统的均衡负载。图计算的特点是循环、重复的，良好的数据本地性可以大大减少网络传输，提高计算性能。本发明提出本地性敏感和负载均衡的优化分配机制，在迀移过程中根据迀入与迀出服务器的数据分布，选择合理的迀移方案。
【附图说明】
[0024]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0025]图1是基于图结构与数据信息分离的图计算动弹性迀移流程图。
[0026]图2是基于图结构与数据信息分离的图计算动弹性迀移后的系统状态。
【具体实施方式】
[0027]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0028]本发明采用图结构与数据信息分离迀移的方法，以及本地性敏感和负载均衡的优化分配机制，实现图计算系统的伸缩。
[0029]以下将通过具体实施示例来描述本发明提供的图计算伸缩技术。
[0030]图1是基于图结构与数据信息分离的图计算动弹性迀移流程图(以扩张为例)
[0031]步骤0，系统载入原始数据，划分并构建子图，完成构建后将划分信息存储至分布式文件系统。
[0032]步骤1，系统收到迀移指令(由迀出服务器A迀往迀入服务器B、C)，A向B、C同时发送数据信息(如Ia所示)，同时B、C通过分布式文件系统读取图信息(如Ib所示)。
[0033]步骤2，迀入服务器B、C完成接收，迀出服务器A应用关闭，B、C重新构建图结构和数据信息。
[0034]最终系统的状态如图2。
[0035]进一步具体地，基于图的本地性和负载均衡的优化分配机制的算法
[0036]在步骤O中，每台服务器根据其处理的子图A产生本地性得分评价函数，该函数的输入参数为一个子图B，该函数输出对子图B迀入子图A的评价，本地性好的得分高。
[0037]在步骤I中，当服务器需要迀出时分别产生每台服务器对子图的评分，选取得分最高的2台，根据其负载，选择负载小的一台服务器为迀移目标。
[0038]综上所述，本发明提出的基于图结构与数据信息分离的图计算伸缩技术，采用图结构与数据信息分离迀移的方法，以及本地性敏感和负载均衡的优化分配机制，能够缩短迀移过程中的迀移时间和服务中断时间，提升迀移完成后系统的数据本地性和负载均衡。
[0039]其中，将所述图结构信息与计算过程中的所述数据信息分离，由目标机器通过分布式文件系统直接访问计算过程中不变的所述图结构信息，而由源机器通过网络传输计算过程中产生的所述数据信息；避免传输计算过程中不发生改变的数据，减少对迀移过程中需要传输的数据，缩短伸缩时间。
[0040]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。
【主权项】
1.一种基于图结构与数据信息分离的图计算伸缩方法，其特征在于，包括如下步骤: 步骤1:对图结构信息与数据信息进行分离迀移； 步骤2:本地性敏感和负载均衡的优化分配。2.根据权利要求1所述的基于图结构与数据信息分离的图计算伸缩方法，其特征在于，所述步骤1，包括如下步骤: 将所述图结构信息与计算过程中的所述数据信息分离； 由目标机器通过分布式文件系统直接访问计算过程中不变的所述图结构信息，而由源机器通过网络传输计算过程中产生的所述数据信息。3.根据权利要求1所述的基于图结构与数据信息分离的图计算伸缩方法，其特征在于，所述步骤1，包括如下步骤: 载入图；在载入图的过程中，划分并构建子图，记录图的划分方式，完成子图构建后将划分信息存储至分布式文件系统； 在接收到迀移指令时，作为目标机器的迀入服务器将属于迀出服务器的子图结构直接通过分布式文件系统载入，并与迀入服务器上原有的子图合并；作为源机器的迀出服务器向迀入服务器发送关于迀出子图的计算状态； 迀入服务器接收计算状态，向迀出服务器发送回执信息，迀出服务器关闭应用进程；迀入服务器载入计算状态，恢复计算。4.根据权利要求3所述的基于图结构与数据信息分离的图计算伸缩方法，其特征在于，所述步骤2包括如下步骤: 在载入图的过程中，根据所述计算数据的本地性和系统的负载均衡对服务器进行划分，并对服务器的划分结果提取划分特征； 在接收到迀移指令时，根据所述划分特征计算迀出子图结构迀移到不同迀入服务器的本地性得分，在选出的本地性得分靠前的多个服务器中根据服务器的负载情况选择负载最轻的服务器作为迀入服务器，执行迀移； 在迀入服务器完成图的重建之后，重新计算服务器上的划分特征。
【专利摘要】本发明提供了一种基于图结构与数据信息分离的图计算伸缩方法，其特征在于，包括：步骤1：对图结构信息与数据信息进行分离迁移；步骤2：本地性敏感和负载均衡的优化分配。本发明采用图结构与数据信息分离迁移的方法，以及本地性敏感和负载均衡的优化分配机制，实现图计算系统的伸缩。本发明相对现有系统级(如借助虚拟机迁移等技术)的弹性缩放支持，能够降低上层应用服务性能的损失，缩短计算系统弹性迁移过程中的整体迁移时间和服务中断时间。提升云计算集群资源利用率以及上层应用服务的可用性，促进具有高通量需求的关键计算服务在云计算数据中心的部署，进而可以带来可观的社会效益及经济效益。
【IPC分类】G06F17/30
【公开号】CN104899250
【申请号】CN201510229191
【发明人】陈海波, 陈榕, 臧斌宇, 管海兵
【申请人】上海交通大学
【公开日】2015年9月9日
【申请日】2015年5月7日
最新回复(0)