一种利用p2p技术快速传输虚机模板的方法
一种利用p2p技术快速传输虚机模板的方法
【技术领域】
[0001]本发明属于云计算技术领域，涉及一种利用p2p技术快速传输虚机模板的方法。
【背景技术】
[0002]云计算是传统计算机技术和网络技术发展融合的产物，也是引领未来信息产业创新的关键战略性技术和手段。目前很多大中企业已经部署或正在部署自己的私有云，以满足企业的IT需求。私有云虽然可以满足企业的个性化需求，安全性也高，但存在建设成本高、管理维护难、设备利用率低、资源弹性不足等问题。与此同时，随着各大互联网公司、电信运营商大规模部署公有云，并通过互联网向用户提供服务，公有云服务越来越成熟。于是，越来越多的中小企业将自己的信息化系统以及业务数据迀移到云端，出现了更多的混合云服务。然而在部署混合云服务时，我们面临的挑战是缺乏一种在混合云环境下虚机模板跨数据中心的快速迀移技术。通过高效的虚拟机映像管理和分发技术，混合云应用程序能够得到快速的部署和迀移。目前大部分虚机迀移技术基于端到端的文件传输，传输性能受到数据中心地理位置以及当前网络状况的影响。尤其当虚机模板需要部署在多个数据中心大量服务器上的时候，源虚机模板的服务器的传输性能将因为下载端的增多而显著下降。
[0003]针对于以上问题，本发明提出一种在混合云环境下，基于P2P(peer-to-peer)技术快速传输虚机模板的方法。因为我们发现，虚机模板是包含操作系统的镜像文件，大部分是数据是重复的，我们可以在本地数据中心找到相同的副本，从而减少跨数据中心的数据传输。因此，虚机模板迀移只需传输包含不同数据的部分。另一方面，当一份虚机模板需要部署到多台服务器上的时候，基于P2P的传输，可以充分利用网络带宽以及网络拓扑，根据位置选择数据源，加速数据传输，使得虚机模板得到快速部署。
[0004]我们未发现在混合云环境下基于P2P技术解决虚机模板迀移的方法。现有的方案大部分是采取传统的服务器-客户端模式。此模式下，虚机传输性能容易受到网络带宽，客户端/服务器的地理位置以及部署客户端数量的影响，从而导致性能快速下降。
【发明内容】
[0005]本发明的目的是为了克服已有技术的缺陷，解决跨数据中心虚机模板快速传输部署问题，提出一种利用p2p技术快速传输虚机模板的方法。
[0006]本发明方法是通过下述技术方案实现的:
[0007]一种利用p2p技术快速传输虚机模板的方法，包括以下步骤:
[0008]步骤一、源虚机模板数据分块校验:采用定长分块算法对文件进行切分，对于每一个数据分块，采用哈希指纹算法计算数据的固定位长的校验值，作为数据块的唯一标识符;
[0009]步骤二、源服务器将数据分块地址，以及其校验码更新至本地目录服务器；目录服务器记录数据块唯一标识符，以及当前存储此数据块的地址；如果当前数据块已经存在数据中心，则更新数据存储地址；否则，则新添加一条记录；
[0010]步骤三、源服务器发送数据分块的校验码至目的数据中心服务器；
[0011 ] 步骤四、目的数据中心服务器查询本地目录服务器，并且进行差异编码，找出所有不存在目的数据中心的数据块，并且将数据块标示符发送回源服务器；
[0012]步骤五、源服务器接收差异编码，根据编码中数据块标示符，发送对应的数据块至目的主机；
[0013]步骤六、目的主机接收源服务器发送的数据块，并在目录服务器上查询本数据中心已经存在的数据块，并且相应从存储该数据块的主机上下载数据块；
[0014]步骤七、当目的主机获取到所有的数据块，重构出源虚机模板文件副本；如果虚机模板需要部署到多台目的服务器上，此时一旦其中某一台服务器接收到所有的虚机模板文件，则此服务器标记为种子服务器；
[0015]步骤八、种子服务器向其它需要模板文件的服务器继续上传数据，直到所有的目的服务器都标记为种子服务器，整个虚机模板数据传输终止。
[0016]步骤一中采用不同的颜色的长方形格子代表不同的数据分块。
[0017]本发明的有益效果:本发明采用数据分块校验，识别已经存在目的数据中心的数据分块；针对于虚机模板文件包涵操作系统镜像文件，数据分块校验能够显著减少远程数据传输的总量。其次，本发明的维护目录服务器，为每一台云服务器提供数据块位置查询服务，并且基于P2P技术提供客户端软件从相应多个数据源下载所需要的数据块，显著的提高数据传输速度。在云计算应用环境下，如果虚机模板是基于同一种操作系统，那么将会存在大量的相同的数据分块，运用本专利方法，可以显著提高虚机迀移速度。
【附图说明】
[0018]图1为本发明实施方式的架构设计图。
【具体实施方式】
[0019]下面结合附图对本发明作进一步描述。
[0020]本发明适用场景如图1所示:不同的数据中心维护不同的资源池，包含不同的云主机服务器。每台云主机以虚拟机的方式封装资源，包含CPU、内存、网络设备、存储设备、PCI设备、USB设备和系统B1S等。云主机的操作系统可以基于Linux或者Windows，在这基础上，部署不同的云应用服务，比如说云存储，邮件等。在混合云的模式下，私有云和公有云位于不同的数据中心，通过高速网络互相连接。很多云服务通常部署在多个数据中心，因此，云服务器需要在不同的数据中心部署副本，从而提高提高整个系统的吞吐量，也可以容忍服务器、网络和数据中心的故障。同时，数据距离用户更近，访问延时降低，服务的用户体验也得到大大提高。然而由于云服务器的映像文件通常尺寸较大，跨数据中心传输有较高延迟。因此本发明采用基于P2P技术的虚机传输方法，快速部署云应用服务器。
[0021]1、源虚机模板数据分块校验:采用定长分块算法，数据块的大小可以调节，默认为512KB，对文件进行切分，最后一个文件块可能不足数据块大小。对于每一个数据分块，采用哈希指纹算法计算数据的固定位长的校验值，作为数据块的唯一标识符。用户可以指定哈希指纹算法，如64位或者128位的MD5，SHA1，算法产生64位或者128位的校验值作为数据块唯一标识符，用于数据块去重，索引以及恢复数据。
[0022]2、源服务器将数据分块地址，以及其校验码更新至本地目录服务器。目录服务器主要记录数据块唯一标示符，以及当前存储此数据块的地址。如果当前数据块已经存在数据中心，则更新数据存储地址；否则，则新添加一条记录。
[0023]3、同时，源服务器发送数据分块的校验码至目的数据中心服务器。
[0024]4、目的数据中心服务器查询本地目录服务器，并且进行差异编码。找出所有不存在目的数据中心的数据块，并且将数据块标示符发送回源服务器。
[0025]5、源服务器接收差异编码，根据编码中数据块标示符，发送对应的数据块至目的主机。
[0026]6、目的主机接收源服务器发送的数据块。
[0027]7、同时，目的主机在目录服务器上查询本数据中心已经存在的数据块，并且相应从存储该数据块的主机上下载数据块。
[0028]8、当目的主机获取到所有的数据块，便可以重构出源虚机模板文件副本。如果虚机模板需要部署到多台目的服务器上，此时一旦其中某一台服务器接收到所有的虚机模板文件，此服务器将会标记为种子服务器。
[0029]9、种子服务器可以向其它需要模板文件的服务器继续上传数据，直到所有的目的服务器都标记为种子服务器，整个虚机模板数据传输就终止。
[0030]虽然结合了附图描述了本发明的实施方式，但是对于本领域技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些也应视为属于本发明的保护范围。
【主权项】
1.一种利用P2P技术快速传输虚机模板的方法，其特征在于，包括以下步骤: 步骤一、源虚机模板数据分块校验:采用定长分块算法对文件进行切分，数据块的大小可调节，对文件进行切分，对于每一个数据分块，采用哈希指纹算法计算数据的固定位长的校验值，作为数据块的唯一标识符；用户指定哈希指纹算法产生64位或者128位的校验值作为数据块唯一标识符，用于数据块去重，索引以及恢复数据； 步骤二、源服务器将数据分块地址，以及其校验码更新至本地目录服务器；目录服务器记录数据块唯一标识符，以及当前存储此数据块的地址；如果当前数据块已经存在数据中心，则更新数据存储地址；否则，则新添加一条记录； 步骤三、源主机发送数据分块的校验码至目的数据中心服务器；目的数据中心服务器查询本地目录服务器，并且进行差异编码，找出所有不存在目的数据中心的数据块，并且将数据块标示符发送回源服务器； 步骤四、源服务器接收差异编码，根据编码中数据块标示符，发送对应的数据块至目的主机；目的主机接收源服务器发送的数据块，并在目录服务器上查询本数据中心已经存在的数据块，并且相应从存储该数据块的主机上下载数据块； 步骤五、当目的主机获取到所有的数据块，重构出源虚机模板文件副本；如果虚机模板需要部署到多台目的服务器上，此时一旦其中某一台服务器接收到所有的虚机模板文件，则此服务器标记为种子服务器； 步骤六、种子服务器向其它需要模板文件的服务器继续上传数据，直到所有的目的服务器都标记为种子服务器，整个虚机模板数据传输终止。2.如权利要求1所述的一种利用p2p技术快速传输虚机模板的方法，其特征在于，步骤一中采用不同的颜色的长方形格子代表不同的数据分块。
【专利摘要】本发明提出一种利用p2p技术快速传输虚机模板的方法，解决跨数据中心虚机模板快速传输部署问题。本发明采用数据分块校验，识别已经存在目的数据中心的数据分块；针对于虚机模板文件包涵操作系统镜像文件，数据分块校验能够显著减少远程数据传输的总量。其次，本发明的维护目录服务器，为每一台云服务器提供数据块位置查询服务，并且基于P2P技术提供客户端软件从相应多个数据源下载所需要的数据块，显著的提高数据传输速度。
【IPC分类】H04L29/08
【公开号】CN104902000
【申请号】CN201510156131
【发明人】庄浩, 张继勇
【申请人】易云捷讯科技（北京）有限公司
【公开日】2015年9月9日
【申请日】2015年4月3日
【技术领域】
[0001]本发明属于云计算技术领域，涉及一种利用p2p技术快速传输虚机模板的方法。
【背景技术】
[0002]云计算是传统计算机技术和网络技术发展融合的产物，也是引领未来信息产业创新的关键战略性技术和手段。目前很多大中企业已经部署或正在部署自己的私有云，以满足企业的IT需求。私有云虽然可以满足企业的个性化需求，安全性也高，但存在建设成本高、管理维护难、设备利用率低、资源弹性不足等问题。与此同时，随着各大互联网公司、电信运营商大规模部署公有云，并通过互联网向用户提供服务，公有云服务越来越成熟。于是，越来越多的中小企业将自己的信息化系统以及业务数据迀移到云端，出现了更多的混合云服务。然而在部署混合云服务时，我们面临的挑战是缺乏一种在混合云环境下虚机模板跨数据中心的快速迀移技术。通过高效的虚拟机映像管理和分发技术，混合云应用程序能够得到快速的部署和迀移。目前大部分虚机迀移技术基于端到端的文件传输，传输性能受到数据中心地理位置以及当前网络状况的影响。尤其当虚机模板需要部署在多个数据中心大量服务器上的时候，源虚机模板的服务器的传输性能将因为下载端的增多而显著下降。
[0003]针对于以上问题，本发明提出一种在混合云环境下，基于P2P(peer-to-peer)技术快速传输虚机模板的方法。因为我们发现，虚机模板是包含操作系统的镜像文件，大部分是数据是重复的，我们可以在本地数据中心找到相同的副本，从而减少跨数据中心的数据传输。因此，虚机模板迀移只需传输包含不同数据的部分。另一方面，当一份虚机模板需要部署到多台服务器上的时候，基于P2P的传输，可以充分利用网络带宽以及网络拓扑，根据位置选择数据源，加速数据传输，使得虚机模板得到快速部署。
[0004]我们未发现在混合云环境下基于P2P技术解决虚机模板迀移的方法。现有的方案大部分是采取传统的服务器-客户端模式。此模式下，虚机传输性能容易受到网络带宽，客户端/服务器的地理位置以及部署客户端数量的影响，从而导致性能快速下降。
【发明内容】
[0005]本发明的目的是为了克服已有技术的缺陷，解决跨数据中心虚机模板快速传输部署问题，提出一种利用p2p技术快速传输虚机模板的方法。
[0006]本发明方法是通过下述技术方案实现的:
[0007]一种利用p2p技术快速传输虚机模板的方法，包括以下步骤:
[0008]步骤一、源虚机模板数据分块校验:采用定长分块算法对文件进行切分，对于每一个数据分块，采用哈希指纹算法计算数据的固定位长的校验值，作为数据块的唯一标识符;
[0009]步骤二、源服务器将数据分块地址，以及其校验码更新至本地目录服务器；目录服务器记录数据块唯一标识符，以及当前存储此数据块的地址；如果当前数据块已经存在数据中心，则更新数据存储地址；否则，则新添加一条记录；
[0010]步骤三、源服务器发送数据分块的校验码至目的数据中心服务器；
[0011 ] 步骤四、目的数据中心服务器查询本地目录服务器，并且进行差异编码，找出所有不存在目的数据中心的数据块，并且将数据块标示符发送回源服务器；
[0012]步骤五、源服务器接收差异编码，根据编码中数据块标示符，发送对应的数据块至目的主机；
[0013]步骤六、目的主机接收源服务器发送的数据块，并在目录服务器上查询本数据中心已经存在的数据块，并且相应从存储该数据块的主机上下载数据块；
[0014]步骤七、当目的主机获取到所有的数据块，重构出源虚机模板文件副本；如果虚机模板需要部署到多台目的服务器上，此时一旦其中某一台服务器接收到所有的虚机模板文件，则此服务器标记为种子服务器；
[0015]步骤八、种子服务器向其它需要模板文件的服务器继续上传数据，直到所有的目的服务器都标记为种子服务器，整个虚机模板数据传输终止。
[0016]步骤一中采用不同的颜色的长方形格子代表不同的数据分块。
[0017]本发明的有益效果:本发明采用数据分块校验，识别已经存在目的数据中心的数据分块；针对于虚机模板文件包涵操作系统镜像文件，数据分块校验能够显著减少远程数据传输的总量。其次，本发明的维护目录服务器，为每一台云服务器提供数据块位置查询服务，并且基于P2P技术提供客户端软件从相应多个数据源下载所需要的数据块，显著的提高数据传输速度。在云计算应用环境下，如果虚机模板是基于同一种操作系统，那么将会存在大量的相同的数据分块，运用本专利方法，可以显著提高虚机迀移速度。
【附图说明】
[0018]图1为本发明实施方式的架构设计图。
【具体实施方式】
[0019]下面结合附图对本发明作进一步描述。
[0020]本发明适用场景如图1所示:不同的数据中心维护不同的资源池，包含不同的云主机服务器。每台云主机以虚拟机的方式封装资源，包含CPU、内存、网络设备、存储设备、PCI设备、USB设备和系统B1S等。云主机的操作系统可以基于Linux或者Windows，在这基础上，部署不同的云应用服务，比如说云存储，邮件等。在混合云的模式下，私有云和公有云位于不同的数据中心，通过高速网络互相连接。很多云服务通常部署在多个数据中心，因此，云服务器需要在不同的数据中心部署副本，从而提高提高整个系统的吞吐量，也可以容忍服务器、网络和数据中心的故障。同时，数据距离用户更近，访问延时降低，服务的用户体验也得到大大提高。然而由于云服务器的映像文件通常尺寸较大，跨数据中心传输有较高延迟。因此本发明采用基于P2P技术的虚机传输方法，快速部署云应用服务器。
[0021]1、源虚机模板数据分块校验:采用定长分块算法，数据块的大小可以调节，默认为512KB，对文件进行切分，最后一个文件块可能不足数据块大小。对于每一个数据分块，采用哈希指纹算法计算数据的固定位长的校验值，作为数据块的唯一标识符。用户可以指定哈希指纹算法，如64位或者128位的MD5，SHA1，算法产生64位或者128位的校验值作为数据块唯一标识符，用于数据块去重，索引以及恢复数据。
[0022]2、源服务器将数据分块地址，以及其校验码更新至本地目录服务器。目录服务器主要记录数据块唯一标示符，以及当前存储此数据块的地址。如果当前数据块已经存在数据中心，则更新数据存储地址；否则，则新添加一条记录。
[0023]3、同时，源服务器发送数据分块的校验码至目的数据中心服务器。
[0024]4、目的数据中心服务器查询本地目录服务器，并且进行差异编码。找出所有不存在目的数据中心的数据块，并且将数据块标示符发送回源服务器。
[0025]5、源服务器接收差异编码，根据编码中数据块标示符，发送对应的数据块至目的主机。
[0026]6、目的主机接收源服务器发送的数据块。
[0027]7、同时，目的主机在目录服务器上查询本数据中心已经存在的数据块，并且相应从存储该数据块的主机上下载数据块。
[0028]8、当目的主机获取到所有的数据块，便可以重构出源虚机模板文件副本。如果虚机模板需要部署到多台目的服务器上，此时一旦其中某一台服务器接收到所有的虚机模板文件，此服务器将会标记为种子服务器。
[0029]9、种子服务器可以向其它需要模板文件的服务器继续上传数据，直到所有的目的服务器都标记为种子服务器，整个虚机模板数据传输就终止。
[0030]虽然结合了附图描述了本发明的实施方式，但是对于本领域技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些也应视为属于本发明的保护范围。
【主权项】
1.一种利用P2P技术快速传输虚机模板的方法，其特征在于，包括以下步骤: 步骤一、源虚机模板数据分块校验:采用定长分块算法对文件进行切分，数据块的大小可调节，对文件进行切分，对于每一个数据分块，采用哈希指纹算法计算数据的固定位长的校验值，作为数据块的唯一标识符；用户指定哈希指纹算法产生64位或者128位的校验值作为数据块唯一标识符，用于数据块去重，索引以及恢复数据； 步骤二、源服务器将数据分块地址，以及其校验码更新至本地目录服务器；目录服务器记录数据块唯一标识符，以及当前存储此数据块的地址；如果当前数据块已经存在数据中心，则更新数据存储地址；否则，则新添加一条记录； 步骤三、源主机发送数据分块的校验码至目的数据中心服务器；目的数据中心服务器查询本地目录服务器，并且进行差异编码，找出所有不存在目的数据中心的数据块，并且将数据块标示符发送回源服务器； 步骤四、源服务器接收差异编码，根据编码中数据块标示符，发送对应的数据块至目的主机；目的主机接收源服务器发送的数据块，并在目录服务器上查询本数据中心已经存在的数据块，并且相应从存储该数据块的主机上下载数据块； 步骤五、当目的主机获取到所有的数据块，重构出源虚机模板文件副本；如果虚机模板需要部署到多台目的服务器上，此时一旦其中某一台服务器接收到所有的虚机模板文件，则此服务器标记为种子服务器； 步骤六、种子服务器向其它需要模板文件的服务器继续上传数据，直到所有的目的服务器都标记为种子服务器，整个虚机模板数据传输终止。2.如权利要求1所述的一种利用p2p技术快速传输虚机模板的方法，其特征在于，步骤一中采用不同的颜色的长方形格子代表不同的数据分块。
【专利摘要】本发明提出一种利用p2p技术快速传输虚机模板的方法，解决跨数据中心虚机模板快速传输部署问题。本发明采用数据分块校验，识别已经存在目的数据中心的数据分块；针对于虚机模板文件包涵操作系统镜像文件，数据分块校验能够显著减少远程数据传输的总量。其次，本发明的维护目录服务器，为每一台云服务器提供数据块位置查询服务，并且基于P2P技术提供客户端软件从相应多个数据源下载所需要的数据块，显著的提高数据传输速度。
【IPC分类】H04L29/08
【公开号】CN104902000
【申请号】CN201510156131
【发明人】庄浩, 张继勇
【申请人】易云捷讯科技（北京）有限公司
【公开日】2015年9月9日
【申请日】2015年4月3日
最新回复(0)