数据传输方法、装置、设备和存储介质与流程

本技术涉及计算机，具体涉及一种数据传输方法、装置、设备和存储介质。

背景技术：

1、随着边缘数据处理与实时计算的需求不断增长，分布式云应运而生。分布式云是公有云能力的延伸，旨在提供无处不在的云计算服务，并满足就近接入的要求。

2、在对相关技术的研究和实践过程中，本技术的发明人发现，在分布式云集群中，由于边缘节点的本地存储能力有限，使得边缘节点需要通过公网向公有云请求其所缺乏的数据，但由于公网带宽的限制，边缘节点需要耗费较长的等待时间才能获取所需数据，而这无疑会影响边缘云集群的数据传输效率。同时，随着边缘云集群规模的扩大，数据请求的需求亦会相应剧增，集群规模扩大与公网带宽不足之间的矛盾则会愈加显著，这亦加剧对边缘云集群的数据传输效率的负面影响。

技术实现思路

1、本技术实施例提供一种数据传输方法、装置、设备和存储介质，可以提高边缘云集群的数据传输效率，以便于边缘节点能够高效地进行数据存储与读取。

2、本技术实施例提供一种数据传输方法，包括：

3、当接收到边缘云集群中第一边缘节点的数据获取指令时，确定所述第一边缘节点需要获取的目标数据，其中，所述边缘云集群包括位于同一局域网内的至少一个边缘节点，所述边缘云集群具有各个边缘节点共享的共享存储区，所述共享存储区由所述各个边缘节点的独占存储区通过所述局域网组成；

4、在所述共享存储区查询存储有所述目标数据的至少一个目标独占存储区；

5、根据独占存储区与边缘节点之间的映射关系，识别所述目标独占存储区对应的目标边缘节点；

6、根据各个所述目标边缘节点的负载信息，从所述目标边缘节点中选择待进行数据传输的第二边缘节点；

7、通过所述第二边缘节点基于所述局域网向所述第一边缘节点传输所述目标数据。

8、相应的，本技术实施例还提供一种数据传输装置，包括：

9、确定单元，用于当接收到边缘云集群中第一边缘节点的数据获取指令时，确定所述第一边缘节点需要获取的目标数据，其中，所述边缘云集群包括位于同一局域网内的至少一个边缘节点，所述边缘云集群具有各个边缘节点共享的共享存储区，所述共享存储区由所述各个边缘节点的独占存储区通过所述局域网组成；

10、查询单元，用于在所述共享存储区查询存储有所述目标数据的至少一个目标独占存储区；

11、识别单元，用于根据独占存储区与边缘节点之间的映射关系，识别所述目标独占存储区对应的目标边缘节点；

12、选择单元，用于根据各个所述目标边缘节点的负载信息，从所述目标边缘节点中选择待进行数据传输的第二边缘节点；

13、传输单元，用于通过所述第二边缘节点基于所述局域网向所述第一边缘节点传输所述目标数据。

14、在一实施例中，所述选择单元，包括：

15、特征获取子单元，用于获取各个所述目标边缘节点在至少一个维度上的节点负载特征；

16、特征聚合子单元，用于对所述节点负载特征进行特征聚合处理，得到各个所述目标边缘节点的负载信息；

17、节点选择子单元，用于根据所述负载信息，从所述目标边缘节点中选择待进行数据传输的第二边缘节点。

18、在一实施例中，所述传输单元，包括：

19、信息生成子单元，用于根据所述第一边缘节点与所述第二边缘节点，生成描述数据传输通道的通道信息，其中，所述数据传输通道用于基于所述局域网在所述第一边缘节点与所述第二边缘节点之间的进行数据传输；

20、信息发送子单元，用于向所述第一边缘节点发送所述通道信息，以触发所述第一边缘节点根据所述通道信息向所述第二边缘节点请求所述目标数据，并获取所述第二边缘节点传输的所述目标数据。

21、在一实施例中，所述信息发送子单元，用于：

22、获取所述边缘云集群当前的节点信息，其中，所述节点信息包括所述第二边缘节点的初始任务信息；对所述初始任务信息进行更新；当检测到更新完成时，向所述第一边缘节点发送所述通道信息。

23、在一实施例中，所述信息发送子单元，还用于：

24、当检测到所述目标数据的传输完成信号时，获取所述第二边缘节点的当前任务信息；根据所述初始任务信息对所述当前任务信息进行更新。

25、在一实施例中，所述信息发送子单元，用于：

26、触发所述第一边缘节点根据所述通道信息，创建所述第一边缘节点与所述第二边缘节点之间的数据传输通道；通过所述数据传输通道，向所述第二边缘节点发送所述目标数据的数据获取请求；获取所述第二边缘节点基于所述数据获取请求传输的所述目标数据。

27、在一实施例中，所述信息发送子单元，具体用于：

28、获取所述第二边缘节点基于所述数据获取请求传输的待校验数据；对所述待校验数据进行数据完整性校验；当校验通过时，确认所述待校验数据为所述目标数据。

29、在一实施例中，分布式云集群包括中心节点与所述边缘云集群中的边缘节点，所述中心节点存储有所述边缘云集群的节点信息，所述传输单元，还包括：

30、信息获取子单元，用于当检测到所述目标数据的传输完成信号时，通过所述中心节点获取所述第一边缘节点的独占存储区中的当前数据存储信息；

31、信息解析子单元，用于对所述当前数据存储信息进行解析，得到解析结果；

32、信息更新子单元，用于当所述解析结果指示所述第一边缘节点的独占存储区中存储有所述目标数据时，根据所述当前数据存储信息，对所述中心节点存储的所述边缘云集群的节点信息进行更新。

33、在一实施例中，所述数据传输装置，还包括：

34、获取单元，用于获取所述第一边缘节点的独占存储区中的当前数据存储信息；

35、解析单元，用于对所述当前数据存储信息进行解析，得到解析结果；

36、创建单元，用于当所述解析结果指示所述第一边缘节点的独占存储区中存储有所述镜像文件时，基于所述镜像文件在所述第一边缘节点创建云服务器。

37、相应的，本技术实施例还提供的一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本技术实施例提供的任一种数据传输方法。

38、相应的，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行本技术实施例提供的任一种数据传输方法。

39、相应的，本技术实施例还提供一种计算机程序产品，包括计算机程序/指令，其中，所述计算机程序/指令被处理器执行时实现如本技术实施例所示的数据传输方法的步骤。

40、本技术实施例可以当接收到边缘云集群中第一边缘节点的数据获取指令时，确定所述第一边缘节点需要获取的目标数据，其中，所述边缘云集群包括位于同一局域网内的至少一个边缘节点，所述边缘云集群具有各个边缘节点共享的共享存储区，所述共享存储区由所述各个边缘节点的独占存储区通过所述局域网组成；在所述共享存储区查询存储有所述目标数据的至少一个目标独占存储区；根据独占存储区与边缘节点之间的映射关系，识别所述目标独占存储区对应的目标边缘节点；根据各个所述目标边缘节点的负载信息，从所述目标边缘节点中选择待进行数据传输的第二边缘节点；通过所述第二边缘节点基于所述局域网向所述第一边缘节点传输所述目标数据。

41、该方案可以通过边缘云集群内的多个边缘节点构成自组织系统，并通过局域网由各个边缘节点的独占存储区，组成该边缘云集群中各个边缘节点共享的共享存储区。其中，各个边缘节点可以利用其独占存储区进行数据存储，而当边缘节点需要获取其独占存储区中未存储有的目标数据时，则可以通过局域网在不同边缘节点之间进行数据共享，从而提高边缘云集群的数据存储上限与存储丰富度。例如，边缘云集群中的各个边缘节点可以利用其本机缓存来缓存热数据，当其中的第一边缘节点需要获取其自身未缓存有的镜像文件时，则可以由该边缘云集群中缓存有该镜像文件的第二边缘节点，通过局域网将该镜像文件快捷地传输给第一边缘节点。

42、可知，这与第一边缘节点需通过公网向公有云请求所需的目标数据相比，不仅能够显著地缩短第一边缘节点获取所需数据的等待时长，提高边缘云集群的数据传输效率，更加重要的是，能够有效地解决集群规模扩大与公网宽带不足之间的矛盾，实现集群规模越大，边缘云集群共享存储区的存储容量越大，边缘云集群中数据传效率越高的良性循环。以目标数据具体为镜像文件为例，由于通过本方案，镜像文件能够在处于同一边缘云集群的邻居边缘节点间共享，且仅使用内网带宽，而不消耗公网流量成本，可知，分布式云系统接入后，除了无法共享的流量外，大量镜像文件均能通过邻居边缘节点共享的方式获取，实测结果表明，标准场景下，本方案能够显著降低公网传输流量，从而有效节省带宽成本。

43、此外，该方案通过确定边缘云集群中存储有目标数据的至少一个目标边缘节点，来从边缘云集群的各边缘节点中筛选出符合建立数据共享通道的目标边缘节点，进而结合各个目标边缘节点的负载信息，从目标边缘节点中选择出待向第一边缘节点共享目标数据的第二边缘节点，这样的话，即可在边缘云集群内部匹配出最佳的数据共享通道，有效提高数据的存储命中率，提升分布式云的使用体验。

技术特征：

1.一种数据传输方法，其特征在于，包括：

2.根据权利要求1所述的数据传输方法，其特征在于，根据各个所述目标边缘节点的负载信息，从所述目标边缘节点中选择待进行数据传输的第二边缘节点，包括：

3.根据权利要求1所述的数据传输方法，其特征在于，通过所述第二边缘节点基于所述局域网向所述第一边缘节点传输所述目标数据，包括：

4.根据权利要求3所述的数据传输方法，其特征在于，向所述第一边缘节点发送所述通道信息，包括：

5.根据权利要求4所述的数据传输方法，其特征在于，所述方法还包括：

6.根据权利要求3所述的数据传输方法，其特征在于，触发所述第一边缘节点根据所述通道信息向所述第二边缘节点请求所述目标数据，并获取所述第二边缘节点传输的所述目标数据，包括：

7.根据权利要求6所述的数据传输方法，其特征在于，获取所述第二边缘节点基于所述数据获取请求传输的所述目标数据，包括：

8.根据权利要求3所述的数据传输方法，其特征在于，分布式云集群包括中心节点与所述边缘云集群中的边缘节点，所述中心节点存储有所述边缘云集群的节点信息，所述方法还包括：

9.根据权利要求1所述的数据传输方法，其特征在于，所述目标数据包括镜像文件，所述方法还包括：

10.一种数据传输装置，其特征在于，包括：

11.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至9任一项所述的数据传输方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求1至9任一项所述的数据传输方法。

13.一种计算机程序产品，其特征在于，所述计算机程序产品存储有计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至9任一项所述的数据传输方法。

技术总结
本申请实施例公开了数据传输方法、装置、设备和存储介质；可以当接收到边缘云集群中第一边缘节点的数据获取指令时，确定第一边缘节点需获取的目标数据，边缘云集群包括至少一个边缘节点，且具有各边缘节点共享的共享存储区，共享存储区由各个边缘节点的独占存储区通过局域网组成；在共享存储区查询存储有目标数据的目标独占存储区；根据独占存储区与边缘节点之间的映射关系，识别目标独占存储区对应的目标边缘节点；根据各目标边缘节点的负载信息，从目标边缘节点中选择待进行数据传输的第二边缘节点；通过第二边缘节点基于局域网向第一边缘节点传输目标数据。可以提高边缘云集群的数据传输效率，以便于边缘节点能够高效地进行数据存储与读取。

技术研发人员：徐兵,陈远,曾君亮,李斌
受保护的技术使用者：腾讯云计算（北京）有限责任公司
技术研发日：
技术公布日：2024/9/23