本发明涉及通信,具体是涉及一种基于任务数据预载的网关负载智能均衡方法及系统。
背景技术:
1、随着互联网的发展,业务量的增大、前后端分离、开发人员数量增加、开发测试生产环境的一致性,以及cdn、流量控制、权限控制等更精细化的操作增加,再有目前微服务架构的盛行,就衍生出大量的网关设计。在当前云计算技术的盛行下,系统服务集群部署已成为一种常态,当一个服务有多个节点部署时,需考虑请求转发以及分配的问题,尽可能均匀地分配到每个节点上,使得每个服务的请求负载。目前已经有较多用于均衡负载的设备,比如lvs、nginx等,它们支持类似ip_hash、轮询、权重等请求转发策略,这些策略的目的是将请求尽可能均匀地分配到每个节点上,保证每个节点的负载尽可能地保持在一个合理的范围。
2、目前对于网关节点负载均衡还存在着无法根据网关节点信息对网关节点的负载状态进行准确评估,无法根据任务数据信息,对网关节点进行筛选,获取任务数据预载节点信息,无法对任务数据预载节点进行准确分析,无法准确评估任务数据预载节点负载状况的问题。
技术实现思路
1、为解决上述技术问题,提供一种基于任务数据预载的网关负载智能均衡方法及系统,本技术方案解决了上述背景技术中提出的无法根据网关节点信息对网关节点的负载状态进行准确评估,无法根据任务数据信息,对网关节点进行筛选,获取任务数据预载节点信息,无法对任务数据预载节点进行准确分析,无法准确评估任务数据预载节点负载状况的问题。
2、为达到以上目的,本发明采用的技术方案为:
3、一种基于任务数据预载的网关负载智能均衡方法,包括:
4、获取网关节点信息,所述网关节点信息包括网关节点拓扑结构信息和网关节点参数信息;
5、根据网关节点信息,获取网关节点负载信息,所述网关节点负载信息包括网关节点连接信息和网关节点数据传输量信息;
6、根据网关节点负载信息和网关节点参数信息,获取网关节点负载指数;
7、获取任务数据信息,所述任务数据信息包括任务数据类型信息和任务数据量信息;
8、根据任务数据信息,获取任务数据预载节点信息;
9、根据任务数据预载节点信息和网关节点负载指数,获取节点任务预载系数;
10、基于网关负载均衡需求,获取节点任务预载系数阈值;
11、根据节点任务预载系数和节点任务预载系数阈值,判断任务数据预载节点是否符合需求,若节点任务预载系数低于节点任务预载系数阈值,则该任务数据预载节点可用,根据任务数据预载节点信息对任务数据进行预载;
12、若节点任务预载系数高于节点任务预载系数阈值,则该任务数据预载节点不可用,根据节点任务预载系数,对任务数据预载节点进行调整;
13、优选的,所述根据任务数据信息,获取任务数据预载节点信息,具体包括:
14、根据网关节点负载信息,获取网关节点数据传输信息和网关并行连接信息;
15、根据网关节点数据传输信息、网关并行连接信息和网关节点参数信息,获取网关节点负载指数;
16、根据任务数据信息和网关节点信息,获取节点数据传输指数;
17、根据节点数据传输指数,获取任务数据预载节点信息,所述任务数据预载节点为节点数据传输指数最大值对应的网关节点;
18、其中,网关节点负载指数的计算公式为:
19、
20、式中,e为网关节点负载指数,m为网关节点数据总数,σ为并行连接负载系数,bj为第j个数据大小,δj为第j个数据的网关负载系数,其中b0为网关节点传输数据标准值,ε为网关节点传输影响数据大小阈值,α为网关节点带宽数据影响系数,a为网关节点带宽,β为网关节点内存数据影响系数,b为网关节点内存,ωs为网关节点第s个性能指标,h为网关节点性能指标总数;
21、节点数据传输指数的计算公式为:
22、
23、式中,w(g)为第g个网关节点的节点数据传输指数,d为任务数据大小,vg任务数据预载节点传输速率,tg为第g个网关节点的数据排队标准延迟,e为网关节点负载指数,pg为第g个网关节点的丢包率。
24、优选的,所述根据任务数据预载节点信息和网关节点负载指数,获取节点任务预载系数,具体包括:
25、根据任务数据预载节点信息,获取任务数据预载节点的节点数据传输指数;
26、根据节点数据传输指数和网关节点负载指数,获取节点任务预载系数;
27、节点任务预载系数的计算公式为:
28、
29、式中,k为节点任务预载系数,δ为任务数据的网关负载系数。
30、优选的,所述根据节点任务预载系数,对任务数据预载节点进行调整,具体包括:
31、根据任务数据信息,对任务数据进行分割,获取任务数据分片信息,所述任务数据分片信息包括任务数据分片大小信息和任务数据分片类型信息;
32、根据任务数据分片信息,获取任务数据分片特征系数,所述任务数据分片特征系数用于表示任务数据分片的重要程度;
33、根据任务数据分片特征系数,对任务数据分片进行网关节点规划,获取分片预载节点信息;
34、根据任务数据分片信息、任务数据分片特征系数和分片预载节点信息,获取任务数据分片质量指数;
35、根据任务数据分片质量指数,对任务数据分片进行调整直至任务数据分片质量指数达到最大值。
36、优选的,所述根据任务数据分片信息、任务数据分片特征系数和分片预载节点信息,获取任务数据分片质量指数,具体包括:
37、根据任务数据分片信息,获取任务数据分片特征系数;
38、根据任务数据分片信息、任务数据分片特征系数和分片预载节点信息,获取任务数据分片质量指数;
39、其中,任务数据分片特征系数的计算公式为:
40、
41、式中,μ(x)为第x个任务数据分片的任务数据分片特征系数,dx为第x个任务数据分片的大小,为第x个任务数据分片的访问需求系数,其中若第x个任务数据分片类型为随机访问,则若第x个任务数据分片类型为顺序访问,则d为任务数据大小;
42、任务数据分片质量指数的计算公式为:
43、
44、式中,q为任务数据分片质量指数,vx为第x个任务数据分片的预载网关节点传输速度,px为第x个任务数据分片的预载网关节点丢包率,tx为第x个任务数据分片的任务数据重组时间,n为任务数据分片总数目。
45、优选的,所述根据任务数据信息,对任务数据进行分割,获取任务数据分片信息,具体包括:
46、根据任务数据信息和节点任务预载系数,对任务数据进行分割,获取任务数据分片信息,所述任务数据分片信息包括任务数据主分片信息和任务数据副分片信息;
47、其中,任务数据主分片的分片预载节点为任务数据预载节点且任务数据主分片的节点任务预载系数低于节点任务预载系数阈值;
48、根据任务数据主分片信息,获取任务数据主分片特征系数和任务数据主分片的节点数据传输指数;
49、根据任务数据主分片特征系数和节点数据传输指数,判断任务数据主分片是否符合数据分片需求;
50、若则任务数据主分片符合标准,根据任务数据分片特征系数,对任务数据副分片进行网关节点规划,获取分片预载节点信息;
51、若则任务数据主分片不符合标准,根据任务数据信息对任务数据进行分割,获取任务数据分片信息;
52、其中,μ(0)为任务数据主分片的任务数据分片特征系数,w(0)为任务数据主分片的节点数据传输指数,θ为任务数据主分片质量系数。
53、进一步的,提出一种基于任务数据预载的网关负载智能均衡系统,用于实现如上述的均衡方法,包括:
54、主控制模块,所述主控制模块用于根据节点任务预载系数和节点任务预载系数阈值,判断任务数据预载节点是否符合需求,根据任务数据主分片特征系数和节点数据传输指数,判断任务数据主分片是否符合数据分片需求,根据任务数据信息,获取任务数据预载节点信息,根据任务数据信息,对任务数据进行分割,获取任务数据分片信息,根据任务数据分片特征系数,对任务数据分片进行网关节点规划,获取分片预载节点信息;
55、信息获取模块,所述信息获取模块用于获取网关节点信息、网关节点拓扑结构信息、网关节点参数信息、任务数据信息,所述任务数据信息包括任务数据类型信息和任务数据量信息,根据网关节点信息,获取网关节点负载信息、网关节点连接信息和网关节点数据传输量信息,并传输至评估模块;
56、评估模块,所述评估模块用于根据网关节点负载信息,获取网关节点数据传输信息和网关并行连接信息,根据网关节点数据传输信息、网关并行连接信息和网关节点参数信息,获取网关节点负载指数,根据节点数据传输指数和网关节点负载指数,获取节点任务预载系数,根据任务数据信息和网关节点信息,获取节点数据传输指数,根据任务数据分片信息,获取任务数据分片特征系数,根据任务数据分片信息、任务数据分片特征系数和分片预载节点信息,获取任务数据分片质量指数;
57、显示模块,所述显示模块与主控制模块交互,用于显示网关节点负载指数、节点数据传输指数、节点任务预载系数和任务数据预载节点信息。
58、可选的,所述主控制模块,具体包括:
59、控制单元,所述控制单元用于根据任务数据信息,获取任务数据预载节点信息,根据任务数据信息,对任务数据进行分割,获取任务数据分片信息,根据任务数据分片特征系数,对任务数据分片进行网关节点规划,获取分片预载节点信息;
60、信息接收单元,所述信息接收单元与信息获取模块和评估模块交互,用于接收数据并传输至判断单元;
61、判断单元,所述判断单元用于根据节点任务预载系数和节点任务预载系数阈值,判断任务数据预载节点是否符合需求,根据任务数据主分片特征系数和节点数据传输指数,判断任务数据主分片是否符合数据分片需求。
62、可选的,所述信息获取模块,具体包括:
63、第一获取单元,所述第一获取单元用于获取网关节点信息、网关节点拓扑结构信息、网关节点参数信息、任务数据信息,所述任务数据信息包括任务数据类型信息和任务数据量信息;
64、第二获取单元,所述第二获取单元用于根据网关节点信息,获取网关节点负载信息、网关节点连接信息和网关节点数据传输量信息,并传输至评估模块。
65、可选的,所述评估模块,具体包括:
66、节点评估单元,所述节点评估单元用于根据网关节点负载信息,获取网关节点数据传输信息和网关并行连接信息,根据网关节点数据传输信息、网关并行连接信息和网关节点参数信息,获取网关节点负载指数,根据节点数据传输指数和网关节点负载指数,获取节点任务预载系数;
67、任务数据评估单元,所述任务数据评估单元用于根据任务数据信息和网关节点信息,获取节点数据传输指数,根据任务数据分片信息,获取任务数据分片特征系数,根据任务数据分片信息、任务数据分片特征系数和分片预载节点信息,获取任务数据分片质量指数。
68、与现有技术相比,本发明的有益效果在于:
69、本发明提出一种基于任务数据预载的网关负载智能均衡方法及系统,通过网关节点负载指数对网关节点负载状况进行准确评估,根据任务数据信息和网关节点信息,获取节点数据传输指数,根据节点数据传输指数,获取任务数据预载节点信息,提高了任务数据预载效率,通过节点任务预载系数,对任务数据预载状况进行评估,实现了网关节点的负载均衡,提升了系统性能并增强系统的稳定性和适应性。
1.一种基于任务数据预载的网关负载智能均衡方法,其特征在于,包括:
2.根据权利要求1所述的一种基于任务数据预载的网关负载智能均衡方法,其特征在于,所述根据任务数据信息,获取任务数据预载节点信息,具体包括:
3.根据权利要求1所述的一种基于任务数据预载的网关负载智能均衡方法,其特征在于,所述根据任务数据预载节点信息和网关节点负载指数,获取节点任务预载系数,具体包括:
4.根据权利要求1所述的一种基于任务数据预载的网关负载智能均衡方法,其特征在于,所述根据节点任务预载系数,对任务数据预载节点进行调整,具体包括:
5.根据权利要求4所述的一种基于任务数据预载的网关负载智能均衡方法,其特征在于,所述根据任务数据分片信息、任务数据分片特征系数和分片预载节点信息,获取任务数据分片质量指数,具体包括:
6.根据权利要求4所述的一种基于任务数据预载的网关负载智能均衡方法,其特征在于,所述根据任务数据信息,对任务数据进行分割,获取任务数据分片信息,具体包括:
7.一种基于任务数据预载的网关负载智能均衡系统,用于实现如权利要求1-6任一项所述的均衡方法,其特征在于,包括:
8.根据权利要求7所述的一种基于任务数据预载的网关负载智能均衡系统,其特征在于,所述主控制模块,具体包括:
9.根据权利要求7所述的一种基于任务数据预载的网关负载智能均衡系统,其特征在于,所述信息获取模块,具体包括:
10.根据权利要求7所述的一种基于任务数据预载的网关负载智能均衡系统,其特征在于,所述评估模块,具体包括:
