一种用于CDN系统的配置文件修复方法及装置与流程
本发明涉及cdn系统的配置文件修复装置，尤其涉及一种用于cdn系统的配置文件修复方法及装置。
背景技术：
1、cdn(content delivery network，内容分发网络)是一种分布式网络架构，旨在通过将内容分发到离用户更近的节点，从而提高用户体验和网络性能，cdn服务提供商会综合节点资源特性、业务需求、客户定制等多方面因素，在机器上安装相对应的软件，不同软件的正常运行，依赖不同的配置文件，软件配置的准确性，对cdn服务可靠性起到至关重要的作用，随着互联网内容数据的不断增长，cdn系统的规模和复杂性也在不断增加，在实际生产应用中，通常会由cdn支撑中心，对全网机器的软件配置进行统一规划与下发，由于网络波动、机器故障、外部组件异常等因素，在进行软件配置下发时，往往难以保障全网的机器都接收到正确的配置，同时，部分配置文件的生成需要依赖实时数据，如机器服务状态、磁盘、网卡信息等，这些数据一旦发生变更，需要重新生成对应的配置文件并进行下发。
2、现有技术主要采用将文件清单及哈希值同时下发到机器上，由机器进行比对，若不一致则上报至中心服务器的方法，当所需进行修复的配置文件数量较多，且有大量的机器需要修复时，需高频的将文件清单及哈希值下发至机器上，已确保上报的准确性和时效性，该过程会造成带宽资源的浪费，同时会对文件分发系统造成较大的压力，容易出现资源瓶颈。同时现有方法没有对在大规模集群环境下，存在由异网和跨区域导致的通信质量差。
技术实现思路
1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
2、鉴于上述现有一种用于cdn系统的配置文件修复方法及装置存在的问题，提出了本发明。
3、因此，本发明目的是提供一种用于cdn系统的配置文件修复方法及装置，其适用于解决现有方法没有对在大规模集群环境下，存在由异网和跨区域导致的通信质量差的问题。
4、为解决上述技术问题，本发明提供如下技术方案：一种用于cdn系统的配置文件修复装置，所述文件修复装置包括：
5、资源管理系统、全局配置管理中心、探测调度模块、区域配置代理、边缘代理和任务系统；
6、其中，资源管理系统：主要维护服务器信息，在此基础上进行逻辑上的规划，依据服务器特性将多台服务器规划为一个主机组，通过负载均衡对外提供服务；
7、其中，全局配置管理中心：维护cdn系统中常用的软件配置，在规划好的主机组上，依据机器信息、规划信息和客户信息及软件配置模板渲染生成软件配置文件，将配置文件下发到边缘节点。
8、作为本发明所述一种用于cdn系统的配置文件修复装置的一种优选方案，其中：所述探测调度模块包括选取合适的区域配置代理完成对边缘节点数据的采集，所述区域配置代理包括按照省份或大区粒度部署的区域配置代理，依据全局配置管理中心下发的平台配置文件清单及平台汇总md5，区域代理定时探测边缘节点配置文件信息，并与平台配置文件信息进行比对，判断是否需要修复，若需要修复则调用中心接口，下发正确的配置文件到边缘节点上。
9、作为本发明所述一种用于cdn系统的配置文件修复装置的一种优选方案，其中：所述边缘代理包括部署在边缘节点上的配置代理，负责配置文件的部署，依据全局配置管理中心下发的平台配置文件列表采集机器上的配置文件信息，并提供相应的查询接口。
10、作为本发明所述一种用于cdn系统的配置文件修复装置的一种优选方案，其中：所述任务系统包括配置中心经由任务系统，可将配置文件下发到指定的区域配置代理或边缘节点上，所述全局配置管理中心从资源管理系统定时同步基础数据，包括但不限于：机器信息、规划信息，主机组、lvs组、资源标签、客户信息、客户id和加速域名，依据软件配置模板渲染生成不同的软件配置文件，将配置文件下发到边缘机器，且平台配置文件列表：配置中心依据历史下发记录，生成每台机器期望的平台配置文件列表，其内容为配置文件的路径，每个配置文件为一行记录，对所有的记录依据字典序进行排序，并写入平台配置文件列表里，所述机器信息包含ip、内存容量、硬盘容量和额定服务能力。
11、作为本发明所述一种用于cdn系统的配置文件修复装置的一种优选方案，其中：所述配置中心定时渲染软件配置模板，当机器信息、规划信息和客户信息变更导致软件配置文件发生变更时，重新下发软件配置文件，并更新平台配置文件清单及平台汇总md5，下发至区域配置代理，当边缘节点新增或删除配置文件时，更新平台配置文件清单，并下发至相应边缘节点。
12、作为本发明所述一种用于cdn系统的配置文件修复装置的一种优选方案，其中：所述平台配置文件清单：配置中心依据历史下发记录，生成每台机器期望的平台配置文件清单，其内容为配置文件的路径及配置中心下发配置时记录的配置文件内容的md5，对配置文件进行哈希运算得到的哈希值，每个配置文件为一行记录，在平台配置文件列表的基础上，追加每个配置文件内容的md5，并写入平台配置文件清单里，所述平台配置文件清单md5：对平台配置文件清单的内容进行哈希运算后得到的md5，所述配置中心依据探测调度模块的决策结果，将探测任务、平台配置文件清单及清单md5下发到指定的区域配置代理。
13、作为本发明所述一种用于cdn系统的配置文件修复装置的一种优选方案，其中：所述边缘节点接收区域代理上报的信息，并生成相应的修复任务，下发到边缘机器探测调度模块，所述探测调度模块中配置中心定时采集各个区域配置代理的机器指标，进而利用机器指标对整体健康值进行计算，所述探测调度模块内包含有健康值和最优链路。
14、作为本发明所述一种用于cdn系统的配置文件修复方法的一种优选方案，其中：所述健康值计算方法适应于以上任意一种修复装置，且健康值计算方法包括以下步骤：
15、s1.对采集到的指标做平滑处理与标准化处理；
16、s2.单一指标：设置最大、最小阈值，超过最大阈值，则单一指标q＝1；小于最小阈值，则q＝0；介于阈值之间，则采用归一算法进行归一化；
17、s3.健康值算法：
18、s3.1.当4个指标中的任意指标大于最大阈值时，q＝1
19、s3.2.当4个指标均小于最小阈值时，q＝0
20、s3.3.其他情况：q＝(cpu+mem+wid+rt80)/4；
21、s4.健康值权重h＝1-q权重∈[0,1]，当健康值约小时，分配的权重越大。
22、作为本发明所述一种用于cdn系统的配置文件修复方法的一种优选方案，其中：所述最优链路分配方法包括以下步骤：
23、s1.当区域代理中心调用边缘节点采集数据时，记录该次请求的响应时间，当接口调用失败时，响应时间记录为nan；
24、s2.初始化时，边缘节点到每个区域配置代理的响应时间设置一个默认经验值s，随着中心不断将边缘节点分配给区域配置代理探测，将得到边缘节点到每个区域配置代理的真实响应时间，记录每个边缘节点到区域配置代理最近同一段时间探测的响应时间，并计算low(25％)响应时间的平均响应时间，对所有的平均响应时间进行归一化处理得到r值；
25、s3.边缘节点到每个区域配置代理的响应时间权重w＝1-r值，权重∈[0,1]，当平均响应时间约小时，说明区域代理到边缘节点通信链路质量越好，分配的权重越大；
26、s4.当边缘节点到所有区域配置代理均为nan时，则所有区域代理分配权重一致。
27、作为本发明所述一种用于cdn系统的配置文件修复方法的一种优选方案，其中：所述一种用于cdn系统的配置文件修复方法，该方法能够对于每个边缘节点，剔除健康值为1和平均响应时间为nan的区域代理，综合健康值权重h、响应时间权重w最终调度决策由下式实现，对cdn系统的配置文件修复方法的具体公式如下：
28、
29、其中，式中l为未被剔除的区域配置代理节点个数。
30、本发明的有益效果：
31、相比现有的配置文件修复方法：本发明的方法通过区域配置代理完成对边缘机器配置文件信息的采集、比对及修复，并使用一种综合考量区域配置代理健康值及最优线路的调度策略将边缘节点探测任务分配至最优区域配置代理，提升修复的效率；同时可实现快速扩容以及对故障区域配置代理的剔除，提升系统的鲁棒性；并且可通过将区域配置代理部署至bgp机房、各大区多实例部署等方式实现在异网、跨网等环境下的配置文件快速修复；
32、采用比对汇总md5不一致，再比对配置文件清单的方式，仅需当配置文件列表发生变更时，才分发配置文件列表至边缘节点，节省了带宽资源的消耗。
技术特征：
1.一种用于cdn系统的配置文件修复装置，其特征在于，所述文件修复装置包括：
2.根据权利要求1所述的一种用于cdn系统的配置文件修复装置，其特征在于：所述探测调度模块包括选取合适的区域配置代理完成对边缘节点数据的采集，所述区域配置代理包括按照省份或大区粒度部署的区域配置代理，依据全局配置管理中心下发的平台配置文件清单及平台汇总md5，区域代理定时探测边缘节点配置文件信息，并与平台配置文件信息进行比对，判断是否需要修复，若需要修复则调用中心接口，下发正确的配置文件到边缘节点上。
3.根据权利要求1所述的一种用于cdn系统的配置文件修复装置，其特征在于：所述边缘代理包括部署在边缘节点上的配置代理，负责配置文件的部署，依据全局配置管理中心下发的平台配置文件列表采集机器上的配置文件信息，并提供相应的查询接口。
4.根据权利要求1所述的一种用于cdn系统的配置文件修复装置，其特征在于：所述任务系统包括配置中心经由任务系统，可将配置文件下发到指定的区域配置代理或边缘节点上，所述全局配置管理中心从资源管理系统定时同步基础数据，包括但不限于：机器信息、规划信息，主机组、lvs组、资源标签、客户信息、客户id和加速域名，依据软件配置模板渲染生成不同的软件配置文件，将配置文件下发到边缘机器，且平台配置文件列表：配置中心依据历史下发记录，生成每台机器期望的平台配置文件列表，其内容为配置文件的路径，每个配置文件为一行记录，对所有的记录依据字典序进行排序，并写入平台配置文件列表里，所述机器信息包含ip、内存容量、硬盘容量和额定服务能力。
5.根据权利要求1所述的一种用于cdn系统的配置文件修复装置，其特征在于：所述配置中心定时渲染软件配置模板，当机器信息、规划信息和客户信息变更导致软件配置文件发生变更时，重新下发软件配置文件，并更新平台配置文件清单及平台汇总md5，下发至区域配置代理，当边缘节点新增或删除配置文件时，更新平台配置文件清单，并下发至相应边缘节点。
6.根据权利要求5所述的一种用于cdn系统的配置文件修复装置，其特征在于：所述平台配置文件清单：配置中心依据历史下发记录，生成每台机器期望的平台配置文件清单，其内容为配置文件的路径及配置中心下发配置时记录的配置文件内容的md5，对配置文件进行哈希运算得到的哈希值，每个配置文件为一行记录，在平台配置文件列表的基础上，追加每个配置文件内容的md5，并写入平台配置文件清单里，所述平台配置文件清单md5：对平台配置文件清单的内容进行哈希运算后得到的md5，所述配置中心依据探测调度模块的决策结果，将探测任务、平台配置文件清单及清单md5下发到指定的区域配置代理。
7.根据权利要求1所述的一种用于cdn系统的配置文件修复装置，其特征在于：所述边缘节点接收区域代理上报的信息，并生成相应的修复任务，下发到边缘机器探测调度模块，所述探测调度模块中配置中心定时采集各个区域配置代理的机器指标，进而利用机器指标对整体健康值进行计算，所述探测调度模块内包含有健康值和最优链路。
8.一种用于cdn系统的配置文件修复方法，其特征在于，所述健康值计算方法适应于以上权利要求1-7中任意一种修复装置，且健康值计算方法包括以下步骤：
9.根据权利要求8所述的一种用于cdn系统的配置文件修复方法，其特征在于：所述最优链路分配方法包括以下步骤：
10.根据权利要求9所述的一种用于cdn系统的配置文件修复方法，其特征在于，所述一种用于cdn系统的配置文件修复方法，该方法能够对于每个边缘节点，剔除健康值为1和平均响应时间为nan的区域代理，综合健康值权重h、响应时间权重w最终调度决策由下式实现，对cdn系统的配置文件修复方法的具体公式如下：
技术总结
本发明公开了一种用于CDN系统的配置文件修复方法及装置，所述文件修复装置包括：资源管理系统、全局配置管理中心、探测调度模块、区域配置代理、边缘代理和任务系统。本发明相比现有的配置文件修复方法：本发明的方法通过区域配置代理完成对边缘机器配置文件信息的采集、比对及修复，并使用一种综合考量区域配置代理健康值及最优线路的调度策略将边缘节点探测任务分配至最优区域配置代理，提升修复的效率；同时可实现快速扩容以及对故障区域配置代理的剔除，提升系统的鲁棒性；并且可通过将区域配置代理部署至BGP机房、各大区多实例部署等方式实现在异网、跨网等环境下的配置文件快速修复。
技术研发人员：叶立新,杨主决,王炜东,温峥嵘,黄玮
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/9/23