异地机房数据双向同步监控方法与系统的制作方法
异地机房数据双向同步监控方法与系统的制作方法
【技术领域】
[0001]本发明涉及数据同步技术领域，特别是涉及异地机房数据双向同步监控方法与系统。
【背景技术】
[0002]当前，在互联网IT领域，服务提供商为了保障线上服务，大多会在多个异地机房部署同一套系统，以备单个机房出现意外时，可继续对外正常提供服务。
[0003]这里就涉及到了异地机房的数据双向同步问题，现有的异地数据双向同步系统一般包含多个组件，如获取数据的组件、数据处理及传输组件、分布式协调组件、同步任务管理组件等，这些组件分布在异地，构成了一个分布式系统。
[0004]而对分布式系统的监控通常存在以下不足:(1)分布式系统包含多个组件使得监控很难做到全面；(2)某个组件出现变动时，监控系统需要跟着修改相应的监控部署。因此，为了保障整套服务正常运行，需要设计一种全面且可靠的监控方法。
【发明内容】
[0005]基于此，有必要针对现有分布式机房数据双向同步监控方式存在监控不全面且可靠性低的问题，提供一种全面且可靠的异地机房数据双向同步监控方法与系统。
[0006]—种异地机房数据双向同步监控方法，包括步骤:
[0007]设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本；
[0008]所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU(中央处理器，Central ProcessingUnit)监控、MEMORY(可记忆性)监控、10(输入输出，Input/Output)监控、SWAP(交换)监控、DISK(磁盘)监控及登录用户数量监控；
[0009]所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果；
[0010]所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN(系统修订号，System ChangeNumber)更新超时监控和异地数据同步自动恢复监控；
[0011 ] 所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控；
[0012]当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。
[0013]—种异地机房数据双向同步监控系统，包括:
[0014]设置模块，用于设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本；
[0015]系统级监控模块，用于控制所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CHJ监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控；
[0016]进程级监控模块，用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果；
[0017]服务级监控模块，用于控制所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控；
[0018]日志级监控模块，用于控制所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控；
[0019]推送模块，用于当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。
[0020]本发明异地机房数据双向同步监控方法与系统，设置监控服务器于各个异地机房，监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本，利用监控服务器对异地机房进行系统级监控、进程级监控、服务级监控以及日志级监控，当上述监控有任意一项表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。整个过程中，采用独立的监控服务器，确保数据处理、记录的独立性，并分别从系统级、进程级、服务级以及日志级四个方面进行监控，确保监控全面与可靠，实现对异地机房数据双向同步的全面与可靠监控。
【附图说明】
[0021]图1为本发明异地机房数据双向同步监控方法其中一个实施例的流程示意图；
[0022]图2为本发明异地机房数据双向同步监控系统其中一个实施例的结构示意图。
【具体实施方式】
[0023]如图1所示，一种异地机房数据双向同步监控方法，包括步骤:
[0024]S100:设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本。
[0025]监控服务器是独立于整个异地机房数据双向同步系统的服务器，其用于整个异地机房数据双向同步过程，其数据记录、存储和处理均独立于整个异地机房数据双向同步系统，这样可以避免异地机房数据双向同步系统中已有服务器对其进行数据干扰，确保监控结果的准确与可靠。服务器的监控脚本可以采用目前常规的异地机房数据双向同步监控的脚本，优选的，可以采用⑶1(图形用户界面，Graphical User Interface)对这些监控脚本进行合理部署。
[0026]S200:所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控。
[0027]所述的系统级监控，包括监控主机存活、主机负载、CPU(中央处理器，CentralProcessing Unit)、MEMORY(可记忆性)、10(输入输出，Input/Output)、SWAP(交换)、DISK(磁盘)及登录用户数量。这里的主机存活是指主机在局域网内网络正常，可以正常与其他主机进行相关通信。主机存活的监控非常重要，因为大多监控都部署在各个组件的自身服务器上，要使监控有效，首先必须保证服务器网络通畅。因此，利用步骤S100在多个异地机房设置监控服务器，监控异地机房中所有相关服务器的存活状态，以实现安全冗余。主机负载、CPU、MEM0RY、10、SWAP、DISK及登录用户数量的监控则直接部署在相关服务器上。
[0028]具体来说，主机存活监控是通过多次ping主机以确定服务器是否工作在网络内，如总共ping主机Μ次均未成功，则ping通比例为0，即可初步判断是系统故障或网络故障，如果ping通比例在0和100%之间，则主要排查网络，当ping通主机的比例小于设定的阈值时，则以短信和邮件的形式通知系统负责人去排查异常。主机存活监控也可依据其他方法进行，如ssh(安全壳协议，Secure Shell)登录，检测特定端口等。
[0029]S300:所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果。
[0030]所述的进程级监控，即监控异地机房数据双向同步中各个组件的进程存活状态。比如分布式协调组件进程，相关数据库进程等。进程监 控主要通过捕捉进程存活的工具来实现，进程级监控也直接部署异地机房中相关服务器上。捕捉进程存活的工具的常用工具包括top、ps等系统工具。
[0031 ] S400:所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控。
[0032]所述的服务级监控，包括服务安全、异地机房数据双向同步服务工作状态、异地数据同步的延迟时间、异地数据同步量、异地数据SCN更新超时和异地数据同步自动恢复等。服务安全监控是通过脚本检查相关服务器的iptables防火墙设置，判断其是否在设计的服务最小安全区域内。如超出最小安全区域，则以短信和邮件的形式发送给系统负责人。异地机房数据双向同步服务工作状态主要包括挂起，定位或正常工作中状态，从分布式协调组件上直接获取数据双向同步服务的状态。由于分布式协调组件上通常记录了各个方向数据同步状态，所以可以充分利用分布式协调组件上记录的信息，如同步对应的通道ID值及同步方向来确定其同步是否正常。异地数据同步的延迟时间是指数据从源库写入到通过异地数据同步系统写出到目标库的时间差，当延迟时间超过指定的阈值时，则以短信和邮件的形式将具体的延迟详情通知系统负责人。异地数据同步量是指各个同步方向中各个同步类型的数据同步量，可以依据同步任务管理组件中的统计功能个性化统计出数据同步量及整套系统的数据增量，当统计的结果超过设定的阈值时，以短信和邮件的形式通知系统负责人。异地数据SCN更新超时是指最后一次SCN的更新时间与当前时间的差值超过了设定的阈值，当出现异地数据SCN更新超时情况时，将具体的超时时间等详情以短信和邮件的形式发送给系统负责人。异地数据同步自动恢复主要是针对网络异常尝试的自动恢复，以减少人肉运维成本，当监控到异地数据同步工作状态异常时，以短信和邮件的形式通知系统负责人，同时触发自动恢复程序，自动恢复程序首先会对监控项进行检查确认，如确定是指定的异常类型，则开启自动恢复，加入自动恢复队列，重启同步，当重启同步结束后，再次检查监控项，如恢复正常，则以短信和邮件的形式通知系统负责人服务已恢复正常。
[0033]S500:所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控。
[0034]所述的日志级监控，包括系统的message日志、异地机房数据双向同步中各个组件的日志、数据库错误日志、定时任务日志、监控日志及各种日志文件大小等。系统的message日志、异地机房数据双向同步中各个组件的日志和数据库错误日志监控是为了方便及时定位异地数据同步的异常。定时任务日志和监控日志是为了保障监控的有效可靠性。各种日志文件大小的监控是对整个监控方法的一种冗余补充，可以在一定程度上发现潜在的危险。
[0035]S600:当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。
[0036]当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果中任意一项表征异地机房数据双向同步异常时，直接生成异常情况报告，推送异常情况报告至用户。监控脚本中产生的各种文件可以以隐藏文件的形式存在，即文件名以点开头，确保数据的安全。另外所述的推送方式可以采用上述的短信和/或邮件方式。
[0037]本发明异地机房数据双向同步监控方法，设置监控服务器于各个异地机房，监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本，利用监控服务器对异地机房进行系统级监控、进程级监控、服务级监控以及日志级监控，当上述监控有任意一项表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。整个过程中，采用独立的监控服务器，确保数据处理、记录的独立性，并分别从系统级、进程级、服务级以及日志级四个方面进行监控，确保监控全面与可靠，实现对异地机房数据双向同步的全面与可靠监控。
[0038]在其中一个实施例中，所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果的步骤具体包括:
[0039]所述监控服务器对所述异地机房进行系统级监控，并对所述系统级监控中的监控指标设置第一监控开关，获得系统级监控结果；
[0040]所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果的步骤具体包括:
[0041]所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，并对所述进程级监控中的监控指标设置第二监控开关，获得进程级监控结果。
[0042]在系统级监控和进程级监控的方法上，为每个监控指标设置了监控开关，对于不同使用用途的服务器可以使用同一套脚本，只需要指定对应的监控开关即可。比如在负责数据处理和传输的组件及负责分布式协调的组件的服务器上部署同一套监控脚本，差别只在于对应的监控开关值不一样。需要指出的是上述第一监控开关和第二监控开关仅用于区分描述，并不对其具体参数进行限定，第一监控开关可以与第二监控开关相同，第一监控开关也可以与第二监控开关不同。
[0043]在其中一个实施例中，所述监控脚本加载于所述监控服务器的家目录。
[0044]家目录是存放root以外的其他所有用户的用户文件目录，监控脚本放在专用监控用户的家目录下，而非监控用户一般没有权限切换到监控用户家目录，这在一定程度上提高了监控脚本的安全指数。
[0045]在其中一个实施例中，所述设置监控服务器于各个异地机房的步骤之后还包括:
[0046]设置监控时间间隔。
[0047]在监控时间间隔上，对不同监控指标可以设置不同的监控时间间隔。比如机器的监控指标A设置为每隔1分钟监控一次，而机器的监控指标B设置为每隔2分钟监控一次，这样灵活地控制了各个监控指标的监控频率。
[0048]在其中一个实施例中，所述设置监控服务器于各个异地机房的步骤具体包括:
[0049]设置监控服务器于各个异地机房，并采用GUI界面对所述监控脚本进行部署。
[0050]在监控部署上，采用GUI界面实现自动化部署，GUI界面和相关监控脚本均放在监控服务器上，对于参数可变的监控脚本，通过GUI界面传参，可以将合适的脚本自动部署到指定服务器的指定目录下。对于不带可变参数的脚本，可以通过GUI界面进行批量自动化部署。
[0051 ]如图2所示，一种异地机房数据双向同步监控系统，包括:
[0052]设置模块100，用于设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本；
[0053]系统级监控模块200，用于控制所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控；
[0054]进程级监控模块300，用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果；
[0055]服务级监控模块400，用于控制所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控；
[0056]日志级监控模块500，用于控制所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述 日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控；
[0057]推送模块600，用于当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。
[0058]本发明异地机房数据双向同步监控系统，设置模块100设置监控服务器于各个异地机房，监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本，系统级监控模块200、进程级监控模块300、服务级监控模块400以及日志级监控模块500分别利用监控服务器对异地机房进行系统级监控、进程级监控、服务级监控以及日志级监控，推送模块600当上述监控有任意一项表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。整个过程中，采用独立的监控服务器，确保数据处理、记录的独立性，并分别从系统级、进程级、服务级以及日志级四个方面进行监控，确保监控全面与可靠，实现对异地机房数据双向同步的全面与可靠监控。
[0059]在其中一个实施例中，所述系统级监控模块200具体用于控制所述监控服务器对所述异地机房进行系统级监控，并对所述系统级监控中的监控指标设置第一监控开关，获得系统级监控结果；
[0060]所述进程级监控模块300具体用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，并对所述进程级监控中的监控指标设置第二监控开关，获得进程级监控结果。
[0061 ]在其中一个实施例中，所述监控脚本加载于所述监控服务器的家目录。
[0062]在其中一个实施例中，所述异地机房数据双向同步监控系统还包括:
[0063 ]监控时间间隔设置模块，用于设置监控时间间隔。
[0064]在其中一个实施例中，所述设置模块100具体用于设置监控服务器于各个异地机房，并采用GUI界面对所述监控脚本进行部署。
[0065]为了更进一步详细解释本发明异地机房数据双向同步监控方法与系统的技术方案及其带来的有益效果，下面将采用实例详细说明。
[0066]在异地机房数据双向同步的运行环境中整个运行环境分为三部分，数据库存储实例集群、双向同步控制组件集群和监控服务器集群。这三部分在各个异地机房都有部署，且一一对应。数据库存储实例集群包括多个数据库实例。双向同步控制集群包括多个同步组件。例如，访问机房A的用户更新的数据可以同步到对应的机房B的数据库中；同样，访问机房B的用户更新的数据也会同步到对应的机房A的数据库中。各机房中的数据保持一致。
[0067]双向同步控制组件集群包含负责获取数据，数据处理及传输的服务器集群，负责分布式协调的服务器集群，负责同步任务管理的服务器集群。数据库存储实例集群是一个水平切分的分布式数据库集群，此运行环境单个机房有N个数据库实例，这样就有N对双向同步的任务。每个集群都有冗余，以防意外发生。
[0068]监控脚本部署在监控服务器或运行环境中的各个主机上。其中，主机存活、异地机房数据同步量、异地同步状态，异地同步延迟时间，SCN更新超时的监控及异常自动恢复等部署在专用服务器上。而系统级监控中的0?1]、腿皿)1^、10、3￥4?以及0131(，日志级监控中的同步组件日志、数据库日志、同步任务日志、监控日志和进程级监控如同步组件进程，数据库进程等部署在各自相关的服务器上。
[0069]监控脚本均部署在对应服务器的定时任务中。监控脚本均部署在专用监控用户家目录下，非专用监控用户一般没有权限切换到监控用户家目录，这在一定程度上提高了监控脚本的安全指数。监控脚本中产生的各种文件以隐藏文件的形式存在，即文件名以点开头。如监控日志则以点开头形成隐藏文件。当出现异常，触发短信及邮件告警时，记录短信及邮件发送情况，如短信及邮件发送时间，发送是否成功等。以日志文件的形式记录，日志文件名也以点开头。
[0070]系统级监控中的主机负载、CPU、MEM0RY、10、SWAP、DISK、登录用户数量和进程级监控部署在所有相关服务器上，包括监控服务器。且所有这些监控指标都写在同一个脚本中，主机负载工?1]、腿觀1^、10、3￥4?、0131(和登录用户数量这些指标是每台服务器都需要监控的，所以它们的监控开关都设置为1，而进程级监控中需要根据每台服务器的个性服务设置不同的开关，比如在分布式协调组件服务器中，在进程级监控上，就只需要打开分布式协调组件的进程监控开关，其他组件的进程开关需关闭。另外，不同监控指标的监控频率可以个性化设置，比如整个脚本执行频率是每N分钟一次，但在脚本中可以控制磁盘的监控离上次监控时间至少间隔Μ分钟，这样磁盘监控的频率就变成了至少隔Μ分钟监控一次。这样使得监控频率可以灵活控制。
[0071 ]主机存活监控部署在监控服务器上，所有监控服务器和运行环境中的主机服务器都是监控对象，监控频率为每Ν分钟一次，主机存活监控采用ping主机的方式，当完全ping不通主机时，可初步判定主机发生系统故障或网络异常，需及时处理。当部分ping不通主机，即出现丢包现象时，需重点排查网络异常。当丢包率达到阈值时，以短信和邮件的形式通知系统负责人，以及时排查故障。只有当两个机房的监控服务器集群同时失效时，主机存活监控才失效。这大大提高了监控的可靠性和冗余性。
[0072]服务安全监控部署在监控服务器上，服务器的防火墙设置，IP鉴权，各个应用服务是否由指定用户启动等都是监控对象。设计有效的最小安全区域，当超出安全区域范围时，通知系统负责人及时关注并更新。监控频率为每Μ分钟一次。
[0073]异地机房数据双向同步服务工作状态的监控也部署在监控服务器上，它不依赖于异地机房数据双向同步各个组件的异常日志，而是与分布式协调组件交互直接获取服务状态值，如挂起状态，定位中状态，正常工作中状态等。服务级监控频率为每Ν分钟一次。
[0074]异地数据同步延迟时间的监控也是根据同步任务管理组件中的统计功能，将计算出的同步延迟时间入库，通过查询数据库以监控延迟时间是否超过设定的阈值。异地数据同步延迟时间的监控也部署在监控服务器上，监控频率为每Μ分钟一次。
[0075]异地机房的数据同步量及数据增量是根据同步任务管理组件中的统计功能，进行个性化统计，比如统计每Ν分钟各个数据库实例的同步量，将统计得到的值入库，通过直接查询数据库可以监控到同步量是否超过了设定的阈值。因此，可以在监控服务器上部署一个专门用于统计同步量的数据库实例，并对其统计的结果进行监控。数据同步量的监控也部署在监控服务器上。监控频率为每Μ分钟一次。
[0076]异地数据SCN更新超时的监控是通过对比当前时间点与SCN最新更新的时间点的差值来实现，SCN最新更新的时间点可以通过分布式协调组件获取，当异地数据SCN更新超时达到指定的阈值时，通知系统负责人。异地数据SCN更新超时的监控也部署在专用服务器上，监控频率为每Μ分钟一次。
[0077]异地数据同步自动恢复主要依赖于同步任务管理组件，当监测到指定同步异常时，触发异地数据同步自动恢复程序，即通过同步任务管理组件完成数据同步重启。重启同步结束后，需再次检查监控项，如恢复正常，则以短信和邮件的形式通知系统负责人。如重启失败，也需将失败详情通知系统负责人。异地数据同步自动恢复程序部署在监控服务器上。
[0078]日志级监控包括监控系统的message日志、异地机房数据双向同步中各个组件的日志、数据库错误日志、定时任务日志、监控日志及各种日志文件大小等，日志级监控部署在相关服务所在的服务器上。异常日志是通过抓取异常关键字进行监控，并将抓取到的异常关键字的记录条数记录到一个指定文件中。当抓取到新产生的异常关键字时，将其翻译为易理解的异常描述发送给系统负责人。日志级监控频率为每N分钟一次，其触发告警的条件是某次监控抓取到异常关 键字的记录条数大于上次监控抓取到的异常关键字的记录条数，如满足条件则以短信和邮件的形式通知系统负责人近期有新产生的异常情况出现。同时将新的异常信息记录条数记录到指定文件中。日志文件大小的阈值是根据监控经分管理推出的经验值来确定。
[0079]系统负载饱和度的计算方法可以依据系统CPU、10、MEM0RY以及数据同步量指标进行设计，当达到阈值时，以短信和邮件的形式将系统负载饱和度的状态通知系统负责人，方便系统负责人进行系统扩展。
[0080]监控管理平台中的监控经分管理，指标管理，短信邮件管理等为整个监控方法不断调优打下基础。如监控经分管理中记录的各种类型的告警详情，方便系统管理员对相关系统的异常信息进行统计，寻找异常规律，发现潜在的异常风险。如日志文件按每天固定时间归档，则正常服务情况下每天的日志文件大小有一定的范围，系统管理员则可以依据这个范围设计日志大小的告警阈值。
[0081]为提高监控部署的便利性，通过GUI界面实现自动化监控部署。对于参数可变的监控，如系统级和进程级监控脚本中的监控开关参数，通过GUI界面传参，将合适的脚本自动推送到指定服务器的指定目录下，对于不带可变参数的脚本，如异地机房数据双向同步组件的日志级监控，则通过GUI界面进行批量自动化部署。
[0082]当添加了新的异地机房数据同步组件，如获取数据组件，数据处理及传输组件时，此时服务级监控不需要调整。可以通过GUI界面部署对应的系统级监控、进程级监控以及日志级监控。
[0083]当添加了新的数据库实例用于异地机房数据双向同步时，在服务级监控上，只需要添加新数据库实例双向同步的同步状态和同步量的监控。同时部署对应的系统级、进程级以及日志级监控。
[0084]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种异地机房数据双向同步监控方法，其特征在于，包括步骤: 设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本； 所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控； 所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果； 所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控； 所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控； 当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。2.根据权利要求1所述的异地机房数据双向同步监控方法，其特征在于， 所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果的步骤具体包括: 所述监控服务器对所述异地机房进行系统级监控，并对所述系统级监控中的监控指标设置第一监控开关，获得系统级监控结果； 所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果的步骤具体包括: 所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，并对所述进程级监控中的监控指标设置第二监控开关，获得进程级监控结果。3.根据权利要求1或2所述的异地机房数据双向同步监控方法，其特征在于，所述监控脚本加载于所述监控服务器的家目录。4.根据权利要求1或2所述的异地机房数据双向同步监控方法，其特征在于，所述设置监控服务器于各个异地机房的步骤之后还包括: 设置监控时间间隔。5.根据权利要求1或2所述的异地机房数据双向同步监控方法，其特征在于，所述设置监控服务器于各个异地机房的步骤具体包括: 设置监控服务器于各个异地机房，并采用GUI界面对所述监控脚本进行部署。6.一种异地机房数据双向同步监控系统，其特征在于，包括: 设置模块，用于设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本； 系统级监控模块，用于控制所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控； 进程级监控模块，用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果； 服务级监控模块，用于控制所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控； 日志级监控模块，用于控制所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控； 推送模块，用于当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。7.根据权利要求6所述的异地机房数据双向同步监控系统，其特征在于， 所述系统级监控模块具体用于控制所述监控服务器对所述异地机房进行系统级监控，并对所述系统级监控中的监控指标设置第一监控开关，获得系统级监控结果； 所述进程级监控模块具体用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，并对所述进程级监控中的监控指标设置第二监控开关，获得进程级监控结果。8.根据权利要求6或7所述的异地机房数据双向同步监控系统，其特征在于，所述监控脚本加载于所述监控服务器的家目录。9.根据权利要求6或7所述的异地机房数据双向同步监控系统，其特征在于，还包括: 监控时间间隔设置模块，用于设置监控时间间隔。10.根据权利要求6或7所述的异地机房数据双向同步监控方法，其特征在于，所述设置模块具体用于设置监控服务器于各个异地机房，并采用GUI界面对所述监控脚本进行部署。
【专利摘要】本发明提供一种异地机房数据双向同步监控方法与系统，设置监控服务器于各个异地机房，监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本，利用监控服务器对异地机房进行系统级监控、进程级监控、服务级监控以及日志级监控，当上述监控有任意一项表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。整个过程中，采用独立的监控服务器，确保数据处理、记录的独立性，并分别从系统级、进程级、服务级以及日志级四个方面进行监控，确保监控全面与可靠，实现对异地机房数据双向同步的全面与可靠监控。
【IPC分类】H04L12/24, H04L12/26, H04L29/08
【公开号】CN105490868
【申请号】CN201510795908
【发明人】成思敏, 章颖, 潘浩, 赵子颖, 赵闪
【申请人】世纪龙信息网络有限责任公司
【公开日】2016年4月13日
【申请日】2015年11月17日
【技术领域】
[0001]本发明涉及数据同步技术领域，特别是涉及异地机房数据双向同步监控方法与系统。
【背景技术】
[0002]当前，在互联网IT领域，服务提供商为了保障线上服务，大多会在多个异地机房部署同一套系统，以备单个机房出现意外时，可继续对外正常提供服务。
[0003]这里就涉及到了异地机房的数据双向同步问题，现有的异地数据双向同步系统一般包含多个组件，如获取数据的组件、数据处理及传输组件、分布式协调组件、同步任务管理组件等，这些组件分布在异地，构成了一个分布式系统。
[0004]而对分布式系统的监控通常存在以下不足:(1)分布式系统包含多个组件使得监控很难做到全面；(2)某个组件出现变动时，监控系统需要跟着修改相应的监控部署。因此，为了保障整套服务正常运行，需要设计一种全面且可靠的监控方法。
【发明内容】
[0005]基于此，有必要针对现有分布式机房数据双向同步监控方式存在监控不全面且可靠性低的问题，提供一种全面且可靠的异地机房数据双向同步监控方法与系统。
[0006]—种异地机房数据双向同步监控方法，包括步骤:
[0007]设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本；
[0008]所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU(中央处理器，Central ProcessingUnit)监控、MEMORY(可记忆性)监控、10(输入输出，Input/Output)监控、SWAP(交换)监控、DISK(磁盘)监控及登录用户数量监控；
[0009]所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果；
[0010]所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN(系统修订号，System ChangeNumber)更新超时监控和异地数据同步自动恢复监控；
[0011 ] 所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控；
[0012]当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。
[0013]—种异地机房数据双向同步监控系统，包括:
[0014]设置模块，用于设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本；
[0015]系统级监控模块，用于控制所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CHJ监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控；
[0016]进程级监控模块，用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果；
[0017]服务级监控模块，用于控制所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控；
[0018]日志级监控模块，用于控制所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控；
[0019]推送模块，用于当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。
[0020]本发明异地机房数据双向同步监控方法与系统，设置监控服务器于各个异地机房，监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本，利用监控服务器对异地机房进行系统级监控、进程级监控、服务级监控以及日志级监控，当上述监控有任意一项表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。整个过程中，采用独立的监控服务器，确保数据处理、记录的独立性，并分别从系统级、进程级、服务级以及日志级四个方面进行监控，确保监控全面与可靠，实现对异地机房数据双向同步的全面与可靠监控。
【附图说明】
[0021]图1为本发明异地机房数据双向同步监控方法其中一个实施例的流程示意图；
[0022]图2为本发明异地机房数据双向同步监控系统其中一个实施例的结构示意图。
【具体实施方式】
[0023]如图1所示，一种异地机房数据双向同步监控方法，包括步骤:
[0024]S100:设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本。
[0025]监控服务器是独立于整个异地机房数据双向同步系统的服务器，其用于整个异地机房数据双向同步过程，其数据记录、存储和处理均独立于整个异地机房数据双向同步系统，这样可以避免异地机房数据双向同步系统中已有服务器对其进行数据干扰，确保监控结果的准确与可靠。服务器的监控脚本可以采用目前常规的异地机房数据双向同步监控的脚本，优选的，可以采用⑶1(图形用户界面，Graphical User Interface)对这些监控脚本进行合理部署。
[0026]S200:所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控。
[0027]所述的系统级监控，包括监控主机存活、主机负载、CPU(中央处理器，CentralProcessing Unit)、MEMORY(可记忆性)、10(输入输出，Input/Output)、SWAP(交换)、DISK(磁盘)及登录用户数量。这里的主机存活是指主机在局域网内网络正常，可以正常与其他主机进行相关通信。主机存活的监控非常重要，因为大多监控都部署在各个组件的自身服务器上，要使监控有效，首先必须保证服务器网络通畅。因此，利用步骤S100在多个异地机房设置监控服务器，监控异地机房中所有相关服务器的存活状态，以实现安全冗余。主机负载、CPU、MEM0RY、10、SWAP、DISK及登录用户数量的监控则直接部署在相关服务器上。
[0028]具体来说，主机存活监控是通过多次ping主机以确定服务器是否工作在网络内，如总共ping主机Μ次均未成功，则ping通比例为0，即可初步判断是系统故障或网络故障，如果ping通比例在0和100%之间，则主要排查网络，当ping通主机的比例小于设定的阈值时，则以短信和邮件的形式通知系统负责人去排查异常。主机存活监控也可依据其他方法进行，如ssh(安全壳协议，Secure Shell)登录，检测特定端口等。
[0029]S300:所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果。
[0030]所述的进程级监控，即监控异地机房数据双向同步中各个组件的进程存活状态。比如分布式协调组件进程，相关数据库进程等。进程监 控主要通过捕捉进程存活的工具来实现，进程级监控也直接部署异地机房中相关服务器上。捕捉进程存活的工具的常用工具包括top、ps等系统工具。
[0031 ] S400:所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控。
[0032]所述的服务级监控，包括服务安全、异地机房数据双向同步服务工作状态、异地数据同步的延迟时间、异地数据同步量、异地数据SCN更新超时和异地数据同步自动恢复等。服务安全监控是通过脚本检查相关服务器的iptables防火墙设置，判断其是否在设计的服务最小安全区域内。如超出最小安全区域，则以短信和邮件的形式发送给系统负责人。异地机房数据双向同步服务工作状态主要包括挂起，定位或正常工作中状态，从分布式协调组件上直接获取数据双向同步服务的状态。由于分布式协调组件上通常记录了各个方向数据同步状态，所以可以充分利用分布式协调组件上记录的信息，如同步对应的通道ID值及同步方向来确定其同步是否正常。异地数据同步的延迟时间是指数据从源库写入到通过异地数据同步系统写出到目标库的时间差，当延迟时间超过指定的阈值时，则以短信和邮件的形式将具体的延迟详情通知系统负责人。异地数据同步量是指各个同步方向中各个同步类型的数据同步量，可以依据同步任务管理组件中的统计功能个性化统计出数据同步量及整套系统的数据增量，当统计的结果超过设定的阈值时，以短信和邮件的形式通知系统负责人。异地数据SCN更新超时是指最后一次SCN的更新时间与当前时间的差值超过了设定的阈值，当出现异地数据SCN更新超时情况时，将具体的超时时间等详情以短信和邮件的形式发送给系统负责人。异地数据同步自动恢复主要是针对网络异常尝试的自动恢复，以减少人肉运维成本，当监控到异地数据同步工作状态异常时，以短信和邮件的形式通知系统负责人，同时触发自动恢复程序，自动恢复程序首先会对监控项进行检查确认，如确定是指定的异常类型，则开启自动恢复，加入自动恢复队列，重启同步，当重启同步结束后，再次检查监控项，如恢复正常，则以短信和邮件的形式通知系统负责人服务已恢复正常。
[0033]S500:所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控。
[0034]所述的日志级监控，包括系统的message日志、异地机房数据双向同步中各个组件的日志、数据库错误日志、定时任务日志、监控日志及各种日志文件大小等。系统的message日志、异地机房数据双向同步中各个组件的日志和数据库错误日志监控是为了方便及时定位异地数据同步的异常。定时任务日志和监控日志是为了保障监控的有效可靠性。各种日志文件大小的监控是对整个监控方法的一种冗余补充，可以在一定程度上发现潜在的危险。
[0035]S600:当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。
[0036]当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果中任意一项表征异地机房数据双向同步异常时，直接生成异常情况报告，推送异常情况报告至用户。监控脚本中产生的各种文件可以以隐藏文件的形式存在，即文件名以点开头，确保数据的安全。另外所述的推送方式可以采用上述的短信和/或邮件方式。
[0037]本发明异地机房数据双向同步监控方法，设置监控服务器于各个异地机房，监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本，利用监控服务器对异地机房进行系统级监控、进程级监控、服务级监控以及日志级监控，当上述监控有任意一项表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。整个过程中，采用独立的监控服务器，确保数据处理、记录的独立性，并分别从系统级、进程级、服务级以及日志级四个方面进行监控，确保监控全面与可靠，实现对异地机房数据双向同步的全面与可靠监控。
[0038]在其中一个实施例中，所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果的步骤具体包括:
[0039]所述监控服务器对所述异地机房进行系统级监控，并对所述系统级监控中的监控指标设置第一监控开关，获得系统级监控结果；
[0040]所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果的步骤具体包括:
[0041]所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，并对所述进程级监控中的监控指标设置第二监控开关，获得进程级监控结果。
[0042]在系统级监控和进程级监控的方法上，为每个监控指标设置了监控开关，对于不同使用用途的服务器可以使用同一套脚本，只需要指定对应的监控开关即可。比如在负责数据处理和传输的组件及负责分布式协调的组件的服务器上部署同一套监控脚本，差别只在于对应的监控开关值不一样。需要指出的是上述第一监控开关和第二监控开关仅用于区分描述，并不对其具体参数进行限定，第一监控开关可以与第二监控开关相同，第一监控开关也可以与第二监控开关不同。
[0043]在其中一个实施例中，所述监控脚本加载于所述监控服务器的家目录。
[0044]家目录是存放root以外的其他所有用户的用户文件目录，监控脚本放在专用监控用户的家目录下，而非监控用户一般没有权限切换到监控用户家目录，这在一定程度上提高了监控脚本的安全指数。
[0045]在其中一个实施例中，所述设置监控服务器于各个异地机房的步骤之后还包括:
[0046]设置监控时间间隔。
[0047]在监控时间间隔上，对不同监控指标可以设置不同的监控时间间隔。比如机器的监控指标A设置为每隔1分钟监控一次，而机器的监控指标B设置为每隔2分钟监控一次，这样灵活地控制了各个监控指标的监控频率。
[0048]在其中一个实施例中，所述设置监控服务器于各个异地机房的步骤具体包括:
[0049]设置监控服务器于各个异地机房，并采用GUI界面对所述监控脚本进行部署。
[0050]在监控部署上，采用GUI界面实现自动化部署，GUI界面和相关监控脚本均放在监控服务器上，对于参数可变的监控脚本，通过GUI界面传参，可以将合适的脚本自动部署到指定服务器的指定目录下。对于不带可变参数的脚本，可以通过GUI界面进行批量自动化部署。
[0051 ]如图2所示，一种异地机房数据双向同步监控系统，包括:
[0052]设置模块100，用于设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本；
[0053]系统级监控模块200，用于控制所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控；
[0054]进程级监控模块300，用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果；
[0055]服务级监控模块400，用于控制所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控；
[0056]日志级监控模块500，用于控制所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述 日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控；
[0057]推送模块600，用于当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。
[0058]本发明异地机房数据双向同步监控系统，设置模块100设置监控服务器于各个异地机房，监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本，系统级监控模块200、进程级监控模块300、服务级监控模块400以及日志级监控模块500分别利用监控服务器对异地机房进行系统级监控、进程级监控、服务级监控以及日志级监控，推送模块600当上述监控有任意一项表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。整个过程中，采用独立的监控服务器，确保数据处理、记录的独立性，并分别从系统级、进程级、服务级以及日志级四个方面进行监控，确保监控全面与可靠，实现对异地机房数据双向同步的全面与可靠监控。
[0059]在其中一个实施例中，所述系统级监控模块200具体用于控制所述监控服务器对所述异地机房进行系统级监控，并对所述系统级监控中的监控指标设置第一监控开关，获得系统级监控结果；
[0060]所述进程级监控模块300具体用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，并对所述进程级监控中的监控指标设置第二监控开关，获得进程级监控结果。
[0061 ]在其中一个实施例中，所述监控脚本加载于所述监控服务器的家目录。
[0062]在其中一个实施例中，所述异地机房数据双向同步监控系统还包括:
[0063 ]监控时间间隔设置模块，用于设置监控时间间隔。
[0064]在其中一个实施例中，所述设置模块100具体用于设置监控服务器于各个异地机房，并采用GUI界面对所述监控脚本进行部署。
[0065]为了更进一步详细解释本发明异地机房数据双向同步监控方法与系统的技术方案及其带来的有益效果，下面将采用实例详细说明。
[0066]在异地机房数据双向同步的运行环境中整个运行环境分为三部分，数据库存储实例集群、双向同步控制组件集群和监控服务器集群。这三部分在各个异地机房都有部署，且一一对应。数据库存储实例集群包括多个数据库实例。双向同步控制集群包括多个同步组件。例如，访问机房A的用户更新的数据可以同步到对应的机房B的数据库中；同样，访问机房B的用户更新的数据也会同步到对应的机房A的数据库中。各机房中的数据保持一致。
[0067]双向同步控制组件集群包含负责获取数据，数据处理及传输的服务器集群，负责分布式协调的服务器集群，负责同步任务管理的服务器集群。数据库存储实例集群是一个水平切分的分布式数据库集群，此运行环境单个机房有N个数据库实例，这样就有N对双向同步的任务。每个集群都有冗余，以防意外发生。
[0068]监控脚本部署在监控服务器或运行环境中的各个主机上。其中，主机存活、异地机房数据同步量、异地同步状态，异地同步延迟时间，SCN更新超时的监控及异常自动恢复等部署在专用服务器上。而系统级监控中的0?1]、腿皿)1^、10、3￥4?以及0131(，日志级监控中的同步组件日志、数据库日志、同步任务日志、监控日志和进程级监控如同步组件进程，数据库进程等部署在各自相关的服务器上。
[0069]监控脚本均部署在对应服务器的定时任务中。监控脚本均部署在专用监控用户家目录下，非专用监控用户一般没有权限切换到监控用户家目录，这在一定程度上提高了监控脚本的安全指数。监控脚本中产生的各种文件以隐藏文件的形式存在，即文件名以点开头。如监控日志则以点开头形成隐藏文件。当出现异常，触发短信及邮件告警时，记录短信及邮件发送情况，如短信及邮件发送时间，发送是否成功等。以日志文件的形式记录，日志文件名也以点开头。
[0070]系统级监控中的主机负载、CPU、MEM0RY、10、SWAP、DISK、登录用户数量和进程级监控部署在所有相关服务器上，包括监控服务器。且所有这些监控指标都写在同一个脚本中，主机负载工?1]、腿觀1^、10、3￥4?、0131(和登录用户数量这些指标是每台服务器都需要监控的，所以它们的监控开关都设置为1，而进程级监控中需要根据每台服务器的个性服务设置不同的开关，比如在分布式协调组件服务器中，在进程级监控上，就只需要打开分布式协调组件的进程监控开关，其他组件的进程开关需关闭。另外，不同监控指标的监控频率可以个性化设置，比如整个脚本执行频率是每N分钟一次，但在脚本中可以控制磁盘的监控离上次监控时间至少间隔Μ分钟，这样磁盘监控的频率就变成了至少隔Μ分钟监控一次。这样使得监控频率可以灵活控制。
[0071 ]主机存活监控部署在监控服务器上，所有监控服务器和运行环境中的主机服务器都是监控对象，监控频率为每Ν分钟一次，主机存活监控采用ping主机的方式，当完全ping不通主机时，可初步判定主机发生系统故障或网络异常，需及时处理。当部分ping不通主机，即出现丢包现象时，需重点排查网络异常。当丢包率达到阈值时，以短信和邮件的形式通知系统负责人，以及时排查故障。只有当两个机房的监控服务器集群同时失效时，主机存活监控才失效。这大大提高了监控的可靠性和冗余性。
[0072]服务安全监控部署在监控服务器上，服务器的防火墙设置，IP鉴权，各个应用服务是否由指定用户启动等都是监控对象。设计有效的最小安全区域，当超出安全区域范围时，通知系统负责人及时关注并更新。监控频率为每Μ分钟一次。
[0073]异地机房数据双向同步服务工作状态的监控也部署在监控服务器上，它不依赖于异地机房数据双向同步各个组件的异常日志，而是与分布式协调组件交互直接获取服务状态值，如挂起状态，定位中状态，正常工作中状态等。服务级监控频率为每Ν分钟一次。
[0074]异地数据同步延迟时间的监控也是根据同步任务管理组件中的统计功能，将计算出的同步延迟时间入库，通过查询数据库以监控延迟时间是否超过设定的阈值。异地数据同步延迟时间的监控也部署在监控服务器上，监控频率为每Μ分钟一次。
[0075]异地机房的数据同步量及数据增量是根据同步任务管理组件中的统计功能，进行个性化统计，比如统计每Ν分钟各个数据库实例的同步量，将统计得到的值入库，通过直接查询数据库可以监控到同步量是否超过了设定的阈值。因此，可以在监控服务器上部署一个专门用于统计同步量的数据库实例，并对其统计的结果进行监控。数据同步量的监控也部署在监控服务器上。监控频率为每Μ分钟一次。
[0076]异地数据SCN更新超时的监控是通过对比当前时间点与SCN最新更新的时间点的差值来实现，SCN最新更新的时间点可以通过分布式协调组件获取，当异地数据SCN更新超时达到指定的阈值时，通知系统负责人。异地数据SCN更新超时的监控也部署在专用服务器上，监控频率为每Μ分钟一次。
[0077]异地数据同步自动恢复主要依赖于同步任务管理组件，当监测到指定同步异常时，触发异地数据同步自动恢复程序，即通过同步任务管理组件完成数据同步重启。重启同步结束后，需再次检查监控项，如恢复正常，则以短信和邮件的形式通知系统负责人。如重启失败，也需将失败详情通知系统负责人。异地数据同步自动恢复程序部署在监控服务器上。
[0078]日志级监控包括监控系统的message日志、异地机房数据双向同步中各个组件的日志、数据库错误日志、定时任务日志、监控日志及各种日志文件大小等，日志级监控部署在相关服务所在的服务器上。异常日志是通过抓取异常关键字进行监控，并将抓取到的异常关键字的记录条数记录到一个指定文件中。当抓取到新产生的异常关键字时，将其翻译为易理解的异常描述发送给系统负责人。日志级监控频率为每N分钟一次，其触发告警的条件是某次监控抓取到异常关 键字的记录条数大于上次监控抓取到的异常关键字的记录条数，如满足条件则以短信和邮件的形式通知系统负责人近期有新产生的异常情况出现。同时将新的异常信息记录条数记录到指定文件中。日志文件大小的阈值是根据监控经分管理推出的经验值来确定。
[0079]系统负载饱和度的计算方法可以依据系统CPU、10、MEM0RY以及数据同步量指标进行设计，当达到阈值时，以短信和邮件的形式将系统负载饱和度的状态通知系统负责人，方便系统负责人进行系统扩展。
[0080]监控管理平台中的监控经分管理，指标管理，短信邮件管理等为整个监控方法不断调优打下基础。如监控经分管理中记录的各种类型的告警详情，方便系统管理员对相关系统的异常信息进行统计，寻找异常规律，发现潜在的异常风险。如日志文件按每天固定时间归档，则正常服务情况下每天的日志文件大小有一定的范围，系统管理员则可以依据这个范围设计日志大小的告警阈值。
[0081]为提高监控部署的便利性，通过GUI界面实现自动化监控部署。对于参数可变的监控，如系统级和进程级监控脚本中的监控开关参数，通过GUI界面传参，将合适的脚本自动推送到指定服务器的指定目录下，对于不带可变参数的脚本，如异地机房数据双向同步组件的日志级监控，则通过GUI界面进行批量自动化部署。
[0082]当添加了新的异地机房数据同步组件，如获取数据组件，数据处理及传输组件时，此时服务级监控不需要调整。可以通过GUI界面部署对应的系统级监控、进程级监控以及日志级监控。
[0083]当添加了新的数据库实例用于异地机房数据双向同步时，在服务级监控上，只需要添加新数据库实例双向同步的同步状态和同步量的监控。同时部署对应的系统级、进程级以及日志级监控。
[0084]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种异地机房数据双向同步监控方法，其特征在于，包括步骤: 设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本； 所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控； 所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果； 所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控； 所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控； 当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。2.根据权利要求1所述的异地机房数据双向同步监控方法，其特征在于， 所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果的步骤具体包括: 所述监控服务器对所述异地机房进行系统级监控，并对所述系统级监控中的监控指标设置第一监控开关，获得系统级监控结果； 所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果的步骤具体包括: 所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，并对所述进程级监控中的监控指标设置第二监控开关，获得进程级监控结果。3.根据权利要求1或2所述的异地机房数据双向同步监控方法，其特征在于，所述监控脚本加载于所述监控服务器的家目录。4.根据权利要求1或2所述的异地机房数据双向同步监控方法，其特征在于，所述设置监控服务器于各个异地机房的步骤之后还包括: 设置监控时间间隔。5.根据权利要求1或2所述的异地机房数据双向同步监控方法，其特征在于，所述设置监控服务器于各个异地机房的步骤具体包括: 设置监控服务器于各个异地机房，并采用GUI界面对所述监控脚本进行部署。6.一种异地机房数据双向同步监控系统，其特征在于，包括: 设置模块，用于设置监控服务器于各个异地机房，其中，所述监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本； 系统级监控模块，用于控制所述监控服务器对所述异地机房进行系统级监控，获得系统级监控结果，其中，所述系统级监控包括主机存活监控、主机负载监控、CPU监控、MEMORY监控、10监控、SWAP监控、DISK监控及登录用户数量监控； 进程级监控模块，用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，获得进程级监控结果； 服务级监控模块，用于控制所述监控服务器对所述异地机房进行服务级监控，获得服务级监控结果，其中，所述服务级监控包括服务安全监控、异地机房数据双向同步服务工作状态监控、异地数据同步的延迟时间监控、异地数据同步量监控、异地数据SCN更新超时监控以及异地数据同步自动恢复监控； 日志级监控模块，用于控制所述监控服务器对所述异地机房进行日志级监控，获得日志级监控结果，其中，所述日志级监控包括系统的message日志监控、异地机房数据双向同步中各个组件的日志监控、数据库错误日志监控、定时任务日志监控、监控日志以及日志文件大小监控； 推送模块，用于当所述系统级监控结果、所述进程级监控结果、所述服务级监控结果或所述日志级监控结果表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。7.根据权利要求6所述的异地机房数据双向同步监控系统，其特征在于， 所述系统级监控模块具体用于控制所述监控服务器对所述异地机房进行系统级监控，并对所述系统级监控中的监控指标设置第一监控开关，获得系统级监控结果； 所述进程级监控模块具体用于控制所述监控服务器通过捕捉进程存活的工具对所述异地机房进行进程级监控，并对所述进程级监控中的监控指标设置第二监控开关，获得进程级监控结果。8.根据权利要求6或7所述的异地机房数据双向同步监控系统，其特征在于，所述监控脚本加载于所述监控服务器的家目录。9.根据权利要求6或7所述的异地机房数据双向同步监控系统，其特征在于，还包括: 监控时间间隔设置模块，用于设置监控时间间隔。10.根据权利要求6或7所述的异地机房数据双向同步监控方法，其特征在于，所述设置模块具体用于设置监控服务器于各个异地机房，并采用GUI界面对所述监控脚本进行部署。
【专利摘要】本发明提供一种异地机房数据双向同步监控方法与系统，设置监控服务器于各个异地机房，监控服务器内加载有用于监控所述异地机房中已部署服务器的监控脚本，利用监控服务器对异地机房进行系统级监控、进程级监控、服务级监控以及日志级监控，当上述监控有任意一项表征异地机房数据双向同步异常时，生成异常情况报告，推送所述异常情况报告至用户。整个过程中，采用独立的监控服务器，确保数据处理、记录的独立性，并分别从系统级、进程级、服务级以及日志级四个方面进行监控，确保监控全面与可靠，实现对异地机房数据双向同步的全面与可靠监控。
【IPC分类】H04L12/24, H04L12/26, H04L29/08
【公开号】CN105490868
【申请号】CN201510795908
【发明人】成思敏, 章颖, 潘浩, 赵子颖, 赵闪
【申请人】世纪龙信息网络有限责任公司
【公开日】2016年4月13日
【申请日】2015年11月17日
最新回复(0)