一种通信设备的日志缓存方法及系统的制作方法

一种通信设备的日志缓存方法及系统的制作方法
【技术领域】
[0001] 本发明涉及通信技术领域，具体涉及一种通信设备的日志缓存方法及系统。
【背景技术】
[0002] 随着通信技术的迅猛发展，电信业务向综合化、数字化、智能化、宽带化和个人化 方向发展，人们对电信业务多样化的需求越来越高，尤其是对话音、数据、图像等业务一线 接入的要求也不断提高，因此，基于接入网用户侧的通信设备要承担越来越多的业务需求， 随之而产生的网络管理需求也更为复杂。同时，语音、图像等实时业务的大量应用，使得电 信运营商必须对各通信设备的运行状态进行实时监控。
[0003] 在此背景下，通信设备不仅要将自身运行的日志信息进行详细的记录，便于用户 对各种业务进行跟踪查询，还要将重要的运行状态信息，如故障告警等信息，通过日志的形 式实时上报给远端的网络管理系统，使之便于对各通信设备进行远程监控。因此，通信设备 除了要承担记录自身运行的日志信息的功能，还要承担日志的实时上报功能，这就要求设 备对日志的处理和管理能够更加便捷和快速。
[0004] 目前通信设备的日志记录实体偏向于日志的接收、分析和存储，无法保证日志的 快速接收处理，对重要日志，尤其是故障告警等实时性要求很高的日志不能做到及时上报， 因此，急需一种通信设备的日志缓存方法，既能保证日志的存储功能，也可以满足日志实时 上报的要求。

【发明内容】

[0005] 本发明所要解决的技术问题是解决通信设备无法保证日志的快速接收处理，对于 实时性要求较高的日志不能做到及时上报的问题。
[0006] 为了解决上述技术问题，本发明所采用的技术方案是提供一种通信设备的日志缓 存方法，包括以下步骤：
[0007] 步骤101 :将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
[0008] 步骤102 :读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取 出特征信息；
[0009] 步骤103 :根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需 要上报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的日 志信息，将日志信息发送到远程网管，转步骤102 ;若不需要上报，则判断日志信息是否需 要本地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二级本地缓冲 区中的日志信息，对日志信息进行本地记录，转步骤102 ;若不需要本地记录，则直接转步 骤 102〇
[0010] 在上述技术方案中，可根据实际的运行环境设置和调整所述日志缓冲区的大小、 读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲 区的读取间隔相等。
[0011] 在上述技术方案中，所述日志信息均采用统一格式的结构体，所述结构体中包括 日志类型、日志类别、日志级别特征信息。
[0012] 在上述技术方案中，所述方法还包括：当所述日志信息同时需要上报和本地记录 时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
[0013] 本发明还提供了一种通信设备的日志缓存系统，包括：
[0014] 划分单元，将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲 区；
[0015] 信息处理单元，读取所述一级缓冲区中来自各功能模块的日志信息，并从日志信 息中提取出特征信息；
[0016] 判断单元，根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需 要上报，若需要上报，则发送日志信息到所述二级上报缓冲区，然后读取所述二级上报缓冲 区中的日志信息，将日志信息发送到远程网管，执行信息处理单元；若不需要上报，则判断 日志信息是否需要本地记录，若需要本地记录，则发送日志信息到所述二级本地缓冲区，然 后读取所述二级本地缓冲区中的日志信息，对日志信息进行本地记录，执行所述信息处理 单元；若不需要本地记录，则再次执行所述信息处理单元。
[0017] 在上述技术方案中，还包括第一设置单元，根据实际的运行环境设置和调整所述 日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取 间隔与所述一级缓冲区的读取间隔相等。
[0018] 在上述技术方案中，还包括第二设置单元，设置所述日志信息均采用统一格式的 结构体，所述结构体中包括日志类型、日志类别、日志级别特征信息。
[0019] 在上述技术方案中，当所述判断单元判断日志信息同时需要上报和本地记录时， 将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
[0020] 本发明，通过将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲 区，根据从日志信息中提取出的特征信息和本地网管预先设定的条件参数判断日志信息是 否需要上报，若需要上报则发送日志信息到二级上报缓冲区，上报日志信息到远程网管，并 返回读取日志信息；若不需要上报则判断日志信息是否需要本地记录，若需要本地记录则 发送日志信息到二级本地缓冲区，进行本地记录，并返回读取日志信息；若不需要本地记录 则直接返回读取日志信息，该方案大大提高了日志的实时上报效率，保证了日志的快速接 收处理。
【附图说明】
[0021] 图1为本发明实施例提供的一种通信设备的日志缓存方法流程图；
[0022] 图2为本发明实施例提供的一级缓冲区对日志上报条件进行判断的具体方法流 程图；
[0023] 图3为本发明实施例提供的一级缓冲区对日志本地记录条件进行判断的具体方 法流程图；
[0024] 图4为本发明实施例提供一种通信设备的日志缓存系统的示意图。
【具体实施方式】
[0025] 下面结合说明书附图和【具体实施方式】对本发明做出详细的说明。
[0026] 本发明实施例提供了一种通信设备的日志缓存方法，如图1所示，所述方法包括 以下步骤：
[0027] 步骤101、将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区。
[0028] 步骤102、读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出 特征信息。
[0029] 可选的，一级缓冲区可为日志信息加上时间戳。
[0030] 为提高日志的处理效率，输入日志缓冲区的日志信息均采用统一格式的结构体， 结构体中包括日志类型（上报或本地记录）、日志类别（告警、流量等分类）、日志级别等特 征信息。
[0031] 步骤103、根据特征信息和本地网管（用户）预先设定的条件参数，判断日志信息 是否需要上报，若需要上报，则执行步骤104;否则，执行步骤106。
[0032] 步骤104、将日志信息发送到二级上报缓冲区，读取二级上报缓冲区中的日志信 息。
[0033] 步骤105、将日志信息组装为符合syslog协议规范的UDP报文，发送到远程网管 (日志服务器），转步骤102。
[0034] 步骤106、根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要 本地记录，若需要本地记录，则执行步骤107;否则，执行步骤102。
[0035] 步骤107、将日志信息发送到二级本地缓冲区，读取二级本地缓冲区中的日志信 息。
[0036] 步骤108、对日志信息进行本地记录，转步骤102。
[0037] 需要说明的是，在以上操作步骤中，同一个日志可能既需要上报也需要本地记录， 此时，将日志信息同时发送给二级上报缓冲区和二级本地缓冲区进行相应的处理。
[0038] 如图2所示，一级缓冲区对日志上报条件进行判断（步骤103)的【具体实施方式】 为：
[0039] 步骤201、从日志信息中提取出特征信息。
[0040] 步骤202、根据特征信息判断日志类型是否为上报，若是，则执行步骤203;否则， 执行步骤206。
[0041] 步骤203、判断日志类别对应的配置是否允许上报，若是，则执行步骤204 ;否则， 执行步骤206。
[0042] 步骤204、判断日志级别是否满足上报要求，若是，则执行步骤205 ;否则，执行步 骤 20 6。
[0043] 步骤205、将日志信息发送到二级上报缓冲区进行上报。
[0044] 步骤206、结束。
[0045] 如图3所示，一级缓冲区对日志本地记录条件进行判断（步骤106)的具体实施方 式为：
[0046] 步骤301、从日志信息中提取出特征信息。
[0047] 步骤302、根据特征信息判断日志级别是否满足本地记录的要求，若是，则执行步 骤303;否则，执行步骤306。
[0048] 步骤303、判断日志类别对应的配置是否允许记录日志，若是，则执行步骤304 ;否 贝1J，执行步骤306。
[0049] 步骤304、判断日志级别是否满足对应模块的要求，若是，则执行步骤305 ;否则， 执行步骤306。
[0050] 步骤305、将日志信息发送到二级本地缓冲区进行本地记录。
[0051] 步骤306、结束。
[0052] 一般情况下，针对日志上报或本地记录的判断条件均来自于日志结构体本身，不 能来自于日志正文解析后的内容，如上述步骤202中的判断条件，直接来自于日志结构体 中的日志类型信息。
[0053] 关于缓冲区大小和读取间隔：各缓冲区采用循环方式记录日志，当日志写入条目 超过缓冲区容量时，直接将最新日志覆盖到起始日志所在位置，所以必须在缓冲区写满之 前，尽快将日志信息读出，否则，会造成日志信息的丢失。为此，缓冲区读取日志采用批量方 式读取，各缓冲区根据自己的处理能力设定一次批量读取最多的日志的数量。
[0054] 本方案，将日志缓冲区划分成两级缓冲区，分别是一级缓冲区、二级上报缓冲区和 二级本地缓冲区，两次缓冲区采用不同的处理周期和缓冲区大小，原则上，二级缓冲区的处 理周期比一级缓冲区的处理周期要长，二级缓冲区要比一级缓冲区大，一级缓冲区的处理 过程只进行必要的判断工作，就将日志丢入二级缓冲区，以保证一级缓冲区接收的来自各 功能模块的日志信息能够得到尽快处理，避免日志信息丢失，较快的处理速度也避免了对 各处理模块发送日志的动作发生阻塞。二级缓冲区的作用是处理日志信息并记录或上报， 耗时较多，因此，必须适当的放宽缓冲区大小和处理周期。
[0055] 根据以上原则，本实施例中，各级缓冲区大小、读取间隔和一次读取日志数量的设 置如表1所示，这些参数的取值是在本实施例所处运行环境下经过不断测试调整后的结 果，既满足本发明的功能要求和运行效率，也不会对设备的性能造成太大影响。
[0056] 表1.日志缓冲区基本参数配置 [00571
[0058] 在配置上述日志缓冲区的参数时，由于一级缓冲区所加的时间戳最小粒度为ls， 所以其读取间隔设置为ls，而上报日志属于对日志进行处理的重点内容，所以在通信设备 性能能够承受的情况下，二级上报缓冲区的读取间隔设置为和一级缓冲区的读取间隔相 等。
[0059] 本实施例中，一级缓冲区在处理日志信息时允许不加时间戳，仅对日志类型进行 判断后进行后续处理，在此条件下，一级缓冲区和二级上报缓冲区的读取间隔还可以适当 的缩短，进一步提高日志的实时上报效率，保证日志的处理效率。
[0060] 本发明实施例还提供了一种通信设备的日志缓存系统，如图4所示，包括：
[0061] 划分单元10,将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲 区；
[0062] 信息处理单元20,读取一级缓冲区中来自各功能模块的日志信息，并从日志信息 中提取出特征信息；
[0063] 判断单元30,根据特征信息和本地网管预先设定的条件参数，判断日志信息是否 需要上报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的 日志信息，将日志信息发送到远程网管，执行信息处理单元20 ;若不需要上报，则判断日志 信息是否需要本地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二 级本地缓冲区中的日志信息，对日志信息进行本地记录，执行信息处理单元20 ;若不需要 本地记录，则再次执行信息处理单元20。
[0064] 本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结 构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。
【主权项】
1. 一种通信设备的日志缓存方法，其特征在于，包括以下步骤： 步骤101 :将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区； 步骤102 :读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特 征信息； 步骤103 :根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上 报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的日志信 息，将日志信息发送到远程网管，转步骤102 ;若不需要上报，则判断日志信息是否需要本 地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二级本地缓冲区 中的日志信息，对日志信息进行本地记录，转步骤102 ;若不需要本地记录，则直接转步骤 102〇2. 如权利要求1所述的方法，其特征在于，可根据实际的运行环境设置和调整所述日 志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间 隔与所述一级缓冲区的读取间隔相等。3. 如权利要求1所述的方法，其特征在于，所述日志信息均采用统一格式的结构体，所 述结构体中包括日志类型、日志类别以及日志级别特征信息。4. 如权利要求1所述的方法，其特征在于，所述方法还包括： 当所述日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上 报缓冲区和所述二级本地缓冲区。5. -种通信设备的日志缓存系统，其特征在于，包括： 划分单元，将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区； 信息处理单元，读取所述一级缓冲区中来自各功能模块的日志信息，并从日志信息中 提取出特征信息； 判断单元，根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上 报，若需要上报，则发送日志信息到所述二级上报缓冲区，然后读取所述二级上报缓冲区中 的日志信息，将日志信息发送到远程网管，执行所述信息处理单元；若不需要上报，则判断 日志信息是否需要本地记录，若需要本地记录，则发送日志信息到所述二级本地缓冲区，然 后读取所述二级本地缓冲区中的日志信息，对日志信息进行本地记录，执行所述信息处理 单元；若不需要本地记录，则再次执行所述信息处理单元。6. 如权利要求5所述的系统，其特征在于，还包括第一设置单元，根据实际的运行环境 设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上 报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。7. 如权利要求5所述的系统，其特征在于，还包括第二设置单元，设置所述日志信息均 采用统一格式的结构体，所述结构体中包括日志类型、日志类别、日志级别特征信息。8. 如权利要求5所述的系统，其特征在于，当所述判断单元判断日志信息同时需要上 报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲 区。
【专利摘要】本发明公开了一种通信设备的日志缓存方法及系统，该方法包括以下步骤：将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；读取一级缓冲区中的日志信息，并从日志信息中提取出特征信息；根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，返回读取日志信息；若不需要上报，则判断日志信息是否需要本地记录，若需要，则发送日志信息到二级本地缓冲区，对日志信息进行本地记录，返回读取日志信息；若不需要，则返回读取日志信息。本发明，大大提高了日志的实时上报效率，保证了日志的快速接收处理。
【IPC分类】H04L12/26, H04L12/24
【公开号】CN104883275
【申请号】CN201510248670
【发明人】陈亚亚, 符永锐, 李静, 聂建平
【申请人】烽火通信科技股份有限公司
【公开日】2015年9月2日
【申请日】2015年5月15日