一种日志检索方法及相关装置与流程

xiaoxiao11月前  71


本申请涉及金融技术中的数据检索,尤其涉及一种日志检索方法及相关装置。


背景技术:

1、在数据处理任务量不断增加的背景下,由于分布式系统能够更快的处理数据,因此分布式系统的使用频率越来越高。

2、分布式系统中的每个服务器设备会产生日志,日志可作为排查故障以及预防故障的主要手段。因此,后续需要对日志进行检索。目前,在分布式系统中进行日志检索时,需要依次调取每一服务器设备的日志,并进行检索操作,日志检索效率低,降低用户体验。


技术实现思路

1、鉴于上述问题,本申请提供了一种日志检索方法及相关装置,以实现提高日志检索效率的目的。具体方案如下:

2、本申请第一方面提供一种日志检索方法,包括:

3、获取检索请求,所述检索请求包括服务器标识以及查询参数;

4、确定所述服务器标识对应的目标服务器的逻辑文件;所述逻辑文件包括不同时间周期的摘要区数据和索引区数据;所述摘要区数据包括所述时间周期内的关键日志信息;所述索引区数据包括所述关键日志信息的索引信息;

5、利用所述查询参数,对所述目标服务器的逻辑文件进行检索,得到第一检索结果;

6、若所述第一检索结果不为空,输出所述第一检索结果;

7、若所述第一检索结果为空,对所述目标服务器存储的日志进行检索,得到第二检索结果,输出所述第二检索结果。

8、在一种可能的实现中,所述目标服务器的逻辑文件的生成过程包括:

9、对所述目标服务器的日志文件添加修订监控,以获取所述日志文件的修正内容;

10、确定所述修正内容中,观察窗口对应的子内容的逻辑文件;所述观察窗口的时间固定;

11、基于每一所述观察窗口的逻辑文件,确定观察窗口集合的逻辑文件,所述观察窗口集合包括多个位于同一时间周期内的需合并的观察窗口;

12、基于所述观察窗口集合的逻辑文件,确定所述目标服务器的逻辑文件。

13、在一种可能的实现中,确定所述修正内容中,观察窗口对应的子内容的逻辑文件,包括:

14、获取所述修正内容中,观察窗口对应的子内容;

15、对所述子内容进行拆分操作,得到多个数据部分;

16、从所述多个数据部分中,确定出现目标关键词的次数最多的目标数据部分,所述目标关键词为所述观察窗口对应的子内容中,出现次数最多的关键词;

17、将所述目标数据部分作为所述观察窗口对应的子内容的摘要区数据;

18、将所述目标数据部分的索引信息作为所述观察窗口对应的子内容的索引区数据;

19、将所述观察窗口对应的子内容的摘要区数据和索引区数据组合得到所述观察窗口对应的子内容的逻辑文件。

20、在一种可能的实现中,基于每一所述观察窗口的逻辑文件,确定观察窗口集合的逻辑文件,包括:

21、获取观察窗口集合中的每一观察窗口对应的日志;

22、统计所述观察窗口对应的日志中预设词语的出现次数;

23、基于所述预设词语的出现次数,从所述观察窗口集合包括的所有观察窗口中筛选出目标观察窗口;

24、将所述目标观察窗口的逻辑文件作为所述观察窗口集合的逻辑文件。

25、在一种可能的实现中,所述查询参数包括查询日期和查询内容;

26、利用所述查询参数,对所述目标服务器的逻辑文件进行检索,得到第一检索结果,包括:

27、从所述目标服务器的逻辑文件中,确定出所述查询参数中的查询日期对应的逻辑文件;

28、基于所述查询参数中的查询内容,对所述查询日期对应的逻辑文件进行检索,得到第一检索结果。

29、在一种可能的实现中,对所述目标服务器存储的日志进行检索,得到第二检索结果,包括:

30、将所述检索请求通过指定服务器转发至所述目标服务器,以使所述目标服务器基于所述查询参数,对内部存储的日志进行检索,得到检索子结果;所述指定服务器为所述目标服务器中的一个;

31、将所述检索子结果按照与所述查询参数的相似度进行排序,得到第二检索结果。

32、在一种可能的实现中,输出所述第二检索结果,包括:

33、为所述第二检索结果中的各个检索结果添加索引;

34、输出添加有索引的第二检索结果。

35、本申请第二方面提供一种日志检索装置,包括:

36、请求获取模块,用于获取检索请求,所述检索请求包括服务器标识以及查询参数;

37、文件确定模块,用于确定所述服务器标识对应的目标服务器的逻辑文件;所述逻辑文件包括不同时间周期的摘要区数据和索引区数据;所述摘要区数据包括所述时间周期内的关键日志信息;所述索引区数据包括所述关键日志信息的索引信息;

38、第一检索模块,用于利用所述查询参数,对所述目标服务器的逻辑文件进行检索,得到第一检索结果;

39、结果输出模块,用于若所述第一检索结果不为空,输出所述第一检索结果;

40、第二检索模块,用于若所述第一检索结果为空,对所述目标服务器存储的日志进行检索,得到第二检索结果,输出所述第二检索结果。

41、本申请第三方面提供一种电子设备,包括至少一个处理器和与所述处理器连接的存储器,其中:

42、所述存储器用于存储计算机程序;

43、所述处理器用于执行所述计算机程序,以使所述电子设备能够实现上述的日志检索方法。

44、本申请第四方面提供一种计算机存储介质,所述存储介质承载有一个或多个计算机程序,当所述一个或多个计算机程序被电子设备执行时,能够使所述电子设备实现上述的日志检索方法。

45、借由上述技术方案,本申请提供了一种日志检索方法及相关装置,本申请中,在进行日志检索时,目标服务器的逻辑文件中存储有关键日志信息,先对目标服务器的逻辑文件进行检索,若是能够通过逻辑文件检索到第一检索结果,则直接输出第一检索结果,提高检索效率。若是第一检索结果为空,则对所述目标服务器存储的日志进行检索,得到第二检索结果,输出所述第二检索结果,为用户提供需求数据,提高用户体验。



技术特征:

1.一种日志检索方法,其特征在于,包括:

2.根据权利要求1所述的日志检索方法,其特征在于,所述目标服务器的逻辑文件的生成过程包括:

3.根据权利要求2所述的日志检索方法,其特征在于,确定所述修正内容中,观察窗口对应的子内容的逻辑文件,包括:

4.根据权利要求2所述的日志检索方法,其特征在于,基于每一所述观察窗口的逻辑文件,确定观察窗口集合的逻辑文件,包括:

5.根据权利要求1所述的日志检索方法,其特征在于,所述查询参数包括查询日期和查询内容;

6.根据权利要求1所述的日志检索方法,其特征在于,对所述目标服务器存储的日志进行检索,得到第二检索结果,包括:

7.根据权利要求1所述的日志检索方法,其特征在于,输出所述第二检索结果,包括:

8.一种日志检索装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括至少一个处理器和与所述处理器连接的存储器,其中:

10.一种计算机存储介质,其特征在于,所述存储介质承载有一个或多个计算机程序,当所述一个或多个计算机程序被电子设备执行时,能够使所述电子设备实现如权利要求1至7中任意一项所述的日志检索方法。


技术总结
本申请提供了一种日志检索方法及相关装置,可应用于分布式领域金融领域。本申请中,在进行日志检索时,目标服务器的逻辑文件中存储有关键日志信息,先对目标服务器的逻辑文件进行检索,若是能够通过逻辑文件检索到第一检索结果,则直接输出第一检索结果,提高检索效率。若是第一检索结果为空,则对所述目标服务器存储的日志进行检索,得到第二检索结果,输出所述第二检索结果,为用户提供需求数据,提高用户体验。

技术研发人员:李秦禾子
受保护的技术使用者:中国银行股份有限公司
技术研发日:
技术公布日:2024/9/23

最新回复(0)