实时日志收集方法、系统和应用服务器集群的制作方法
实时日志收集方法、系统和应用服务器集群的制作方法
【技术领域】
[0001]本发明涉及互联网技术领域，尤其涉及一种实时日志收集方法、系统和应用服务器集群。
【背景技术】
[0002]对于大型互联网门户，每天都有上千万用户的访问量。可以通过收集和记录用户对网站功能的消费，然后对这些消费进行离线分析，为网站更好地向用户提供个性化服务提供数据依据。并且，还可以为网安在应对网络热门事件或突发事件时提供调查依据。
[0003]传统收集日志的方法是通过前端(客户端)在网页中添加JavaScript脚本，事先确定动作属性(例如播放视频和发布视频等)，将用户的点击动作汇总到远程服务器来分析。这种方法存在能够通过模拟用户行为来捏造点击数据等的缺陷。
[0004]目前还有一种收集日志的方法，在后端生成日志后，通过scp命令上传、下载或通过rsync命令定时同步等方式收集汇总，然后通过机器脚本分析、或者人工观察统计、或者图形绘制等方式来分析。这种方法的实时性较差。
[0005]另外，由于上述两种方法均需要人工干预，因此对数据规模的适用性较差，无法支持网站持续发展产生的大量日志，并且人工干预过多，不能保证较高的准确性。
【发明内容】
[0006]技术问题
[0007]有鉴于此，本发明要解决的技术问题是，如何快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
[0008]解决方案
[0009]根据本发明的一个方面，提供了一种实时日志收集方法，用于收集用户行为日志，包括:在用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本;在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从所述用户终端向实时日志收集系统的第一接收源发送所述HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项；以及所述第一接收源将所述HTTP请求经由所述实时日志收集系统的第一卡夫卡Kaf ka通道发送至存储系统。
[0010]对于上述实时日志收集方法，在一种可能的实现方式中，在所述第一接收源接收到从所述用户终端发送的所述HTTP请求之后，还包括:所述实时日志收集系统的拦截器根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。
[0011 ]对于上述实时日志收集方法，在一种可能的实现方式中，还包括:第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项;所述实时日志收集系统的代理模块在检测到存在所述日志文件的情况下，将所述日志文件发送至所述实时日志收集系统的第二接收源；以及所述第二接收源将所述日志文件经由所述实时日志收集系统的第二Kaf ka通道发送至所述存储系统。
[0012]对于上述实时日志收集方法，在一种可能的实现方式中，还包括:所述实时日志收集系统的拦截器根据所述日志文件统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。
[0013]对于上述实时日志收集方法，在一种可能的实现方式中，所述存储系统包括分布式文件系统和/或数据库。
[0014]根据本发明的另一个方面，提供了一种实时日志收集系统，用于收集用户行为日志，包括:第一接收源，与用户终端连接，用于从所述用户终端接收包括与临时用户行为相关的临时日志信息的HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项，其中，在所述用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成所述HTTP请求；以及第一Kafka通道，与所述第一接收源连接，用于从所述第一接收源接收所述HTTP请求，并发送至存储系统。
[0015]对于上述实时日志收集系统，在一种可能的实现方式中，还包括:拦截器，与所述第一接收源和所述第一Kafka通道分别连接，用于从所述第一接收源拦截所述HTTP请求；以及分析模块，与所述拦截器连接，用于从所述拦截器接收所述HTTP请求，并根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。
[0016]对于上述实时日志收集系统，在一种可能的实现方式中，还包括:代理模块，与第二应用服务器连接，用于检测是否存在日志文件，在检测到存在所述日志文件的情况下，获取所述日志文件，其中，第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成所述日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项;第二接收源，与所述代理模块连接，用于从所述代理模块接收所述日志文件；以及第二Kaf ka通道，与所述第二接收源连接，用于从所述第二接收源接收所述日志文件，并发送至所述存储系统。
[0017]对于上述实时日志收集系统，在一种可能的实现方式中，所述拦截器还与所述第二接收源和所述第二 Kafka通道分别连接，并且用于从所述第二接收源拦截所述日志文件；所述分析模块还用于统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。
[0018]根据本发明的又一个方面，提供了一种应用服务器集群，包括第一应用服务器，所述第一应用服务器包括:脚本设置模块，与所述用户终端连接，用于预设日志记录脚本；网页提供模块，与所述用户终端连接，用于为所述用户终端提供网页服务;控制模块，与所述用户终端连接，用于在所述用户终端打开所述网页提供模块所提供网页的情况下，控制所述用户终端运行所述日志记录脚本；以及HTTP请求生成模块，与所述用户终端连接，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项。
[0019]对于上述应用服务器集群，在一种可能的实现方式中，还包括多个第二应用服务器，其中，各所述第二应用服务器包括:记录模块，用于记录与用户行为相关的行为属性；以及日志文件生成模块，与所述记录模块连接，用于将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项。
[0020]有益效果
[0021]通过在用户终端预先设置日志记录脚本，并在用户终端打开特定网页的情况下，运行该日志记录脚本，在日志记录脚本检测到用户进行设定的临时用户行为的情况下，生成包括与临 时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从所述用户终端向实时日志收集系统的第一接收源发送所述HTTP请求，第一接收源将HTTP请求经由实时日志收集系统的第一卡夫卡Kafka通道发送至存储系统。根据本发明实施例的实时日志收集方法、实时日志收集系统和应用服务器集群能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
[0022]根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。
【附图说明】
[0023]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
[0024]图1示出根据本发明一实施例的实时日志收集方法的流程示意图；
[0025]图2示出根据本发明另一实施例的实时日志收集方法的流程示意图；
[0026]图3示出根据本发明又一实施例的实时日志收集方法的流程示意图；
[0027]图4示出根据本发明一实施例的实时日志收集系统的结构框图；
[0028]图5示出根据本发明一实施例的应用服务器集群的结构框图。
【具体实施方式】
[0029]以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0030]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0031]另外，为了更好的说明本发明，在下文的【具体实施方式】中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
[0032]实施例1
[0033]图1示出根据本发明一实施例的实时日志收集方法的流程图。如图1所示，该实时日志收集方法主要可以包括:步骤SllO至步骤S130。
[0034]具体地，步骤S110、在用户终端打开第一应用服务器所提供网页的情况下，第一应用服务器控制所述用户终端运行预设的日志记录脚本。其中，该日志记录脚本可以是为了记录某一临时上线的活动或者关注的活动的用户行为信息而设置的，临时上线的活动例如可以是限时秒杀抢购活动等，关注的活动例如可以是播放特定的视频等。
[0035]步骤S120、在日志记录脚本检测到用户进行设定的临时用户行为的情况下，生成包括与临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从用户终端向实时日志收集系统的第一接收源发送HTTP请求。其中，临时日志信息可以包括用户终端的IP地址、进行临时用户行为的时间和用户ID中的至少一项。
[0036]步骤S130、第一接收源将HTTP请求经由实时日志收集系统的第一卡夫卡Kafka通道发送至存储系统。
[0037]这样，根据本发明上述实施例的实时日志收集方法能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
[0038]在一种可能的实现方式中，实时日志收集系统优选Flume系统，该系统是Cloudera提供的一个高可用、高可靠的分布式的海量日志采集、聚合和传输的系统。
[0039]在一种可能的实现方式中，所述存储系统可以包括分布式文件系统和/或数据库。分布式文件系统可以优选Hadoop分布式文件系统(HDFS)，数据块可以优选Infobright这一开源的类MySQL的数据仓库。
[0040]在一种可能的实现方式中，如图2所示，在步骤S120之后，还可以包括:步骤S140、实时日志收集系统的拦截器根据所述HTTP请求，统计第一时间间隔内进行临时用户行为的次数。当然，也可以统计第一时间间隔内进行该临时用户行为的用户ID和IP地址等，也可以统计进行该临时用户次数较多或较少的时间段。另外，第一时间间隔可以根据实际需要灵活设置，例如可以设置为I天或者I小时等。这样，根据所统计出的与临时用户行为(也就是关注用户行为)相关的信息，能够使得网站更好地向用户提供个性化服务。
[0041 ] 实施例2
[0042]图3示出根据本发明另一实施例的实时日志收集方法的流程示意图。如图3所示，根据本发明实施例的实时日志收集方法还可以包括:步骤S210至步骤S230。其中，需要说明的是，图1中示出的步骤SllO至步骤S130(或者图2中示出的步骤SllO至步骤S140)与图3中示出的步骤S210至步骤S230(或者图3中示出的步骤S210至步骤S240)可以并行执行，而不分先后顺序。
[0043]具体地，步骤S210、第二应用服务器记录与用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件。其中，行为属性可以包括用户终端的IP地址、用户行为的名称(可以是用户所进行的具体操作内容，例如发送的评论内容和上传的视频的编号等)、进行用户行为的时间和用户ID中的至少一项。另外，与实施例1中步骤SllO不同的是，步骤S210可以记录用户在用户终端进行的所有用户行为，即只要用户在用户终端进行了用户行为，第二应用服务器就会对此做出相应的记录。
[0044]在一种可能的实现方式中，按照预先设定的日志格式生成日志文件可以是将行为属性按照统一的顺序排列来生成日志文件，以便于后续对日志文件的快速、准确地解析，从而能够基于解析的结果进一步快速、准确地分析和统计所关注的信息。另外，第二时间间隔也可以根据实际需要灵活设置，例如可以设置为I分钟或者10分钟等。
[0045]步骤S220、实时日志收集系统的代理模块在检测到存在日志文件的情况下，将日志文件发送至实时日志收集系统的第二接收源。其中，第二应用服务器在生成了日志文件的情况下，可以存在本地存储器，也可以通过有限网络或无线网络等方式传输至特定存储器，在日志文件存储在本地存储器的情况下，所述代理模块从本地存储器获取日志文件，在日志文件存储在特定存储器的情况下，所述代理模块从特定存储器获取日志文件。
[0046]步骤S230、第二接收源将日志文件经由实时日志收集系统的第二Kafka通道发送至存储系统。
[0047]这样，根据本发明上述实施例的实时日志收集方法能够快速、准确地收集用户在用户终端所进行的所有用户行为的日志。
[0048]在一种可能的实现方式中，在步骤S220之后，还可以包括步骤S240、实时日志收集系统的拦截器根据所述日志文件统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。例如，可以通过邮件、短信、微信等方式将异常信息直接发送至网络管理员。其中，可以根据实际需要来设置上述的特定用户行为，特定用户行为例如可以是某一话题的评论、某一视频的播放和下载、上传视频等。假设将特定用户行为设置为某一话题的评论，则在统计出的在第三时间间隔内该话题的评论次数大于设定阈值的情况下，将该话题认定为热门话题。
[0049]另外，可以在预定的时间间隔内例如30分钟对存储至存储系统的日志文件进行分析，以生成表示在第三时间间隔内进行特定用户行为的次数的统计值(例如最大值、最小值和平均值等)的经验文件。根据该经验文件确定所述设定阈值，例如根据经验文件可知，一般情况下，第三时间间隔内进行特定用户行为的次数的最大值为100，最小值为50，平均值为80，则可以将设定阈值设置为120。
[0050]本领域技术人员应能理解，还可以统计第三时间间隔内进行上述特定用户行为的用户ID和IP地址等，也可以统计进行上述特定用户行为次数较多或较少的时间段。当然，第三时间间隔也可以根据实际需要灵活设置，例如可以设置为I分钟、10分钟或者I天等。
[0051]这样，根据本发明上述实施例的实时日志收集方法还能够快速、准确地获取与特定用户行为(也就是关注用户行为)相关的信息，根据所获取的信息，能够使得网站更好地向用户提供个性化服务。
[0052]实施例3
[0053]图4示出根据本发明一实施例的实时日志收集系统的结构框图。如图4所示，根据本发明实施例的实时日志收集系统主要可以包括:第一接收源(source)410和第一Kafka通道(channel)420。具体地，第一接收源410与用户终端200连接，用于从用户终端200接收包括与临时用户行为相关的临时日志信息的HTTP请求。其中，所述临时日志信息可以包括用户终端200的IP地址、进行临时用户行为的时间和用户ID中的至少一项。在用户终端200打开第一应用服务器100所提供网页的情况下，第一应用服务器100控制用户终端200运行预设的日志记录脚本，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成所述HTTP请求。第一 Kafka通道420与第一接收源410连接，用于从第一接收源410接收所述HTTP请求，并发送至存储系统。
[0054]在一种可能的实现方式中，所述实时日志收集系统还可以包括拦截器430和分析模块440。其中，拦截器430与第一接收源410和第一Kafka通道420分别连接，用于从第一接收源410拦截所述HTTP请求;分析模块440与拦截器430连接，用于从拦截器430接收HTTP请求，并根据HTTP请求，统计第一时间间隔内进行临时用户行为的次数。
[0055]实时日志收集系统的上述部件可以具体参考实施例1中步骤SllO至S140的描述。并且，根据本发明上述实施例的实时日志收集系统能够实现与实施例1相同的效果，即能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。另外，根据所获取的与关注用户行为相关的信息，能够使得网站更好地向用户提供个性化服务。
[0056]在一种可能的实现方式中，所述实时日志收集系统还可以包括代理模块450、第二接收源(source) 460 和第二 Kaf ka 通道(channel) 470。
[0057]具体地，代理模块450与第二应用服务器300连接，用于检测是否存在日志文件，在检测到存在所述日志文件的情况下，获取所述日志文件。其中，第二应用服务器300记录与用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成所述日志文件。行为属性可以包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项。第二接收源460与代理模块450连接，用于从代理模块450接收所述日志文件。第二 Kafka通道470与第二接收源460连接，用于从第二接收源460接收日志文件，并发送至存储系统。
[0058]在一种可能的实现方式中，拦截器430还可以与第二接收源460和第二Kafka通道470分别连接，并且用于从所述第二接收源460拦截所述日志文件;分析模块440还用于统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。
[0059]其中，在上述实现方式中，用于拦截日志文件的拦截器430与用于拦截HTTP请求的拦截器430为同一个拦截器。本领域技术人员应能理解，本发明不限于此，也可以单独设置拦截器。拦截只是做同一类型操作的次数累加，可以不用存储具体数据。累加的数据可以存储于其它服务器内存中，或者归档到其它服务器内存中，以文件格式存储。
[0060]另外，拦截器拦截的只是一个统计数据，与主体数据分开，被拦截的HTTP请求和日志文件仍然会通过通道发送至存储系统中。而且拦截的数据具有短暂的时效性。无需持久存储，简单内存存储就可以。
[0061]实时日志收集系统的上述部件可以具体参考实施例2中步骤S210至S240的描述。并且，根据本发明上述实施例的实时日志收集系统能够实现与实施例2相同的效果，即能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。并且根据所获取的与关注用户行为相关的信息，能够使得网站更好地向用户提供个性化服务。
[0062]另外，根据本发明实施例的实时日志收集系统优选可以基于ApacheFlume这个开源框架，该框架灵活易用，可以自己组织数据源的接收方式、传输介质以及实际的接收方技术。并且，文件收集具有跨平台性和可扩展性，并能够保证文件传输的有效性和可靠性。
[0063]实际试验数据表明，该架构体系可以有效处理大批量日志的收集和传输，对日志统计和离线分析有巨大帮助。非线上服务器处理每分钟38兆的日志文件，只需占用0.3%CPU和3.7%的内存消耗。
[0064]实施例4
[0065]图5示出根据本发明一实施例的应用服务器集群的结构框图。如图5所示，该应用服务器集群可以包括与用户终端200连接的第一应用服务器100，其中，第一应用服务器100可以包括与用户终端200分别连接的脚本设置模块110、网页提供模块120、控制模块130和HTTP请求生成模块140。
[0066]具体地，脚本设置模块110用于预设日志记录脚本；网页提供模块120用于为所述用户终端提供网页服务;控制模块130用于在用户终端200打开所述网页提供模块120所提供网页的情况下，控制用户终端200运行所述日志记录脚本;HTTP请求生成模块140在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项。
[0067]第一应用服务器100的上述部件可以具体参考实施例1中对于步骤SllO和步骤S120的描述。并且，根据本发明上述实施例的应用服务器集群能够辅助快速、准确地收集用户行为日志。
[0068]在一种可能的实现方式中，本实施例的应用服务器集群还可以包括多个第二应用服务器。作为示例，图5中仅示出一个第二应用服务器300，该第二应用服务器300可以包括:记录模块310和日志文件生成模块320。其中，记录模块310用于记录与用户行为相关的行为属性；日志文件生成模块320与记录模块310连接，用于将在第二时间间隔内所记录的行为属性按照预先设定的日志格式 生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项。
[0069]第二应用服务器300的上述部件可以具体参考实施例2中对于步骤S210和步骤S220的描述。并且，根据本发明上述实施例的应用服务器集群能够快速、准确地辅助收集用户行为日志，并且能够快速、准确地辅助获取与关注用户行为相关的信息。另外，根据所获取的与关注用户行为相关的信息，能够使得网站更好地向用户提供个性化服务。
[0070]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1.一种实时日志收集方法，用于收集用户行为日志，其特征在于，包括: 在用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本； 在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从所述用户终端向实时日志收集系统的第一接收源发送所述HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项；以及 所述第一接收源将所述HTTP请求经由所述实时日志收集系统的第一卡夫卡Kafka通道发送至存储系统。2.根据权利要求1所述的实时日志收集方法，其特征在于，在所述第一接收源接收到从所述用户终端发送的所述HTTP请求之后，还包括: 所述实时日志收集系统的拦截器根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。3.根据权利要求1或2所述的实时日志收集方法，其特征在于，还包括: 第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项； 所述实时日志收集系统的代理模块在检测到存在所述日志文件的情况下，将所述日志文件发送至所述实时日志收集系统的第二接收源；以及 所述第二接收源将所述日志文件经由所述实时日志收集系统的第二Kafka通道发送至所述存储系统。4.根据权利要求3所述的实时日志收集方法，其特征在于，还包括: 所述实时日志收集系统的拦截器根据所述日志文件统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。5.根据权利要求1至4中任一项所述的实时日志收集方法，其特征在于，所述存储系统包括分布式文件系统和/或数据库。6.一种实时日志收集系统，用于收集用户行为日志，其特征在于，包括: 第一接收源，与用户终端连接，用于从所述用户终端接收包括与临时用户行为相关的临时日志信息的HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项，其中，在所述用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成所述HTTP请求；以及 第一Kafka通道，与所述第一接收源连接，用于从所述第一接收源接收所述HTTP请求，并发送至存储系统。7.根据权利要求6所述的实时日志收集系统，其特征在于，还包括: 拦截器，与所述第一接收源和所述第一 Kafka通道分别连接，用于从所述第一接收源拦截所述HTTP请求；以及 分析模块，与所述拦截器连接，用于从所述拦截器接收所述HTTP请求，并根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。8.根据权利要求7所述的实时日志收集系统，其特征在于，还包括: 代理模块，与第二应用服务器连接，用于检测是否存在日志文件，在检测到存在所述日志文件的情况下，获取所述日志文件，其中，第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成所述日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项； 第二接收源，与所述代理模块连接，用于从所述代理模块接收所述日志文件；以及 第二 Kafka通道，与所述第二接收源连接，用于从所述第二接收源接收所述日志文件，并发送至所述存储系统。9.根据权利要求8所述的实时日志收集系统，其特征在于， 所述拦截器还与所述第二接收源和所述第二 Kafka通道分别连接，并且用于从所述第二接收源拦截所述日志文件； 所述分析模块还用于统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。10.一种应用服务器集群，其特征在于，包括第一应用服务器，所述第一应用服务器包括: 脚本设置模块，与用户终端连接，用于预设日志记录脚本； 网页提供模块，与所述用户终端连接，用于为所述用户终端提供网页服务； 控制模块，与所述用户终端连接，用于在所述用户终端打开所述网页提供模块所提供网页的情况下，控制所述用户终端运行所述日志记录脚本；以及 HTTP请求生成模块，与所述用户终端连接，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项。11.根据权利要求10所述的应用服务器集群，其特征在于，还包括多个第二应用服务器，其中，各所述第二应用服务器包括: 记录模块，用于记录与用户行为相关的行为属性；以及 日志文件生成模块，与所述记录模块连接，用于将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项。
【专利摘要】本发明涉及一种实时日志收集方法、系统和应用服务器集群。其中，所述方法包括：在用户终端打开第一应用服务器所提供网页的情况下，第一应用服务器控制用户终端运行预设的日志记录脚本；在日志记录脚本检测到用户进行设定的临时用户行为的情况下，生成包括与临时用户行为相关的临时日志信息的HTTP请求，并从用户终端向实时日志收集系统的第一接收源发送HTTP请求；以及第一接收源将HTTP请求经由实时日志收集系统的第一Kafka通道发送至存储系统。根据本发明实施例的实时日志收集方法、系统和应用服务器集群能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
【IPC分类】H04L12/24, H04L29/08
【公开号】CN105490854
【申请号】CN201510923078
【发明人】欧樑, 杨华涛, 韦杰, 林岳, 顾思斌, 潘柏宇, 王冀
【申请人】传线网络科技（上海）有限公司
【公开日】2016年4月13日
【申请日】2015年12月11日
【技术领域】
[0001]本发明涉及互联网技术领域，尤其涉及一种实时日志收集方法、系统和应用服务器集群。
【背景技术】
[0002]对于大型互联网门户，每天都有上千万用户的访问量。可以通过收集和记录用户对网站功能的消费，然后对这些消费进行离线分析，为网站更好地向用户提供个性化服务提供数据依据。并且，还可以为网安在应对网络热门事件或突发事件时提供调查依据。
[0003]传统收集日志的方法是通过前端(客户端)在网页中添加JavaScript脚本，事先确定动作属性(例如播放视频和发布视频等)，将用户的点击动作汇总到远程服务器来分析。这种方法存在能够通过模拟用户行为来捏造点击数据等的缺陷。
[0004]目前还有一种收集日志的方法，在后端生成日志后，通过scp命令上传、下载或通过rsync命令定时同步等方式收集汇总，然后通过机器脚本分析、或者人工观察统计、或者图形绘制等方式来分析。这种方法的实时性较差。
[0005]另外，由于上述两种方法均需要人工干预，因此对数据规模的适用性较差，无法支持网站持续发展产生的大量日志，并且人工干预过多，不能保证较高的准确性。
【发明内容】
[0006]技术问题
[0007]有鉴于此，本发明要解决的技术问题是，如何快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
[0008]解决方案
[0009]根据本发明的一个方面，提供了一种实时日志收集方法，用于收集用户行为日志，包括:在用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本;在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从所述用户终端向实时日志收集系统的第一接收源发送所述HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项；以及所述第一接收源将所述HTTP请求经由所述实时日志收集系统的第一卡夫卡Kaf ka通道发送至存储系统。
[0010]对于上述实时日志收集方法，在一种可能的实现方式中，在所述第一接收源接收到从所述用户终端发送的所述HTTP请求之后，还包括:所述实时日志收集系统的拦截器根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。
[0011 ]对于上述实时日志收集方法，在一种可能的实现方式中，还包括:第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项;所述实时日志收集系统的代理模块在检测到存在所述日志文件的情况下，将所述日志文件发送至所述实时日志收集系统的第二接收源；以及所述第二接收源将所述日志文件经由所述实时日志收集系统的第二Kaf ka通道发送至所述存储系统。
[0012]对于上述实时日志收集方法，在一种可能的实现方式中，还包括:所述实时日志收集系统的拦截器根据所述日志文件统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。
[0013]对于上述实时日志收集方法，在一种可能的实现方式中，所述存储系统包括分布式文件系统和/或数据库。
[0014]根据本发明的另一个方面，提供了一种实时日志收集系统，用于收集用户行为日志，包括:第一接收源，与用户终端连接，用于从所述用户终端接收包括与临时用户行为相关的临时日志信息的HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项，其中，在所述用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成所述HTTP请求；以及第一Kafka通道，与所述第一接收源连接，用于从所述第一接收源接收所述HTTP请求，并发送至存储系统。
[0015]对于上述实时日志收集系统，在一种可能的实现方式中，还包括:拦截器，与所述第一接收源和所述第一Kafka通道分别连接，用于从所述第一接收源拦截所述HTTP请求；以及分析模块，与所述拦截器连接，用于从所述拦截器接收所述HTTP请求，并根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。
[0016]对于上述实时日志收集系统，在一种可能的实现方式中，还包括:代理模块，与第二应用服务器连接，用于检测是否存在日志文件，在检测到存在所述日志文件的情况下，获取所述日志文件，其中，第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成所述日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项;第二接收源，与所述代理模块连接，用于从所述代理模块接收所述日志文件；以及第二Kaf ka通道，与所述第二接收源连接，用于从所述第二接收源接收所述日志文件，并发送至所述存储系统。
[0017]对于上述实时日志收集系统，在一种可能的实现方式中，所述拦截器还与所述第二接收源和所述第二 Kafka通道分别连接，并且用于从所述第二接收源拦截所述日志文件；所述分析模块还用于统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。
[0018]根据本发明的又一个方面，提供了一种应用服务器集群，包括第一应用服务器，所述第一应用服务器包括:脚本设置模块，与所述用户终端连接，用于预设日志记录脚本；网页提供模块，与所述用户终端连接，用于为所述用户终端提供网页服务;控制模块，与所述用户终端连接，用于在所述用户终端打开所述网页提供模块所提供网页的情况下，控制所述用户终端运行所述日志记录脚本；以及HTTP请求生成模块，与所述用户终端连接，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项。
[0019]对于上述应用服务器集群，在一种可能的实现方式中，还包括多个第二应用服务器，其中，各所述第二应用服务器包括:记录模块，用于记录与用户行为相关的行为属性；以及日志文件生成模块，与所述记录模块连接，用于将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项。
[0020]有益效果
[0021]通过在用户终端预先设置日志记录脚本，并在用户终端打开特定网页的情况下，运行该日志记录脚本，在日志记录脚本检测到用户进行设定的临时用户行为的情况下，生成包括与临 时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从所述用户终端向实时日志收集系统的第一接收源发送所述HTTP请求，第一接收源将HTTP请求经由实时日志收集系统的第一卡夫卡Kafka通道发送至存储系统。根据本发明实施例的实时日志收集方法、实时日志收集系统和应用服务器集群能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
[0022]根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。
【附图说明】
[0023]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
[0024]图1示出根据本发明一实施例的实时日志收集方法的流程示意图；
[0025]图2示出根据本发明另一实施例的实时日志收集方法的流程示意图；
[0026]图3示出根据本发明又一实施例的实时日志收集方法的流程示意图；
[0027]图4示出根据本发明一实施例的实时日志收集系统的结构框图；
[0028]图5示出根据本发明一实施例的应用服务器集群的结构框图。
【具体实施方式】
[0029]以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0030]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0031]另外，为了更好的说明本发明，在下文的【具体实施方式】中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
[0032]实施例1
[0033]图1示出根据本发明一实施例的实时日志收集方法的流程图。如图1所示，该实时日志收集方法主要可以包括:步骤SllO至步骤S130。
[0034]具体地，步骤S110、在用户终端打开第一应用服务器所提供网页的情况下，第一应用服务器控制所述用户终端运行预设的日志记录脚本。其中，该日志记录脚本可以是为了记录某一临时上线的活动或者关注的活动的用户行为信息而设置的，临时上线的活动例如可以是限时秒杀抢购活动等，关注的活动例如可以是播放特定的视频等。
[0035]步骤S120、在日志记录脚本检测到用户进行设定的临时用户行为的情况下，生成包括与临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从用户终端向实时日志收集系统的第一接收源发送HTTP请求。其中，临时日志信息可以包括用户终端的IP地址、进行临时用户行为的时间和用户ID中的至少一项。
[0036]步骤S130、第一接收源将HTTP请求经由实时日志收集系统的第一卡夫卡Kafka通道发送至存储系统。
[0037]这样，根据本发明上述实施例的实时日志收集方法能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
[0038]在一种可能的实现方式中，实时日志收集系统优选Flume系统，该系统是Cloudera提供的一个高可用、高可靠的分布式的海量日志采集、聚合和传输的系统。
[0039]在一种可能的实现方式中，所述存储系统可以包括分布式文件系统和/或数据库。分布式文件系统可以优选Hadoop分布式文件系统(HDFS)，数据块可以优选Infobright这一开源的类MySQL的数据仓库。
[0040]在一种可能的实现方式中，如图2所示，在步骤S120之后，还可以包括:步骤S140、实时日志收集系统的拦截器根据所述HTTP请求，统计第一时间间隔内进行临时用户行为的次数。当然，也可以统计第一时间间隔内进行该临时用户行为的用户ID和IP地址等，也可以统计进行该临时用户次数较多或较少的时间段。另外，第一时间间隔可以根据实际需要灵活设置，例如可以设置为I天或者I小时等。这样，根据所统计出的与临时用户行为(也就是关注用户行为)相关的信息，能够使得网站更好地向用户提供个性化服务。
[0041 ] 实施例2
[0042]图3示出根据本发明另一实施例的实时日志收集方法的流程示意图。如图3所示，根据本发明实施例的实时日志收集方法还可以包括:步骤S210至步骤S230。其中，需要说明的是，图1中示出的步骤SllO至步骤S130(或者图2中示出的步骤SllO至步骤S140)与图3中示出的步骤S210至步骤S230(或者图3中示出的步骤S210至步骤S240)可以并行执行，而不分先后顺序。
[0043]具体地，步骤S210、第二应用服务器记录与用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件。其中，行为属性可以包括用户终端的IP地址、用户行为的名称(可以是用户所进行的具体操作内容，例如发送的评论内容和上传的视频的编号等)、进行用户行为的时间和用户ID中的至少一项。另外，与实施例1中步骤SllO不同的是，步骤S210可以记录用户在用户终端进行的所有用户行为，即只要用户在用户终端进行了用户行为，第二应用服务器就会对此做出相应的记录。
[0044]在一种可能的实现方式中，按照预先设定的日志格式生成日志文件可以是将行为属性按照统一的顺序排列来生成日志文件，以便于后续对日志文件的快速、准确地解析，从而能够基于解析的结果进一步快速、准确地分析和统计所关注的信息。另外，第二时间间隔也可以根据实际需要灵活设置，例如可以设置为I分钟或者10分钟等。
[0045]步骤S220、实时日志收集系统的代理模块在检测到存在日志文件的情况下，将日志文件发送至实时日志收集系统的第二接收源。其中，第二应用服务器在生成了日志文件的情况下，可以存在本地存储器，也可以通过有限网络或无线网络等方式传输至特定存储器，在日志文件存储在本地存储器的情况下，所述代理模块从本地存储器获取日志文件，在日志文件存储在特定存储器的情况下，所述代理模块从特定存储器获取日志文件。
[0046]步骤S230、第二接收源将日志文件经由实时日志收集系统的第二Kafka通道发送至存储系统。
[0047]这样，根据本发明上述实施例的实时日志收集方法能够快速、准确地收集用户在用户终端所进行的所有用户行为的日志。
[0048]在一种可能的实现方式中，在步骤S220之后，还可以包括步骤S240、实时日志收集系统的拦截器根据所述日志文件统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。例如，可以通过邮件、短信、微信等方式将异常信息直接发送至网络管理员。其中，可以根据实际需要来设置上述的特定用户行为，特定用户行为例如可以是某一话题的评论、某一视频的播放和下载、上传视频等。假设将特定用户行为设置为某一话题的评论，则在统计出的在第三时间间隔内该话题的评论次数大于设定阈值的情况下，将该话题认定为热门话题。
[0049]另外，可以在预定的时间间隔内例如30分钟对存储至存储系统的日志文件进行分析，以生成表示在第三时间间隔内进行特定用户行为的次数的统计值(例如最大值、最小值和平均值等)的经验文件。根据该经验文件确定所述设定阈值，例如根据经验文件可知，一般情况下，第三时间间隔内进行特定用户行为的次数的最大值为100，最小值为50，平均值为80，则可以将设定阈值设置为120。
[0050]本领域技术人员应能理解，还可以统计第三时间间隔内进行上述特定用户行为的用户ID和IP地址等，也可以统计进行上述特定用户行为次数较多或较少的时间段。当然，第三时间间隔也可以根据实际需要灵活设置，例如可以设置为I分钟、10分钟或者I天等。
[0051]这样，根据本发明上述实施例的实时日志收集方法还能够快速、准确地获取与特定用户行为(也就是关注用户行为)相关的信息，根据所获取的信息，能够使得网站更好地向用户提供个性化服务。
[0052]实施例3
[0053]图4示出根据本发明一实施例的实时日志收集系统的结构框图。如图4所示，根据本发明实施例的实时日志收集系统主要可以包括:第一接收源(source)410和第一Kafka通道(channel)420。具体地，第一接收源410与用户终端200连接，用于从用户终端200接收包括与临时用户行为相关的临时日志信息的HTTP请求。其中，所述临时日志信息可以包括用户终端200的IP地址、进行临时用户行为的时间和用户ID中的至少一项。在用户终端200打开第一应用服务器100所提供网页的情况下，第一应用服务器100控制用户终端200运行预设的日志记录脚本，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成所述HTTP请求。第一 Kafka通道420与第一接收源410连接，用于从第一接收源410接收所述HTTP请求，并发送至存储系统。
[0054]在一种可能的实现方式中，所述实时日志收集系统还可以包括拦截器430和分析模块440。其中，拦截器430与第一接收源410和第一Kafka通道420分别连接，用于从第一接收源410拦截所述HTTP请求;分析模块440与拦截器430连接，用于从拦截器430接收HTTP请求，并根据HTTP请求，统计第一时间间隔内进行临时用户行为的次数。
[0055]实时日志收集系统的上述部件可以具体参考实施例1中步骤SllO至S140的描述。并且，根据本发明上述实施例的实时日志收集系统能够实现与实施例1相同的效果，即能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。另外，根据所获取的与关注用户行为相关的信息，能够使得网站更好地向用户提供个性化服务。
[0056]在一种可能的实现方式中，所述实时日志收集系统还可以包括代理模块450、第二接收源(source) 460 和第二 Kaf ka 通道(channel) 470。
[0057]具体地，代理模块450与第二应用服务器300连接，用于检测是否存在日志文件，在检测到存在所述日志文件的情况下，获取所述日志文件。其中，第二应用服务器300记录与用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成所述日志文件。行为属性可以包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项。第二接收源460与代理模块450连接，用于从代理模块450接收所述日志文件。第二 Kafka通道470与第二接收源460连接，用于从第二接收源460接收日志文件，并发送至存储系统。
[0058]在一种可能的实现方式中，拦截器430还可以与第二接收源460和第二Kafka通道470分别连接，并且用于从所述第二接收源460拦截所述日志文件;分析模块440还用于统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。
[0059]其中，在上述实现方式中，用于拦截日志文件的拦截器430与用于拦截HTTP请求的拦截器430为同一个拦截器。本领域技术人员应能理解，本发明不限于此，也可以单独设置拦截器。拦截只是做同一类型操作的次数累加，可以不用存储具体数据。累加的数据可以存储于其它服务器内存中，或者归档到其它服务器内存中，以文件格式存储。
[0060]另外，拦截器拦截的只是一个统计数据，与主体数据分开，被拦截的HTTP请求和日志文件仍然会通过通道发送至存储系统中。而且拦截的数据具有短暂的时效性。无需持久存储，简单内存存储就可以。
[0061]实时日志收集系统的上述部件可以具体参考实施例2中步骤S210至S240的描述。并且，根据本发明上述实施例的实时日志收集系统能够实现与实施例2相同的效果，即能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。并且根据所获取的与关注用户行为相关的信息，能够使得网站更好地向用户提供个性化服务。
[0062]另外，根据本发明实施例的实时日志收集系统优选可以基于ApacheFlume这个开源框架，该框架灵活易用，可以自己组织数据源的接收方式、传输介质以及实际的接收方技术。并且，文件收集具有跨平台性和可扩展性，并能够保证文件传输的有效性和可靠性。
[0063]实际试验数据表明，该架构体系可以有效处理大批量日志的收集和传输，对日志统计和离线分析有巨大帮助。非线上服务器处理每分钟38兆的日志文件，只需占用0.3%CPU和3.7%的内存消耗。
[0064]实施例4
[0065]图5示出根据本发明一实施例的应用服务器集群的结构框图。如图5所示，该应用服务器集群可以包括与用户终端200连接的第一应用服务器100，其中，第一应用服务器100可以包括与用户终端200分别连接的脚本设置模块110、网页提供模块120、控制模块130和HTTP请求生成模块140。
[0066]具体地，脚本设置模块110用于预设日志记录脚本；网页提供模块120用于为所述用户终端提供网页服务;控制模块130用于在用户终端200打开所述网页提供模块120所提供网页的情况下，控制用户终端200运行所述日志记录脚本;HTTP请求生成模块140在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项。
[0067]第一应用服务器100的上述部件可以具体参考实施例1中对于步骤SllO和步骤S120的描述。并且，根据本发明上述实施例的应用服务器集群能够辅助快速、准确地收集用户行为日志。
[0068]在一种可能的实现方式中，本实施例的应用服务器集群还可以包括多个第二应用服务器。作为示例，图5中仅示出一个第二应用服务器300，该第二应用服务器300可以包括:记录模块310和日志文件生成模块320。其中，记录模块310用于记录与用户行为相关的行为属性；日志文件生成模块320与记录模块310连接，用于将在第二时间间隔内所记录的行为属性按照预先设定的日志格式 生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项。
[0069]第二应用服务器300的上述部件可以具体参考实施例2中对于步骤S210和步骤S220的描述。并且，根据本发明上述实施例的应用服务器集群能够快速、准确地辅助收集用户行为日志，并且能够快速、准确地辅助获取与关注用户行为相关的信息。另外，根据所获取的与关注用户行为相关的信息，能够使得网站更好地向用户提供个性化服务。
[0070]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1.一种实时日志收集方法，用于收集用户行为日志，其特征在于，包括: 在用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本； 在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从所述用户终端向实时日志收集系统的第一接收源发送所述HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项；以及 所述第一接收源将所述HTTP请求经由所述实时日志收集系统的第一卡夫卡Kafka通道发送至存储系统。2.根据权利要求1所述的实时日志收集方法，其特征在于，在所述第一接收源接收到从所述用户终端发送的所述HTTP请求之后，还包括: 所述实时日志收集系统的拦截器根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。3.根据权利要求1或2所述的实时日志收集方法，其特征在于，还包括: 第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项； 所述实时日志收集系统的代理模块在检测到存在所述日志文件的情况下，将所述日志文件发送至所述实时日志收集系统的第二接收源；以及 所述第二接收源将所述日志文件经由所述实时日志收集系统的第二Kafka通道发送至所述存储系统。4.根据权利要求3所述的实时日志收集方法，其特征在于，还包括: 所述实时日志收集系统的拦截器根据所述日志文件统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。5.根据权利要求1至4中任一项所述的实时日志收集方法，其特征在于，所述存储系统包括分布式文件系统和/或数据库。6.一种实时日志收集系统，用于收集用户行为日志，其特征在于，包括: 第一接收源，与用户终端连接，用于从所述用户终端接收包括与临时用户行为相关的临时日志信息的HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项，其中，在所述用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成所述HTTP请求；以及 第一Kafka通道，与所述第一接收源连接，用于从所述第一接收源接收所述HTTP请求，并发送至存储系统。7.根据权利要求6所述的实时日志收集系统，其特征在于，还包括: 拦截器，与所述第一接收源和所述第一 Kafka通道分别连接，用于从所述第一接收源拦截所述HTTP请求；以及 分析模块，与所述拦截器连接，用于从所述拦截器接收所述HTTP请求，并根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。8.根据权利要求7所述的实时日志收集系统，其特征在于，还包括: 代理模块，与第二应用服务器连接，用于检测是否存在日志文件，在检测到存在所述日志文件的情况下，获取所述日志文件，其中，第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成所述日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项； 第二接收源，与所述代理模块连接，用于从所述代理模块接收所述日志文件；以及 第二 Kafka通道，与所述第二接收源连接，用于从所述第二接收源接收所述日志文件，并发送至所述存储系统。9.根据权利要求8所述的实时日志收集系统，其特征在于， 所述拦截器还与所述第二接收源和所述第二 Kafka通道分别连接，并且用于从所述第二接收源拦截所述日志文件； 所述分析模块还用于统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。10.一种应用服务器集群，其特征在于，包括第一应用服务器，所述第一应用服务器包括: 脚本设置模块，与用户终端连接，用于预设日志记录脚本； 网页提供模块，与所述用户终端连接，用于为所述用户终端提供网页服务； 控制模块，与所述用户终端连接，用于在所述用户终端打开所述网页提供模块所提供网页的情况下，控制所述用户终端运行所述日志记录脚本；以及 HTTP请求生成模块，与所述用户终端连接，在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项。11.根据权利要求10所述的应用服务器集群，其特征在于，还包括多个第二应用服务器，其中，各所述第二应用服务器包括: 记录模块，用于记录与用户行为相关的行为属性；以及 日志文件生成模块，与所述记录模块连接，用于将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项。
【专利摘要】本发明涉及一种实时日志收集方法、系统和应用服务器集群。其中，所述方法包括：在用户终端打开第一应用服务器所提供网页的情况下，第一应用服务器控制用户终端运行预设的日志记录脚本；在日志记录脚本检测到用户进行设定的临时用户行为的情况下，生成包括与临时用户行为相关的临时日志信息的HTTP请求，并从用户终端向实时日志收集系统的第一接收源发送HTTP请求；以及第一接收源将HTTP请求经由实时日志收集系统的第一Kafka通道发送至存储系统。根据本发明实施例的实时日志收集方法、系统和应用服务器集群能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。
【IPC分类】H04L12/24, H04L29/08
【公开号】CN105490854
【申请号】CN201510923078
【发明人】欧樑, 杨华涛, 韦杰, 林岳, 顾思斌, 潘柏宇, 王冀
【申请人】传线网络科技（上海）有限公司
【公开日】2016年4月13日
【申请日】2015年12月11日
最新回复(0)