数据处理方法、装置、设备及存储介质与流程

1.本技术属于数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。


背景技术：

2.随着信息化技术不断发展，数据处理的需求也愈来愈多。在相关技术中，互联网平台可以通过下述两种方式进行埋点数据的存储和获取，一种是通过后台应用，将接收到的埋点数据存储到数据库，以通过定时单独批量计算的形式对数据库中的埋点数据进行处理和分析；另一种是通过服务器以日志记录的形式将埋点数据存储在磁盘中，并通过定时任务对存储在磁盘中的埋点日志数据进行处理。
3.然而，前者是将数据实时存储数据到数据库，这对数据库处理能力以及后台服务的吞吐量影响较大，容易造成服务宕机；后者由于埋点数据日志分散存储在各个独立的服务器上，且出访负载均衡在转发埋点数据获取请求时服务器不确定，难以收集和获取埋点数据日志。


技术实现要素：

4.本技术提供一种数据处理方法、装置、设备及存储介质，用以解决现有技术中分布式埋点数据处理效率低的问题。
5.第一方面，本技术实施例提供一种数据处理方法，应用于服务端，包括：
6.接收用户端发送的url请求，url请求包括加密信息，加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；
7.分别将服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与url请求进行拼接，得到m个目标请求，n为正整数，m为正整数；
8.基于埋点数据日志记录目录，分别获取与m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；
9.将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
10.第二方面，本技术实施例提供一种数据处理方法，应用于用户端，包括：
11.获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；
12.在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；
13.通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；
14.向服务端发送url请求，url请求包括加密信息，url请求用于请求服务端将埋点数据存储到预设存埋点数据日志文件夹。
15.第三方面，本技术实施例提供一种数据处理装置，应用于服务端，包括：
16.接收模块，用于接收用户端发送的url请求，url请求包括加密信息，加密信息为经
过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；
17.拼接模块，用于分别将服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与url请求进行拼接，得到m个目标请求，n为正整数，m为正整数；
18.获取模块，用于基于埋点数据日志记录目录，分别获取与m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；
19.存储模块，用于将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
20.第四方面，本技术实施例提供一种数据处理装置，应用于用户端，包括：
21.获取模块，用于获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；
22.生成模块，用于在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；
23.加密模块，用于通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；
24.发送模块，用于向服务端发送url请求，url请求包括加密信息，url请求用于请求服务端将埋点数据存储到预设存埋点数据日志文件夹。
25.第五方面，本技术实施例提供一种数据处理系统，包括：
26.用户端和服务端，服务端包括n个网站服务节点和埋点数据源服务节点，n为正整数；其中，
27.用户端，用于获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；向服务端发送url请求，url请求包括加密信息；
28.网站服务节点，用于接收url请求；分别将服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与url请求进行拼接，得到m个目标请求，m为正整数；
29.埋点数据源服务节点，用于基于埋点数据日志记录目录，分别获取与m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
30.第六方面，本技术实施例提供了一种计算设备，该计算设备包括：处理器以及存储有计算机程序指令的存储器；
31.处理器执行计算机程序指令时实现如第一方面或第二方面所示的数据处理方法。
32.第七方面，本技术实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面或第二方面所示的数据处理方法。
33.第八方面，本技术实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面或第二方面所示的数据处理方法。
34.第九方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介
质中，该程序产品被至少一个处理器执行以实现如第一方面所示的数据处理方法。
35.本技术实施例提供的数据处理方法、装置、设备及存储介质，接收用户端发送的url请求，url请求包括加密信息，加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；分别将服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与url请求进行拼接，得到m个目标请求，n为正整数，m为正整数；基于埋点数据日志记录目录，分别获取与m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。这样，一方面，对于用户端来说，用户端通过对埋点数据中的敏感数据进行加密，加强了埋点数据传输的安全性。另一方面，对于服务端来说，服务端中的网站服务节点可以将接收到的加密后的埋点数据汇总至统一存储空间，即埋点数据日志文件夹，以提高后续埋点数据的获取效率，以及，由于各个网站服务节点可以对接收到的url请求进行统一配置，因此，使得后续埋点数据获取时，无论请求中标识的是哪个网站服务节点，均能获取相应的埋点数据日志文件，另外，在获取数据时，可以根据存储数据的反推过程，即基于维护每个网站服务节点的网站服务节点名命的目录文件夹，使得埋点数据获取脚本只要遍历一次与网站服务节点名对应的埋点数据源服务节点名列表就能确保获取了所有网站服务节点采集的当期埋点数据日志，解决了漏遍历和重复遍历的问题，进一步地提高了埋点数据的处理效率。
附图说明
36.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本技术实施例提供的一种基于用户端的数据处理方法的流程图；
38.图2为本技术实施例提供的一种数据处理方法的流程图；
39.图3为本技术实施例提供的一种数据处理方法的一个实施例的数据处理流程示意图之一；
40.图4为本技术实施例提供的一种数据处理方法的一个实施例的数据处理流程示意图之二；
41.图5为本技术实施例提供的一种数据处理系统的结构示意图；
42.图6为是本技术一个实施例提供的基于用户端的数据处理装置的结构示意图；
43.图7为是本技术一个实施例提供的数据处理装置的结构示意图；
44.图8是本技术一个实施例提供的数据处理设备的结构示意图。
具体实施方式
45.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
46.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
47.本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
48.在相关技术中，互联网平台多采用两种方式进行埋点数据的存储和获取，一种方式是直接将埋点数据通过后台应用接收埋点数据，并存储到数据库，然后，通过定时跑批即单独批量计算的形式对数据库中的埋点数据进行处理和分析，由于这种方式是实时存储数据到数据库，对数据库处理能力的要求较高，而且，由于实时存储数据到数据库会使得实时调用后台服务交易存储数据，所以，对后台服务的吞吐量影响较大，容易造成服务宕机或者因需要处理大量存储埋点数据交易而导致无法处理其他正常业务交易的情况。另一种方式是通过网点服务器(web)服务器(比如nginx)以日志记录的形式将埋点数据存储在磁盘中，并通过定时任务对存储在磁盘中的埋点日志数据进行处理，此种方式对于使用传统多节点方式部署nginx作为web服务器来说，在数据分析服务器访问互联web服务器时需要通过互联出访负载均衡的系统，又因埋点数据日志分散存储在各个独立的web服务器上，且出访负载均衡在转发埋点数据获取请求时目标web服务器不确定，所以，上述方式还是存在难以收集和获取埋点数据日志、每日增量日志难以区分以及埋点数据不安全的问题。
49.由此，在使用传统多节点方式部署nginx作为web服务器、数据分析服务器访问互联web服务器需要通过互联出访负载均衡的系统，在采集和获取埋点数据时主要存在如下问题：其一，由于埋点数据日志分散存储在各个独立的web服务器上，通过互联出访负载均衡负载埋点数据获取请求到互联web服务器时，由于出访负载均衡在转发埋点数据获取请求时web服务器不确定，难以确保能够遍历所有web服务器上采集存储的埋点数据日志，同时难以避免重复获取某台目标web服务器上采集存储的埋点数据日志；其二，埋点数据以日志明文形式存储在日志文件中，如果埋点日志有敏感信息的话存在信息泄露风险；其三，同一台互联web服务器上不同日期的增量埋点数据日志难以区分，数据去重较为麻烦。
50.基于此，为了解决上述出现的问题，本技术实施例提供一种基于埋点数据采集、存储和获取的数据处理方法，其中，用户端可通过随机生成的对称密钥加密埋点数据，并使用协议格式将埋点数据以统一资源定位系统(uniform resource locator，url)参数格式传给服务端。然后，服务端可在各个web服务器上挂载共享的存储空间(nas)，并在nas中维护埋点数据日志记录目录，同时在每台web服务器上启动定时任务将该服务器上存储的埋点数据日志定期移动存储到nas中的埋点数据日志记录目录中，并以服务端名称区分源自不同服务端的埋点数据日志；此外，在数据分析服务器上维护存储互联web各个服务端名的埋点数据源服务器名列表，并定时启动埋点数据获取脚本(即通过互联出访负载均衡并获取各个web服务器上埋点数据的脚本)，该脚本可遍历埋点数据源服务器名列表，通过互联出访负载均衡将埋点数据获取请求转发至web服务端集群中任意一台web服务端，并通过该服
务端上配置的nginx转发规则将请求导向埋点数据日志记录目录中的对应数据源，从而获取各台web服务端中采集存储的埋点数据，在获取埋点数据日志文本后数据分析服务器使用服务端私钥解密url参数得到对称密钥，并使用该对称密钥解密url参数得到埋点数据明文，如此，一方面，对于用户端来说，用户端通过对埋点数据中的敏感数据进行加密，加强了埋点数据传输的安全性。另一方面，对于服务端来说，服务端中的网站服务节点可以将接收到的加密后的埋点数据汇总至统一存储空间，即埋点数据日志文件夹，以提高后续埋点数据的获取效率，以及，由于各个网站服务节点可以对接收到的url请求进行统一配置，因此，使得后续埋点数据获取时，无论请求中标识的是哪个网站服务节点，均能获取相应的埋点数据日志文件，另外，在获取数据时，可以根据存储数据的反推过程，即基于维护每个网站服务节点的网站服务节点名命的目录文件夹，使得埋点数据获取脚本只要遍历一次与网站服务节点名对应的埋点数据源服务节点名列表就能确保获取了所有网站服务节点采集的当期埋点数据日志，解决了漏遍历和重复遍历的问题，进一步地提高了埋点数据的处理效率。
51.需要说明的是，本技术实施例提供的数据处理方法可以应用于使用传统多节点方式部署nginx作为web服务端、数据分析服务端访问web服务端需要通过互联出访负载均衡的互联网项目的场景中。
52.由此，本技术实施例提供了一种数据处理方法、装置、设备及存储介质。下面将结合附图1至图5，详细描述本技术实施例的数据处理方法、装置、服务器及存储介质，应注意，这些实施例并不是用来限制本技术公开的范围。
53.本技术实施例提供的数据处理方法包括数据采集、数据存储和数据获取过程。
54.首先，结合图1对本技术实施例提供的数据处理方法中数据采集的过程进行详细说明。
55.图1为本技术实施例提供的一种数据处理方法的流程图。
56.如图1所示，该数据处理方法可以应用于用户端的用户设备，该用户设备包括但不限于手机、平板电脑、电脑等设备，基于此，该数据处理方法具体可以包括如下步骤：
57.步骤110，获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；步骤120，在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；步骤130，通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；步骤140，向服务端发送url请求，url请求包括加密信息，url请求用于请求服务端将埋点数据存储到预设存埋点数据日志文件夹。
58.由此，用户端通过对埋点数据中的敏感数据进行加密，提高了埋点数据传输的安全性。
59.下面对上述步骤进行详细说明，具体如下所示：
60.首先，涉及步骤110，在一种或者多种可能的实施例中，在埋点数据不包括敏感数据的情况下，url请求包括以明文形式存在的埋点数据和第一位置标识，第一位置标识用于标识埋点数据在url请求中的位置
61.另外，为了提高后期数据获取过程的处理效率，这里，url请求还包括第一位置标识，第一位置标识用于标识加密信息在url请求中的位置，由此，以便根据该第一位置标识确定是否对存储的数据进行解密，以便用户查询和浏览。或者，url请求还可以包括第二标
识位置，该第二标识位置用于标识该埋点数据中不包含敏感信息。
62.示例性地，数据采集和存储过程中，用户端随机生成对称加密密钥，并使用该密钥加密敏感数据(比如用户身份标识信息、用户姓名等)，同时使用服务端公钥加密生成的对称密钥，并把加密后的埋点数据和加密后的密钥放到约定的url请求参数中，并将加第一位置标识为1传输至服务端(如无敏感数据则直接将埋点数据以明文形式添加到约定的url请求中并传给服务端)。
63.这样，本技术实施例提供了用户端加密和埋点数据获取模块的解密过程，使得埋点数据中的敏感数据在采集点保存时为密文状态，提高了埋点数据存储的安全性。
64.其次，结合图2和图3对本技术实施例提供的数据处理方法中数据存储的过程进行详细说明。
65.图2为本技术实施例提供的一种数据处理方法的流程图。
66.如图2所示，该数据处理方法可以应用于服务端的服务设备，该服务设备包括但不限于服务器、服务器集群、具有计算功能的服务节点、虚拟设备等，基于此，该数据处理方法具体可以包括如下步骤：
67.步骤210，接收用户端发送的url请求，url请求包括加密信息，加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；步骤220，分别将服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与url请求进行拼接，得到m个目标请求，n为正整数，m为正整数；步骤230，基于埋点数据日志记录目录，分别获取与m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；步骤240，将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
68.由此，对于服务端来说，服务端中的网站服务节点可以将接收到的加密后的埋点数据汇总至统一存储空间，即埋点数据日志文件夹，以提高后续埋点数据的获取效率，以及，由于各个网站服务节点可以对接收到的url请求进行统一配置，因此，使得后续埋点数据获取时，无论请求中标识的是哪个网站服务节点，均能获取相应的埋点数据日志文件，另外，在获取数据时，可以根据存储数据的反推过程，即基于维护每个网站服务节点的网站服务节点名命的目录文件夹，使得埋点数据获取脚本只要遍历一次与网站服务节点名对应的埋点数据源服务节点名列表就能确保获取了所有网站服务节点采集的当期埋点数据日志，解决了漏遍历和重复遍历的问题，进一步地提高了埋点数据的处理效率。
69.下面对上述步骤进行详细说明，具体如下所示：
70.首先，涉及步骤230，在一种或者多种可能的实施例中，网站服务节点包括存储空间，基于此，在该步骤230之前，该数据处理方法还可以包括：
71.在存储空间中，构建埋点数据日志记录目录；
72.在埋点数据日志记录目录下，构建以每个网站服务节点的网站服务节点名命的目录文件夹，目录文件夹用于区分不同的与网站服务节点对应的埋点数据源服务节点。
73.然后，涉及步骤240，在一种或者多种可能的实施例中，基于网站服务节点中的定时任务，将目标请求传输至埋点数据日志记录目录下与网站服务节点的网络服务节点名的目录文件夹；目标文件夹的日志文件名包括执行定时任务的日期信息。
74.示例性地，服务端在web服务节点上挂载共享nas，并在nas中新建约定名称的埋点
数据日志记录目录(如命名为nas_tracking_data)，并在该埋点数据日志记录目录下新建以各个web服务节点名命名的目录文件夹用以区分不同的埋点数据源服务节点，同时在各台web服务节点上启动埋点数据存储定时任务(每天执行一次)执行埋点数据存储脚本将埋点数据日志定时移动到nas中nas_tracking_data目录下以该web服务节点名命名的目录中，并给日志文件名添加当天的日期信息。然后，数据分析服务节点启动埋点数据获取定时任务(如每天执行一次，且时间在web服务节点执行埋点数据存储定时任务之后，延后时间视项目实际情况而定，可以延后一小时为例)，根据埋点数据源服务节点名列表将各个web服务节点名拼接到url请求中，并通过互联出访负载均衡向web服务节点发起请求，由web服务节点上部署的nginx将请求导向至相应埋点数据日志记录目录，从而获取相应的埋点数据日志文件，并存储到数据分析服务节点上的数据分析目录。
75.由此，为了更好的对上述内容进行说明，下面结合图3进行详细说明。
76.如图3所示，该数据采集和存储整体框架包含以下部分：
77.埋点数据交易，用户端将埋点数据以url请求传给服务端，并通过互联入访负载均衡将url请求负载至埋点数据采集模块中的各个web服务节点。
78.这里，埋点数据中若有敏感数据，则url请求的示例如下：https://《网站域名》/track_data？tkdata＝《加密后的埋点数据》&enkey＝《使用服务端公钥加密后的对称密钥》&isen＝1。其中，track_data为约定的埋点数据，值为使用用户端随机生成对称密钥加密后的埋点数据，enkey为服务端的密钥，值为使用服务端公钥加密后的对称密钥，isen为是否第一位置标识，其中1为加密。反之，埋点数据中若无敏感数据，url请求的示例如下：https://《网站域名》/track_data？tkdata＝《埋点数据》&isen＝0。其中，track_data为约定的埋点数据，值为未加密的埋点数据的明文，isen为第二位置标识，0为未加密。
79.埋点数据采集模块，本技术实施例中以web服务节点集群为例，集群中每台web服务节点都部署nginx用于接收由互联负载均衡转发而来的埋点数据交易请求，并将埋点数据作为日志存储在web服务节点本地磁盘的local_track_data目录下；nginx关键配置如下：
80.location/track_data{##识别埋点数据交易标识
81.access_log/《local_track_data目录绝对路径》/tk.access..log；##生成埋点数据日志，以记录埋点数据交易请求，日志文件名格式为tk.access..log}。
82.埋点数据存储定时任务，用于定时(如每天一次，以凌晨24点为例)执行埋点数据存储脚本，埋点数据存储定时任务可使用linux crontab实现，crontab示例配置如下：
83.0 24***sh/《埋点数据存储脚本绝对路径》
84.埋点数据存储脚本伪代码如下：
85.dt＝`date“+％y-％m-％d”`##定义日期格式为年-月-日，如2022-01-25
86.logsrcdir＝/《local_track_data目录绝对路径》##定义埋点数据源目录
87.h＝`hostname`##通过服务器环境变量获取该web服务器名
88.logdstdir＝/《nas_tracking_data目录绝对路径》/$h##定义移动埋点数据日志记录目录为nas盘中nas_tracking_data目录下以该web服务器名命名的目录
89.mkdir
–
p$logdstdir##若移动埋点数据日志记录目录不存在则创建
90.cd$logsrcdir##进入埋点数据源目录
91.mv tk.access.log$logdstdir/tk.access.log.$dt##将当期的埋点数据日志全部转移至移动埋点数据日志记录目录，并在日志名末尾添加日期后缀，如tk.access.log.2022-01-25。
92.埋点数据存储模块，本文以共享nas为例，共享nas下的根据约定建立埋点数据日志记录目录，该目录下根据各个web服务节点名建立子目录，用于存放从相应web服务节点埋点数据源目录转移过来的埋点数据日志文件。
93.埋点数据清理模块，该模块启动定时任务清理指定时间段前的埋点日志，其执行时间在埋点数据存储定时任务之后，以每次清理七天前的埋点日志数据为例，例如，清理脚本伪代码为：find《nas_tracking_data目录绝对路径》-type f-mtime+7
–
exec rm{}\；。
94.如此，本技术实施例提供的数据处理架构，提供了埋点数据采集模块、埋点数据存储模块、埋点数据清理模块和埋点数据获取模块，实现了数据采集和存储的过程，以及，数据采集和存储的过程对各个埋点数据采集点进行统一配置，使得后续埋点数据获取时无论请求中标识的是哪个采集点，其均能从埋点数据存储模块中获取相应的埋点数据日志文件；数据采集和存储子协议约定埋点数据采集点每天执行一次全量移动本地埋点数据日志文件到埋点数据存储模块的动作，同时根据协议添加当期标识，方便地解决了区分不同日期增量埋点数据日志的问题。
95.然后，在步骤240之后，结合图4和图5对本技术实施例提供的数据处理方法中数据获取的过程进行详细说明。
96.这样，url请求还包括第一位置标识，第一位置标识用于标识加密信息在url请求中的位置，对称密钥由服务端的公钥加密，基于此，在步骤240之后，该数据处理方法还可以包括：
97.步骤2501，获取查询任务；
98.步骤2502，基于查询任务，查询埋点数据日志文件夹中的埋点日志文件，并将埋点日志文件汇总至数据分析目录；
99.步骤2503，按照预设顺序读取数据分析名录中的埋点日志文件，获取与埋点日志文件对应的加密参数位；
100.步骤2504，在加密参数位的标识为第一位置标识的情况下，通过服务端的私钥解密对称密钥，得到解密对称密钥；
101.步骤2505，通过解密密钥，对与第一位置标识对应的敏感数据进行解密，得到以明文形式存在的埋点数据；
102.步骤2506，将埋点数据传输至与查询任务对应的查询文件夹，以便向用户端反馈。
103.另外，在加密参数位的标识为第二位置标识的情况下，将埋点日志文件传输至查询文件夹。
104.示例性地，数据分析服务器获得埋点日志文件后，按行读取数据分析目录中的文件内容并读取约定的加密参数位，若加密参数位为1，则使用服务端私钥解密url参数中约定密钥参数对应的值得到对称密钥，然后使用得到的对称密钥解密url参数中约定埋点数据参数对应的值得到埋点数据明文，并汇总至约定文件中(若加密参数位为0，则直接将埋点数据明文汇总至约定文件)。
105.如此，数据获取可以通过维护埋点数据源服务节点名列表，解决了漏遍历和重复
遍历的问题，极大提高了埋点数据从采集点获取时的效率，数据采集和存储的过程中设定了加密的位置标识，此时，可根据位置标识确定埋点数据是否进行加解密，兼顾了埋点数据的安全性和加解密效率。
106.由此，为了更好的对上述内容进行说明，下面结合图4进行详细说明。
107.如图4所示，数据获取整体框架包含以下部分：
108.埋点数据源服务节点名列表，用于存储各个埋点数据源服务节点名的列表，此处为各个web服务器名列表；数据分析目录，用于存储获取到的埋点数据日志文件的目录，本文命名为track_data_store_dir；埋点数据获取定时任务，用于定时(如每天一次，且在埋点数据存储定时任务执行时间之后，以凌晨1点为例)执行埋点数据获取脚本，实现埋点数据的解密和汇总。
109.其中，埋点数据获取定时任务可使用linux crontab实现，crontab示例配置如下：0 1***sh/《埋点数据获取脚本绝对路径》；埋点数据获取脚本伪代码如下：host_name_list＝(“web服务节点1主机名”,“web服务节点2主机名”,
…
,“web服务节点n主机名”)###埋点数据源服务节点名列表；url＝http://《互联出访负载均衡地址和端口》###配置出访负载均衡的地址和用于接收埋点数据获取请求的端口，该端口收到埋点数据获取请求时会将请求转发至某台web服务节点，并由该web服务节点上部署的nginx处理请求；dt＝`date
–
d“yesterday”+％y％m％d`##定义日期为当前执行定时任务日期的前一天，每次执行埋点数据获取脚本时获取日期为前一天的数据，且格式为年-月-日，如当前执行定时任务日期为2022-01-26，那么得到的日期为2022-01-25；track_data_store_dir＝/《数据分析目录绝对路径》###定义数据分析目录；
110.sum tkdatafile＝$track_data_store_dir/sumtkdatafile_$dt.txt##约定指定日期汇总文件，mkdir
–
p$track_data_store_dir###若数据分析目录不存在则新建，index＝0####从索引0开始遍历web服务节点，host_cnt＝${#host_name_list[@]}###获得web服务节点个数；data_file_name＝tk.access.log.${dt}###待获取的埋点数据日志文件名；while[${index}
–
lt${host_cnt}]###遍历所有互联web服务节点；do；host_name＝${host_name_list[${index}]}###获取相应索引下标的web服务节点名；
[0111]
url_str＝${url}/track_data_store/${host_name}/${data_file_name}###最终请求的url，其中/track_data_store为web服务节点上nginx用于匹配埋点数据获取请求的前缀，得到的最终请求url格式为http://《互联出访负载均衡地址和端口》/track_data_store/《当前遍历的web服务器名》/tk.access.log.《执行定时任务当前日期的前一天日期》；data_store_file＝${track_data_store_dir}/${host_name}.${data_file_name}###本次请求最终存储埋点数据文件的绝对路径，格式为/《数据分析目录绝对路径》/《本次遍历的web服务节点主机名》.tk.access.log.《执行定时任务当前日期的前一天日期》；
[0112]
wget
–
o${track_data_store_dir}/${host_name}.${data_file_name}.${dt}${url_str}###使用wget向互联出访负载均衡发起埋点数据获取请求
[0113]
let index++###索引自增，获取埋点数据源服务节点名列表下一台web服务节点名，用以获取该web服务节点采集存储的埋点数据日志文件；do；isen＝getisen(ct)；###获取加密标识位；if(isen){##埋点数据被加密；tkdata＝gettkdata(ct)；##获取加密后的埋点数据；realtkdata＝decripttkdata(tkdata)；##使用服务节点公钥解密得到埋点数据明
文；}else{##埋点数据未加密；realtkdata＝gettkdata(ct)；##直接获取埋点数据明文}；cat$realtkdata》$sumtkdatafile；##将该行埋点数据明文汇总至当日埋点数据汇总文件中；done#文件内容遍历结束；done#服务器遍历结束。
[0114]
此外，web服务器集群，集群中每台web服务节点都部署nginx用于接收埋点数据获取请求，其与上文采集和存储装置中的web服务节点一致，区别在于埋点数据获取请求命中的nginx配置块不同，相应的nginx配置块关键配置如下：location/track_data_store/{alias/《埋点数据日志记录目录绝对路径》/###将请求中以track_data_store开头的埋点数据获取请求导向至nas中的埋点数据日志记录目录，并根据请求中的web服务节点名信息导向至埋点数据日志记录目录下以相应web服务节点名命名的目录，从而获取相应web服务节点采集存储的埋点数据日志文件}；埋点数据存储模块，共享nas下的埋点数据日志记录目录，与上文采集和存储过程中的共享nas盘的埋点数据日志记录目录相同。
[0115]
需要说明的是，埋点数据清理模块，清理过期的埋点数据，可根据需要清理指定天数前的数据，此处不再赘述。
[0116]
综上，本技术实施例提供的数据处理方法，对于用户端来说，可以根据数据采集、数据存储和数据获取对埋点数据中的敏感数据进行加密，加强了埋点数据传输的安全性。对于用户端来说，其一，通过各个web服务节点根据埋点数据日志并汇总至统一存储空间，提高了后续埋点数据的获取效率；其二，各个web服务节点可以对接收到的url请求进行统一配置，无论请求中标识的是哪个网站服务节点，均能获取相应的埋点数据日志文件；其三，各个web服务节点根据每天执行一次全量移动本地埋点数据日志文件到埋点数据存储模块的动作，确保每次执行动作时都是移动当期的埋点数据日志文件，同时根据约定协议添加当期标识，方便地解决了区分不同日期增量埋点数据日志的问题；其四，埋点数据获取模块可以维护埋点数据源服务器名列表，使得数据分析服务器上的埋点数据获取脚本只要遍历一次埋点数据源服务器名列表就能确保获取了所有互联web服务器采集的当期埋点数据日志，解决了漏遍历和重复遍历的问题；其五，可以基于用户端加密埋点数据，对其存储的数据进行解密，使得埋点数据的敏感数据在采集点保存时为密文状态，提高了埋点数据存储的安全性；其六，通过位置标识表示加密标志位，可只对敏感数据进行加解密，提高了加解密动作的灵活性和效率。
[0117]
基于相同的发明构思，本技术实施例基于上述内容，还提供了一种数据处理系统。具体结合图5进行详细说明。
[0118]
图5为本技术实施例提供的一种数据处理系统50的结构示意图。
[0119]
如图5所示，该数据处理系统可以包括：
[0120]
用户端501和服务端502，服务端502包括n个网站服务节点5021和埋点数据源服务节点5022，n为正整数；其中，
[0121]
用户端，用于获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；向服务端发送url请求，url请求包括加密信息；
[0122]
网站服务节点，用于接收url请求；分别将服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与url请求进行拼接，得到m个目标请求，m为正整数；
[0123]
埋点数据源服务节点，用于基于埋点数据日志记录目录，分别获取与m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
[0124]
基于此，在一种或多种可能的实施例中，该url请求还包括第一位置标识，第一位置标识用于标识加密信息在url请求中的位置，对称密钥由服务端的公钥加密；基于此，服务端50还包括数据分析服务节点5023，数据分析服务节点，用于基于查询任务，查询埋点数据日志文件夹中的埋点日志文件，并将埋点日志文件汇总至数据分析目录；
[0125]
按照预设顺序读取数据分析名录中的埋点日志文件，获取与埋点日志文件对应的加密参数位；
[0126]
在加密参数位的标识为第一位置标识的情况下，通过服务端的私钥解密对称密钥，得到解密对称密钥；
[0127]
通过解密密钥，对与第一位置标识对应的敏感数据进行解密，得到以明文形式存在的埋点数据；
[0128]
将埋点数据传输至与查询任务对应的查询文件夹，以便向用户端反馈。
[0129]
需要说明书的是，上述网站服务节点5021、埋点数据源服务节点5022和数据分析服务节点5023均可以为下述中的至少一种：服务器、计算模块、服务器集群、虚拟节点等，这里，仅以节点进行举例说明，在此不限定其具体形态。
[0130]
如此，一方面，对于用户端来说，用户端通过对埋点数据中的敏感数据进行加密，加强了埋点数据传输的安全性。另一方面，对于服务端来说，服务端中的网站服务节点可以将接收到的加密后的埋点数据汇总至统一存储空间，即埋点数据日志文件夹，以提高后续埋点数据的获取效率，以及，由于各个网站服务节点可以对接收到的url请求进行统一配置，因此，使得后续埋点数据获取时，无论请求中标识的是哪个网站服务节点，均能获取相应的埋点数据日志文件，另外，在获取数据时，可以根据存储数据的反推过程，即基于维护每个网站服务节点的网站服务节点名命的目录文件夹，使得埋点数据获取脚本只要遍历一次与网站服务节点名对应的埋点数据源服务节点名列表就能确保获取了所有网站服务节点采集的当期埋点数据日志，解决了漏遍历和重复遍历的问题，进一步地提高了埋点数据的处理效率。
[0131]
基于相同的发明构思，本技术还提供了一种数据处理装置。具体结合图6进行详细说明。
[0132]
图6是本技术一个实施例提供的数据处理装置的结构示意图。
[0133]
在本技术一些实施例中，图6所示数据处理装置可以设置于用户端的用户设备中。
[0134]
如图6所示，该数据处理装置60具体可以包括：
[0135]
获取模块601，用于获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；
[0136]
生成模块602，用于在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；
[0137]
加密模块603，用于通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；
[0138]
发送模块604，用于向服务端发送url请求，url请求包括加密信息，url请求用于请求服务端将埋点数据存储到预设存埋点数据日志文件夹。
[0139]
在本技术实施例中，url请求还包括第一位置标识，第一位置标识用于标识加密信息在url请求中的位置。以及，在埋点数据不包括敏感数据的情况下，url请求包括以明文形式存在的埋点数据和第一位置标识，第一位置标识用于标识埋点数据在url请求中的位置。
[0140]
如此，对于用户端来说，用户端通过对埋点数据中的敏感数据进行加密，加强了埋点数据传输的安全性。
[0141]
图7是本技术一个实施例提供的数据处理装置的结构示意图。
[0142]
在本技术一些实施例中，图7所示数据处理装置可以设置于服务端的服务设备中。
[0143]
如图7所示，该数据处理装置70具体可以包括：
[0144]
接收模块701，用于接收用户端发送的url请求，url请求包括加密信息，加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；
[0145]
拼接模块702，用于分别将服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与url请求进行拼接，得到m个目标请求，n为正整数，m为正整数；
[0146]
获取模块703，用于基于埋点数据日志记录目录，分别获取与m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；
[0147]
存储模块704，用于将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
[0148]
下面分别对本技术实施例中数据处理装置70进行详细说明。
[0149]
在一种或者多种可选的实施例中，本技术实施例中的数据处理装置70还可以包括构建模块；其中，
[0150]
构建模块，用于在网站服务节点包括存储空间的情况下，在存储空间中，构建埋点数据日志记录目录；
[0151]
在埋点数据日志记录目录下，构建以每个网站服务节点的网站服务节点名命的目录文件夹，目录文件夹用于区分不同的与网站服务节点对应的埋点数据源服务节点。
[0152]
在另一种或者多种可选的实施例中，存储模块704具体可以用于，基于网站服务节点中的定时任务，将目标请求传输至埋点数据日志记录目录下与网站服务节点的网络服务节点名的目录文件夹；目标文件夹的日志文件名包括执行定时任务的日期信息。
[0153]
在又一种或者多种可选的实施例中，申请实施例中的数据处理装置70还可以包括查询模块、解密模块和传输模块；其中，
[0154]
获取模块703还可以用于，在url请求还包括第一位置标识，第一位置标识用于标识加密信息在url请求中的位置，对称密钥由服务端的公钥加密的情况下，获取查询任务；
[0155]
查询模块，用于基于查询任务，查询埋点数据日志文件夹中的埋点日志文件，并将埋点日志文件汇总至数据分析目录；
[0156]
获取模块703还可以用于，按照预设顺序读取数据分析名录中的埋点日志文件，获取与埋点日志文件对应的加密参数位；
[0157]
解密模块，用于在加密参数位的标识为第一位置标识的情况下，通过服务端的私
钥解密对称密钥，得到解密对称密钥；以及，
[0158]
通过解密密钥，对与第一位置标识对应的敏感数据进行解密，得到以明文形式存在的埋点数据；
[0159]
传输模块，用于将埋点数据传输至与查询任务对应的查询文件夹，以便向用户端反馈。
[0160]
在再一种或者多种可选的实施例中，传输模块还可以用于，在加密参数位的标识为第二位置标识的情况下，将埋点日志文件传输至查询文件夹。
[0161]
如此，对于服务端来说，服务端中的网站服务节点可以将接收到的加密后的埋点数据汇总至统一存储空间，即埋点数据日志文件夹，以提高后续埋点数据的获取效率，以及，由于各个网站服务节点可以对接收到的url请求进行统一配置，因此，使得后续埋点数据获取时，无论请求中标识的是哪个网站服务节点，均能获取相应的埋点数据日志文件，另外，在获取数据时，可以根据存储数据的反推过程，即基于维护每个网站服务节点的网站服务节点名命的目录文件夹，使得埋点数据获取脚本只要遍历一次与网站服务节点名对应的埋点数据源服务节点名列表就能确保获取了所有网站服务节点采集的当期埋点数据日志，解决了漏遍历和重复遍历的问题，进一步地提高了埋点数据的处理效率。
[0162]
基于相同的发明构思，本技术还提供了一种数据处理设备。具体结合图8进行详细说明。
[0163]
图8是本技术一个实施例提供的数据处理设备的结构示意图。
[0164]
如图8所示，该数据处理设备可以包括本技术实施例中涉及的下述中的至少一种：计算设备、服务器。其中，该数据处理设备可以包括处理器801以及存储有计算机程序指令的存储器802。
[0165]
具体地，上述处理器801可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
[0166]
存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器802可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器802可在综合网关容灾设备的内部或外部。在特定实施例中，存储器802是非易失性固态存储器。在特定实施例中，存储器802包括固态存储(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
[0167]
处理器801通过读取并执行存储器802中存储的计算机程序指令，以实现上述实施例中的任意一种数据处理方法。
[0168]
在一个示例中，数据处理设备还可包括通信接口803和总线810。其中，如图8所示，处理器801、存储器802、通信接口803通过总线810连接并完成相互间的通信。
[0169]
通信接口803，主要用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。
[0170]
总线810包括硬件、软件或两者，将流量控制设备的部件彼此耦接在一起。举例来
说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线810可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
[0171]
该数据处理设备可以执行本技术实施例中的数据处理方法，从而实现结合图1至图7描述的数据处理方法和装置。
[0172]
另外，结合上述实施例中的数据处理方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据处理方法。
[0173]
需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0174]
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0175]
还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0176]
以上，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。

技术特征：
1.一种数据处理方法，其特征在于，应用于服务端，包括：接收用户端发送的url请求，所述url请求包括加密信息，所述加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，所述对称密钥由所述对称加密算法计算得到；分别将所述服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与所述url请求进行拼接，得到m个目标请求，n为正整数，m为正整数；基于埋点数据日志记录目录，分别获取与所述m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将所述每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。2.根据权利要求1所述的方法，其特征在于，所述网站服务节点包括存储空间；所述基于埋点数据日志记录目录，分别获取与所述n个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录之前，所述方法还包括：在所述存储空间中，构建埋点数据日志记录目录；在所述埋点数据日志记录目录下，构建以所述每个网站服务节点的网站服务节点名命的目录文件夹，所述目录文件夹用于区分不同的与所述网站服务节点对应的埋点数据源服务节点。3.根据权利要求1或2所述的方法，其特征在于，所述将所述每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹，包括：基于所述网站服务节点中的定时任务，将所述目标请求传输至所述埋点数据日志记录目录下与所述网站服务节点的网络服务节点名的目录文件夹；所述目标文件夹的日志文件名包括执行所述定时任务的日期信息。4.根据权利要求3所述的方法，其特征在于，所述url请求还包括第一位置标识，所述第一位置标识用于标识所述加密信息在所述url请求中的位置，所述对称密钥由所述服务端的公钥加密；所述将所述每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹之后，所述方法还包括：获取查询任务；基于所述查询任务，查询所述埋点数据日志文件夹中的埋点日志文件，并将所述埋点日志文件汇总至数据分析目录；按照预设顺序读取所述数据分析名录中的埋点日志文件，获取与所述埋点日志文件对应的加密参数位；在所述加密参数位的标识为所述第一位置标识的情况下，通过所述服务端的私钥解密所述对称密钥，得到解密对称密钥；通过所述解密密钥，对与所述第一位置标识对应的敏感数据进行解密，得到以明文形式存在的埋点数据；将所述埋点数据传输至与所述查询任务对应的查询文件夹，以便向用户端反馈。5.根据权利要求4所述的方法，其特征在于，所述获取与所述埋点日志文件对应的加密参数位之后，所述方法还包括：在所述加密参数位的标识为第二位置标识的情况下，将所述埋点日志文件传输至所述查询文件夹。
6.一种数据处理方法，其特征在于，应用于用户端，包括：获取埋点数据，所述埋点数据为经过数据埋点处理之后的结果数据；在所述埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；通过所述对称密钥加密所述埋点数据中的敏感数据，并通过服务端的公钥加密所述对称密钥，得到与所述埋点数据对应的加密信息；向所述服务端发送url请求，所述url请求包括所述加密信息，所述url请求用于请求所述服务端将所述埋点数据存储到预设存埋点数据日志文件夹。7.根据权利要求6所述的方法，其特征在于，所述url请求还包括第一位置标识，所述第一位置标识用于标识所述加密信息在所述url请求中的位置。8.根据权利要求6所述的方法，其特征在于，在所述埋点数据不包括敏感数据的情况下，所述url请求包括以明文形式存在的埋点数据和第一位置标识，所述第一位置标识用于标识所述埋点数据在所述url请求中的位置。9.一种数据处理系统，其特征在于，包括：用户端和服务端，所述服务端包括n个网站服务节点和埋点数据源服务节点，n为正整数；其中，所述用户端，用于获取埋点数据，所述埋点数据为经过数据埋点处理之后的结果数据；在所述埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；通过所述对称密钥加密所述埋点数据中的敏感数据，并通过所述服务端的公钥加密所述对称密钥，得到与所述埋点数据对应的加密信息；向所述服务端发送url请求，所述url请求包括所述加密信息；所述网站服务节点，用于接收所述url请求；分别将所述服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与所述url请求进行拼接，得到m个目标请求，m为正整数；所述埋点数据源服务节点，用于基于埋点数据日志记录目录，分别获取与所述m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将所述每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。10.根据权利要求9所述的系统，其特征在于，所述url请求还包括第一位置标识，所述第一位置标识用于标识所述加密信息在所述url请求中的位置，所述对称密钥由所述服务端的公钥加密；所述服务端还包括数据分析服务节点，所述数据分析服务节点，用于基于查询任务，查询所述埋点数据日志文件夹中的埋点日志文件，并将所述埋点日志文件汇总至数据分析目录；按照预设顺序读取所述数据分析名录中的埋点日志文件，获取与所述埋点日志文件对应的加密参数位；在所述加密参数位的标识为所述第一位置标识的情况下，通过所述服务端的私钥解密所述对称密钥，得到解密对称密钥；通过所述解密密钥，对与所述第一位置标识对应的敏感数据进行解密，得到以明文形式存在的埋点数据；将所述埋点数据传输至与所述查询任务对应的查询文件夹，以便向用户端反馈。
11.一种数据处理装置，其特征在于，应用于服务端，包括：接收模块，用于接收用户端发送的url请求，所述url请求包括加密信息，所述加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，所述对称密钥由所述对称加密算法计算得到；拼接模块，用于分别将所述服务端的n个网站服务节点中每个网站服务节点的网站服务节点名与所述url请求进行拼接，得到m个目标请求，n为正整数，m为正整数；获取模块，用于基于埋点数据日志记录目录，分别获取与所述m个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；存储模块，用于将所述每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。12.一种数据处理装置，其特征在于，应用于用户端，包括：获取模块，用于获取埋点数据，所述埋点数据为经过数据埋点处理之后的结果数据；生成模块，用于在所述埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；加密模块，用于通过所述对称密钥加密所述埋点数据中的敏感数据，并通过服务端的公钥加密所述对称密钥，得到与所述埋点数据对应的加密信息；发送模块，用于向所述服务端发送url请求，所述url请求包括所述加密信息，所述url请求用于请求所述服务端将所述埋点数据存储到预设存埋点数据日志文件夹。13.一种计算设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-8中任一项所述的数据处理方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8中任一项所述的数据处理方法。15.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的数据处理方法。

技术总结
本申请公开了一种数据处理方法、装置、设备及存储介质。涉及通信技术领域。该数据处理方法包括：接收用户端发送的URL请求，URL请求包括加密信息，加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；分别将服务端的N个网站服务节点中每个网站服务节点的网站服务节点名与URL请求进行拼接，得到M个目标请求；基于埋点数据日志记录目录，分别获取与M个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹，如此，解决了现有技术中分布式埋点数据处理效率低的问题。据处理效率低的问题。据处理效率低的问题。


技术研发人员：郑岸以 张雪英 陈盛林
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：2022.09.26
技术公布日：2023/1/6