分布式数据纠察预警系统的制作方法

本技术涉及数据库领域，特别涉及一种分布式数据纠察预警系统。

背景技术：

1、在当今信息化的社会中，大数据分析技术已经成为了企业和政府进行风险管理和预警的重要工具。大数据分析是指利用计算机和数学模型来分析大规模数据集，以发现隐藏在数据中的规律和趋势。通过大数据分析，可以帮助企业和政府更好地了解风险，预测未来的发展趋势，并采取相应的措施来应对风险。在数据分析的基础上，可以进行风险管理和预警。风险管理是指通过对潜在风险的识别、评估和应对，来降低风险对组织的影响。而预警则是在风险发生之前，通过数据分析来提前发现风险的迹象，以便采取相应的措施来避免风险的发生或减小风险的影响。例如，通过对金融市场数据的分析，可以发现市场的波动和风险事件，从而采取相应的投资策略；通过对用户行为数据的分析，可以发现用户的流失迹象，从而采取相应的留存策略。

2、在相关技术中，预警计算通常使用数据库存储过程的方式，该方案只能适用于简单的场景，在大批量数据，计算复杂或需要引用外部数据的场景下效率极低。还有部分预警系统使用flink，spark等流处理框架执行，但是此种方案最大的问题是对java或scala语言有强依赖，部分计算需要调用python函数库就需要使用java调用python实现效率较低，并且无法按任务的特定分布在指定的服务器上执行。

技术实现思路

1、本发明提供一种分布式数据纠察预警方法、装置、预警服务器及存储介质，解决预警系统无法预警执行效率低下和精准度不高的问题。包括原始数据库、初始化执行器、redis数据服务器、规则执行器集群、结果汇聚执行器和结果服务器；

2、所述原始数据库中存放系统实时产生的原始数据和用于数据纠察预警的预警规则；所述初始化执行器连接所述原始数据库，提取所述原始数据库中的原始数据和预警规则，将原始数据进行初始化到任务对象，以及将预警规则进行序列化，生成待执行任务表组；

3、所述redis数据服务器缓存初始化后的原始数据、预警规则和待执行任务表组，并同步所述规则执行器集群执行的任务及数据；

4、所述规则执行器集群中包含若干规则执行器，所述规则执行器基于从所述redis数据服务器中提取的目标待执行任务和预警规则执行匹配运算，并输出匹配计算结果；所述结果汇聚执行器连接所述规则执行器集群，接收和汇聚所述规则执行器输出的原始数据和命中的预警规则，并根据命中的预警规则生成预警结果，存放到结果服务器中。

5、具体的，所述待执行任务表组包括通用任务列表和若干亲和任务列表，所述亲和任务列表中为标记亲和标签的任务id，所述通用任务列表中为未标记亲和标签的任务id；不同亲和任务列表对应不同类型的亲和任务；

6、当所述规则执行器配置有亲和标签信息时，根据标签类型选定亲和任务列表，并从亲和任务列表中选定亲和任务作为所述目标待执行任务；当所述规则执行器未配置有亲和标签信息时，直接从通用任务列表中选择和确定所述目标待执行任务。

7、具体的，所述redis数据服务器中设置有redis结构模型，包括待执行任务表组、已完成任务列表和进行中任务列表；所述已完成任务列表中记录所述规则执行器集群执行器已执行完成的任务id；所述进行中任务列表中记录从所述待执行任务表组中选取的所述目标待执行任务的任务id。

8、具体的，所述redis数据服务器中还设置有对象模型，包括状态对象、规则对象、任务对象；

9、所述状态对象包含状态id、规则对象列表、预警规则id和结束状态标识；其中的状态id用于表示在不同时序下识别出的任务状态；规则对象列表用于表示当前状态id裂变出子任务的规则id，且每个状态id都对应有各自的规则对象列表；预警规则id表示状态id触发的预警规则；结束状态标识作为状态id触发预警的暂停标志；

10、所述规则对象包括规则id、匹配后状态id、亲和标签和规则执行类名；规则id用于表示执行过程使用的匹配规则；匹配后状态id用于表示任务在规则匹配完成后确定的任务状态；亲和标签用于确定任务类型和规则执行器；规则执行类名用于确定规则类型和执行方法；

11、所述任务对象包括任务id、过程数据、当前状态id、当前规则id、匹配成功状态标识和预警规则id；其中的当前状态id用于表示在当前时序下所处的任务状态；当前规则id表示任务在当前时序下所匹配的规则；过程数据用于多个规则执行器间参数传递。

12、具体的，所述redis数据服务器中还设置有对象池，所述对象池包括状态对象池、规则对象池和任务对象池；状态对象池中存储有执行匹配计算的所有任务状态和状态id，所述规则对象池中存储序列化后所有的规则信息和规则id，所述任务对象池中记录所有执行中任务和任务id；

13、所述初始化执行器将原始数据初始化生成任务对象，存储到共享的任务对象池中，并将生成任务加入到待执行任务表组；所述初始化执行器将预警规则进行序列化对状态对象和规则对象，分别存储到共享的状态对象池和规则对象池中。

14、具体的，所述规则执行器中设置有规则匹配自动机，规则匹配自动机基于redis结构模型和对象模型执行规则匹配计算；过程包括：

15、根据所述目标待执行任务提取原始数据和规则执行类名，并根据规则执行类名选定规则匹配计算的规则类型和匹配执行方法；根据初始输入的原始数据和初始任务id确定初始规则id和初始状态id，启动匹配工作流流程；

16、查询所述redis数据服务器，确定每个状态节点下与状态id相匹配的规则对象列表；每个任务状态对应一个状态节点；

17、基于所述规则对象列表中的规则id执行后续匹配计算，并确定出与规则id相对应的匹配后状态id。

18、具体的，当状态id对应的规则对象列表中仅包含一个规则id时，当前执行任务不进行裂变，且对应的任务id不改变；

19、当状态id对应的规则对象列表中包含至少两个规则id时，对当前执行任务进行裂变处理，并基于每条规则id生成单独子任务和新的状态id；继续基于对子任务继续创建任务匹配工作流；

20、当状态id对应的状态列表中不含规则id时，指示规则匹配失败。

21、具体的，当任务裂变生成单独子任务和新的状态id后，将裂变生成子任务的状态id插入到进行中任务列表，所述规则匹配自动机基于redis数据服务器的对象模型继续执行子任务的匹配计算；

22、当状态id对应的状态列表中不含规则id时，将所述进行中任务列表内对应的任务id删除。

23、具体的，每个执行的任务设置有状态结束标识，每个任务执行规则匹配计算后生成新的任务状态，且每个任务状态对应一个状态节点；当状态id对应的规则对象列表中包含有规则id时，不修改状态结束标识；

24、当状态id对应的规则对象列表中不包含规则id时，修改状态结束标识为有效值，指示当前任务状态的状态节点信息为结束标志；

25、在触发预警规则时，根据预警规则id确定预警信息，并输出原始数据和触发的预警信息，同时更新待执行任务列表、执行中任务列表和已完成任务列表，结束子线程服务。

26、具体的，所述规则执行器集群中的所有规则执行器相互联通，用于相互传输过程数据，基于过程数据执行规则匹配计算；所述规则执行器基于目标场景、算法语言或任务类型设置亲和标签。

27、本发明带来的有益效果至少包括：上述规则执行器可以根据不同的隐私场景自由设定纠察预警规则，且所有规则执行器在域内互联，原始数据直接从redis数据服务器获取，对于待执行任务设置的亲和标签和执行类名可以快速选定目标规则执行器，并启用相应的规则来匹配纠察，处理过程完全位于独立的规则执行器上，预警匹配仅输出预警结果，并不存在隐私数据泄露风险，安全性更高；

28、结果汇聚执行器与规则执行器集群互联，负责收集所有规则执行器输出的结果，对于确定触发预警的数据，将原始数据和命中的预警规则关联存储至预警结果数据库中，以供后续调取溯源。该方案可有效解决在预警规则中涉及到深度学习算法的问题，将预警规则的定义不局限于传统数值规则，同时可以将不同任务类型的分配到不同的服务器，将服务器硬件效能发挥到最大，大幅提高处理效率和预警准确率。

技术特征：

1.一种分布式数据纠察预警系统，其特征在于，包括原始数据库、初始化执行器、redis数据服务器、规则执行器集群、结果汇聚执行器和结果服务器；

2.根据权利要求1所述的方法，其特征在于，所述待执行任务表组包括通用任务列表和若干亲和任务列表，所述亲和任务列表中为标记亲和标签的任务id，所述通用任务列表中为未标记亲和标签的任务id；不同亲和任务列表对应不同类型的亲和任务；

3.根据权利要求1所述的方法，其特征在于，所述redis数据服务器中设置有redis结构模型，包括待执行任务表组、已完成任务列表和进行中任务列表；所述已完成任务列表中记录所述规则执行器集群执行器已执行完成的任务id；所述进行中任务列表中记录从所述待执行任务表组中选取的所述目标待执行任务的任务id。

4.根据权利要求1所述的方法，其特征在于，所述redis数据服务器中还设置有对象模型，包括状态对象、规则对象、任务对象；

5.根据权利要求4所述的方法，其特征在于，所述redis数据服务器中还设置有对象池，所述对象池包括状态对象池、规则对象池和任务对象池；状态对象池中存储有执行匹配计算的所有任务状态和状态id，所述规则对象池中存储序列化后所有的规则信息和规则id，所述任务对象池中记录所有执行中任务和任务id；

6.根据权利要求5所述的方法，其特征在于，所述规则执行器中设置有规则匹配自动机，规则匹配自动机基于redis结构模型和对象模型执行规则匹配计算；过程包括：

7.根据权利要求6所述的方法，其特征在于，当状态id对应的规则对象列表中仅包含一个规则id时，当前执行任务不进行裂变，且对应的任务id不改变；

8.根据权利要求7所述的方法，其特征在于，当任务裂变生成单独子任务和新的状态id后，将裂变生成子任务的状态id插入到进行中任务列表，所述规则匹配自动机基于redis数据服务器的对象模型继续执行子任务的匹配计算；

9.根据权利要求8所述的方法，其特征在于，每个执行的任务设置有状态结束标识，每个任务执行规则匹配计算后生成新的任务状态；当状态id对应的规则对象列表中包含有规则id时，不修改状态结束标识；

10.根据权利要求4所述的方法，其特征在于，所述规则执行器集群中的所有规则执行器相互联通，用于相互传输过程数据，基于过程数据执行规则匹配计算；所述规则执行器基于目标场景、算法语言或任务类型设置亲和标签。

技术总结
本申请公开分布式数据纠察预警系统，涉及数据库领域，初始化执行器连接原始数据库，提取原始数据库中的原始数据和预警规则，将原始数据和预警规则初始化；Redis数据服务器缓存初始化后原始数据和预警规则，同步规则执行器集群执行的任务及数据；规则执行器集群中规则执行器基于目标待执行任务和预警规则执行匹配运算，输出匹配计算结果；结果汇聚执行器汇聚输出的原始数据和命中的预警规则，根据命中的预警规则生成预警结果，存放结果服务器中。该方案可有效解决在预警规则中涉及到深度学习算法问题，将预警规则的定义不局限传统数值规则，同时可将不同任务类型分配到不同服务器，将服务器硬件效能发挥最大，大幅提高处理效率和预警准确率。

技术研发人员：裴俊枫,王宗
受保护的技术使用者：无锡锡银金科信息技术有限责任公司
技术研发日：
技术公布日：2024/9/23