一种跨系统数据稽查方法和跨系统数据稽查工具与流程
本技术涉及数据处理领域，特别是涉及一种跨系统数据稽查方法和跨系统数据稽查工具。
背景技术：
1、在一些业务场景中，不同系统之间经常使用同一份数据，为了保证业务的顺利进行，需要利用源端系统中的数据对终端系统中的数据进行稽查以保证系统之间的数据协同一致。然而相关技术中通常由人工进行稽查，稽查效率低且错误率高。
技术实现思路
1、本技术提供了一种跨系统数据稽查方法和跨系统数据稽查工具，可实现对不同系统中的待稽查数据和标准数据的自动校对，避免人工稽查时存在的效率低且错误率高的问题。
2、第一方面，本技术提供了一种数据稽查方法，包括：
3、根据用户的稽查需求获取稽查配置信息，所述稽查配置信息包括数据采集配置信息和数据稽查策略信息；
4、根据所述数据采集配置信息采集待稽查数据和所述待稽查数据对应的标准数据，并将所述待稽查数据和所述标准数据存储至第一数据库中，所述待稽查数据和所述标准数据在被采集前分别位于不同的存储系统中；
5、根据所述数据稽查策略信息，从所述第一数据库中读取所述待稽查数据和所述标准数据，并利用所述标准数据对所述待稽查数据进行稽查，得到稽查结果。
6、可选地，所述数据采集配置信息至少包括：数据采集时间、所述待稽查数据所属的第一数据库表的信息以及所述标准数据所属的第二数据库表的信息；所述根据所述数据采集配置信息采集待稽查数据和所述待稽查数据对应的标准数据，包括：
7、在符合所述数据采集时间的情况下，根据所述第一数据库表的信息从终端系统的所述第一数据库表中读取所述待稽查数据，并根据所述第二数据库表的信息从源端系统的所述第二数据库表中读取所述标准数据。
8、可选地，所述数据稽查策略信息至少包括稽查类型和稽查字段，所述稽查类型包括数据缺失和数据不一致，所述稽查字段包括稽查主键和稽查项目；所述利用所述标准数据对所述待稽查数据进行稽查，得到稽查结果，包括：
9、若所述稽查类型为数据缺失，根据所述稽查主键，将所述待稽查数据和所述标准数据进行比对，得到所述待稽查数据中缺失的数据；
10、若所述稽查类型为数据不一致，根据所述稽查主键和所述稽查项目，将所述待稽查数据和所述标准数据进行比对，得到所述待稽查数据与所述标准数据不一致的数据。
11、可选地，所述稽查主键包括所述待稽查数据对应的第一主键和所述标准数据对应的第二主键，所述稽查项目包括所述待稽查数据对应的第一稽查项目和所述标准数据对应的第二稽查项目；所述根据所述稽查主键和所述稽查项目，将所述待稽查数据和所述标准数据进行比对，包括：
12、根据所述第一主键在所述待稽查数据中确定第一行数据，以及根据所述第二主键在所述标准数据中确定第二行数据；
13、根据所述第一稽查项目在所述第一行数据中确定第一数据，以及根据所述第二稽查项目在所述第二行数据中确定第二数据；
14、将所述第一数据与所述第二数据进行比对。
15、可选地，在所述得到稽查结果之后，所述方法还包括：
16、将所述稽查结果存储至所述第一数据库中。
17、可选地，在所述将所述稽查结果存储至所述第一数据库中之后，所述方法还包括：
18、读取所述第一数据库中的稽查结果，并对其中的异常数据进行统计，得到统计结果；
19、将所述统计结果存储至第二数据库中。
20、可选地，在所述将所述统计结果存储至第二数据库中之后，所述方法还包括：
21、从所述第二数据库中读取所述异常数据对应的统计结果；
22、将所述统计结果发送至目标接收设备。
23、可选地，在所述根据用户的稽查需求获取稽查配置信息之后，所述方法还包括：
24、将所述稽查配置信息存储至所述第二数据库中。
25、可选地，所述第一数据库为hive数据仓库，所述第二数据库为关系型数据库。
26、第二方面，本技术提供了一种跨系统数据稽查工具，包括：
27、第一获取模块，用于根据用户的稽查需求获取稽查配置信息，所述稽查配置信息包括数据采集配置信息和数据稽查策略信息；
28、第二获取模块，用于根据所述数据采集配置信息采集待稽查数据和所述待稽查数据对应的标准数据，并将所述待稽查数据和所述标准数据存储至第一数据库中，所述待稽查数据和所述标准数据在被采集前分别位于不同的存储系统中；
29、稽查模块，用于根据所述数据稽查策略信息，从所述第一数据库中读取所述待稽查数据和所述标准数据，并利用所述标准数据对所述待稽查数据进行稽查，得到稽查结果。
30、可选地，所述数据采集配置信息至少包括：数据采集时间、所述待稽查数据所属的第一数据库表的信息以及所述标准数据所属的第二数据库表的信息；所述第二获取模块包括：
31、获取子模块，用于在符合所述数据采集时间的情况下，根据所述第一数据库表的信息从终端系统的所述第一数据库表中读取所述待稽查数据，并根据所述第二数据库表的信息从源端系统的所述第二数据库表中读取所述标准数据。
32、可选地，所述数据稽查策略信息至少包括稽查类型和稽查字段，所述稽查类型包括数据缺失和数据不一致，所述稽查字段包括稽查主键和稽查项目；所述稽查模块包括：
33、第一比对子模块，用于若所述稽查类型为数据缺失，根据所述稽查主键，将所述待稽查数据和所述标准数据进行比对，得到所述待稽查数据中缺失的数据；
34、第二比对子模块，用于若所述稽查类型为数据不一致，根据所述稽查主键和所述稽查项目，将所述待稽查数据和所述标准数据进行比对，得到所述待稽查数据与所述标准数据不一致的数据。
35、可选地，所述稽查主键包括所述待稽查数据对应的第一主键和所述标准数据对应的第二主键，所述稽查项目包括所述待稽查数据对应的第一稽查项目和所述标准数据对应的第二稽查项目；所述第二比对子模块包括：
36、第一确定子模块，用于根据所述第一主键在所述待稽查数据中确定第一行数据，以及根据所述第二主键在所述标准数据中确定第二行数据；
37、第二确定子模块，用于根据所述第一稽查项目在所述第一行数据中确定第一数据，以及根据所述第二稽查项目在所述第二行数据中确定第二数据；
38、第三比对子模块，用于将所述第一数据与所述第二数据进行比对。
39、可选地，所述装置还包括：
40、第一存储模块，用于在所述得到稽查结果之后，将所述稽查结果存储至所述第一数据库中。
41、可选地，所述装置还包括：
42、统计模块，用于在所述将所述稽查结果存储至所述第一数据库中之后，读取所述第一数据库中的稽查结果，并对其中的异常数据进行统计，得到统计结果；
43、第二存储模块，用于将所述统计结果存储至第二数据库中。
44、可选地，所述装置还包括：
45、读取模块，用于在所述将所述统计结果存储至第二数据库中之后，从所述第二数据库中读取所述异常数据对应的统计结果；
46、发送模块，用于将所述统计结果发送至目标接收设备。
47、可选地，所述装置还包括：
48、第三存储模块，用于在所述根据用户的稽查需求获取稽查配置信息之后，将所述稽查配置信息存储至所述第二数据库中。
49、可选地，所述第一数据库为hive数据仓库，所述第二数据库为关系型数据库。
50、本技术提供了一种跨系统数据稽查方法，首先根据用户的稽查需求获取稽查配置信息(包括数据采集配置信息和数据稽查策略信息)，然后根据数据采集配置信息采集待稽查数据和待稽查数据对应的标准数据，并将待稽查数据和标准数据存储至第一数据库中，待稽查数据和标准数据在被采集前分别位于不同的存储系统中；接着根据数据稽查策略信息，从第一数据库中读取待稽查数据和标准数据，并利用标准数据对待稽查数据进行稽查，得到稽查结果。通过本技术的方法可实现对不同系统(源端系统和终端系统)中的待稽查数据和标准数据的自动校对，避免人工稽查时存在的效率低且错误率高的问题。
技术特征：
1.一种跨系统数据稽查方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据采集配置信息至少包括：数据采集时间、所述待稽查数据所属的第一数据库表的信息以及所述标准数据所属的第二数据库表的信息；所述根据所述数据采集配置信息采集待稽查数据和所述待稽查数据对应的标准数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述数据稽查策略信息至少包括稽查类型和稽查字段，所述稽查类型包括数据缺失和数据不一致，所述稽查字段包括稽查主键和稽查项目；所述利用所述标准数据对所述待稽查数据进行稽查，得到稽查结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述稽查主键包括所述待稽查数据对应的第一主键和所述标准数据对应的第二主键，所述稽查项目包括所述待稽查数据对应的第一稽查项目和所述标准数据对应的第二稽查项目；所述根据所述稽查主键和所述稽查项目，将所述待稽查数据和所述标准数据进行比对，包括：
5.根据权利要求1所述的方法，其特征在于，在所述得到稽查结果之后，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在所述将所述稽查结果存储至所述第一数据库中之后，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，在所述将所述统计结果存储至第二数据库中之后，所述方法还包括：
8.根据权利要求6所述的方法，其特征在于，在所述根据用户的稽查需求获取稽查配置信息之后，所述方法还包括：
9.根据权利要求6-8任一项所述的方法，其特征在于，所述第一数据库为hive数据仓库，所述第二数据库为关系型数据库。
10.一种跨系统数据稽查工具，其特征在于，包括：
技术总结
本申请提供了一种跨系统数据稽查方法和跨系统数据稽查工具，跨系统数据稽查方法包括：根据用户的稽查需求获取稽查配置信息，稽查配置信息包括数据采集配置信息和数据稽查策略信息；根据数据采集配置信息采集待稽查数据和待稽查数据对应的标准数据，并将待稽查数据和标准数据存储至第一数据库中，待稽查数据和标准数据在被采集前分别位于不同的存储系统中；根据数据稽查策略信息，从第一数据库中读取待稽查数据和标准数据，并利用标准数据对待稽查数据进行稽查，得到稽查结果。通过本申请的数据稽查方法可实现对不同系统(源端系统和终端系统)中的待稽查数据和标准数据的自动校对，避免人工稽查时存在的效率低且错误率高的问题。
技术研发人员：杨磊,张国红,陈树玲,王彦龙,马楷禹,毛志敏,陆胥宏,祁学进
受保护的技术使用者：北京首钢股份有限公司
技术研发日：
技术公布日：2024/9/23