数据分析方法、装置、设备、存储介质及程序产品与流程

本申请涉及数据处理，尤其涉及一种数据分析方法、装置、设备、存储介质及程序产品。

背景技术：

1、随着数字化运营模式的广泛应用，在企业大数据场景中，会定期将各子公司的数据收集录入到数据仓库中，数据会在数据仓库的核心仓库中统一进行加工处理，在经过处理后的数据会再同步到各个应用系统。

2、但由于数据来源众多，从数据仓库同步到应用系统前会经过多个环节流转，存在终端数据差异的隐患，如数据维护、重跑等场景造成的不一致，都将导致应用系统间的数据差异。

3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本申请的主要目的在于提供一种数据分析方法、装置、设备、存储介质及程序产品，旨在解决从数据仓库流转数据到应用系统所产生的数据差异的技术问题。

2、为实现上述目的，本申请提出一种数据分析方法，所述方法应用于数据分析平台，所述数据分析平台包括数据仓库和应用系统端，包括：

3、获取所述应用系统端的核对信息和所述数据仓库的参照信息；

4、根据所述参照信息，对所述核对信息进行全链路分析，得到数据全链路分析结果。

5、在一实施例中，所述应用系统端包括若干个应用系统，所述数据仓库包括数据源表和备份源表，

6、所述获取所述应用系统端的核对信息和所述数据仓库的参照信息的步骤包括：

7、对所述若干个应用系统进行信息采集，得到核对信息；

8、对所述数据源表和备份源表进行信息采集，得到参照信息。

9、在一实施例中，所述对所述若干个应用系统进行信息采集，得到核对信息的步骤，包括：

10、采集所述若干个应用系统的核对数据表信息；

11、基于预设的应用指标及所述若干个应用系统中对应的指标数据表，构建应用指标数据映射信息；

12、根据所述核对数据表信息和应用指标数据映射信息，获取核对信息。

13、在一实施例中，所述对所述数据源表和备份源表进行信息采集，得到参照信息的步骤，包括：

14、根据所述核对数据表信息，获取所述数据源表中对应的参照数据表信息；

15、将所述数据源表与所述备份源表进行比对，获取数仓字段级变化信息；

16、根据所述参照数据表信息和数仓字段级变化信息，得到参照信息。

17、在一实施例中，所述参照信息包括参照数据表信息和数仓字段级变化信息，所述核对信息包括核对数据表信息和应用指标数据映射信息，

18、所述根据所述参照信息，对所述核对信息进行全链路分析，得到数据全链路分析结果的步骤，包括：

19、根据所述参照数据表信息，对所述核对数据表信息进行一致性分析，得到一致性分析结果；

20、根据所述数仓字段级变化信息，对所述应用指标数据映射信息进行字段级链路分析，得到字段级链路分析结果；

21、根据所述一致性分析结果和字段级链路分析结果，得到数据全链路分析结果。

22、在一实施例中，所述根据所述数仓字段级变化信息，对所述应用指标数据映射信息进行字段级链路分析，得到字段级链路分析结果的步骤，包括：

23、根据所述数仓字段级变化信息和应用指标数据映射信息，构建字段级链接关系；

24、基于预设的应用指标和所述字段级链接关系，对所述数仓字段级变化信息进行分析，得到字段级链路分析结果。

25、此外，为实现上述目的，本申请还提出一种数据分析装置，所述数据分析装置包括：

26、信息获取模块，用于获取应用系统端的核对信息和数据仓库的参照信息；

27、数据分析模块，用于根据所述参照信息，对所述核对信息进行全链路分析，得到数据全链路分析结果。

28、此外，为实现上述目的，本申请还提出一种数据分析设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述数据分析方法的步骤。

29、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述数据分析方法的步骤。

30、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述数据分析方法的步骤。

31、本申请提供了一种数据分析方法，本申请首先获取应用系统端的核对信息和数据仓库的参照信息，再根据获取到的参照信息，对核对信息进行全链路分析，得到数据全链路分析结果，以分析应用系统端到数据仓库的全链路对于数据流转的影响程度。实现了全链路的数据分析，解决了从数据仓库流转数据到应用系统所产生的数据差异的问题，保障了数据流转的一致性。

技术特征：

1.一种数据分析方法，其特征在于，所述方法应用于数据分析平台，所述数据分析平台包括数据仓库和应用系统端，包括：

2.如权利要求1所述方法，其特征在于，所述应用系统端包括若干个应用系统，所述数据仓库包括数据源表和备份源表，

3.如权利要求2所述方法，其特征在于，所述对所述若干个应用系统进行信息采集，得到核对信息的步骤，包括：

4.如权利要求3所述方法，其特征在于，所述对所述数据源表和备份源表进行信息采集，得到参照信息的步骤，包括：

5.如权利要求1所述方法，其特征在于，所述参照信息包括参照数据表信息和数仓字段级变化信息，所述核对信息包括核对数据表信息和应用指标数据映射信息，

6.如权利要求5所述方法，其特征在于，所述根据所述数仓字段级变化信息，对所述应用指标数据映射信息进行字段级链路分析，得到字段级链路分析结果的步骤，包括：

7.一种数据分析装置，其特征在于，所述装置包括：

8.一种数据分析设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至6中任一项所述数据分析方法的步骤。

9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述数据分析方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述数据分析方法的步骤。

技术总结
本申请公开了一种数据分析方法、装置、设备、存储介质及程序产品，涉及数据处理技术领域，所述数据分析方法应用于数据分析平台，所述数据分析平台包括数据仓库和应用系统端，包括：获取所述应用系统端的核对信息和所述数据仓库的参照信息；根据所述参照信息，对所述核对信息进行全链路分析，得到数据全链路分析结果。实现了全链路的数据分析，解决了从数据仓库流转数据到应用系统所产生的数据差异的问题，保障了数据流转的一致性。

技术研发人员：钱晓波,王斌,马超,王平
受保护的技术使用者：招商银行股份有限公司
技术研发日：
技术公布日：2024/9/23