一种电费数字化应用平台构建方法与流程

1.本发明涉及电费核算技术领域，尤其涉及一种电费数字化应用平台构建方法。


背景技术：

2.在电力营销领域，随着数字化转型的深入推进，营销业务已基本实现全业务信息化和平台化，数字技术也在营销业务和终端用户间深度融合。在电费核算领域，随着集约化工作的全面开展，业务体系已基本实现流程化和系统化，但由于风险管控的要求，电费核算发行尚未实现全面自动化，仍需大量人力投入来保障电费核算发行的业务开展，目前亟待通过对业务流程进行分析和抽离，构建数字化员工来降低人工成本，并提升核算质效。数字化员工是以人工智能、数据分析、流程自动化等多重技术深度融合应用创造的高度拟人化的新型工作人员，可以通过模仿人类的工作状态，自动执行简单、重复、繁琐、规则性强的业务流程，可以帮助企业将人力资源从初级、重复的繁琐事务中解放出来，投身到更有价值且更需要创造力的工作中。目前构建数字化员工的技术主要包括两方面：流程自动化技术和数据分析技术。
3.流程自动化技术的实现方式主要有两种，一种是基于业务流程针对性地对业务系统开展改造，在系统内部实现流程自动化，但此类方式地开发周期长，且与系统地耦合度高，当业务流程发生变更时，自动化程序的系统维护成本高，且系统维护期间需要重新回到人工操作的阶段，将对于企业团队的管理工作造成压力。为了降低自动化流程与系统间的耦合性，目前主流的rpa技术往往不对业务系统本身进行改造，而是通过外部程序实现业务操作流程的自动化，这类技术往往是在理解应用操作的基础上，根据预先设定的业务处理规则和操作行为来模拟用户界面的操作，增强和拓展用户与计算机系统的交互过程，自动完成一系列特定的工作流程和预期任务，从而有效实现人、业务和信息系统的一体化集成，基于外部程序的rpa技术需要依赖本地部署，不利于大规模推广使用。
4.数据分析技术是基于数据的分布进行探索性分析，目的是挖掘数据中有价值的信息以服务企业决策，分析手段包括数据相关性分析、数据聚类分析、数据可视化分析等。
5.虽然现在不少行业已经在数字化转型过程中开始了数字化员工赋能企业效能的探索，并且在电力营销领域也存在一些成功的应用，但这些应用往往是针对某个具体的业务环节，缺乏体系化的构建方法，当业务发生变更或者切换应用场景时，无法直接迁移构建新的数字化员工，往往需要重新基于业务流程进行构建。并且，在实际应用过程中，涉及跨系统平台的应用中，数字化流程构建方法受限于系统性能和业务需求，数字化员工的稳定性和操作精度无法达到业务预期的要求。


技术实现要素：

6.针对现有技术中的缺陷和不足，本发明提供了一种电费数字化应用平台构建方法，以解决现有技术中存在的在实际应用过程中，涉及跨系统平台的应用中，数字化流程构建方法受限于系统性能和业务需求，数字化员工的稳定性和操作精度无法达到业务预期的
要求的问题。
7.作为本发明的第一个方面，提供一种电费数字化应用平台构建方法，所述电费数字化应用平台包括数据层、组件层和服务层，所述电费数字化应用平台构建方法包括：步骤s1：根据业务需求梳理电费数据指标，形成包括一级原始指标、二级汇总指标和三级分析指标的层级指标体系；步骤s2：对所述一级原始指标的查询复杂度进行分析，并基于业务需求和分析出的所述一级原始指标的查询复杂度，从所述一级原始指标中筛选出高耗时查询指标；步骤s3：将所述二级汇总指标和所述高耗时查询指标的相关查询库表通过数据实时同步技术从业务数据库传输到中台数据库，以形成数据源表；步骤s4：基于所述层级指标体系和数据源表在所述中台数据库中构建数据仓库，并形成包括业务数据库、中台数据库和本地数据库的三层数据存储架构，同时基于数据同步流，以建立所述业务数据库、中台数据库和本地数据库三者之间的数据一致性保障机制；步骤s5：在所述数据同步流的基础上，基于业务需求构建所述组件层和所述应用层。
8.进一步地，所述根据业务需求梳理电费数据指标，形成包括一级原始指标、二级汇总指标和三级分析指标的层级指标体系，还包括：所述一级原始指标为未经任何计算或者汇总处理的原始数据，包括用户的用电类别、市场化属性和电价类别；所述二级汇总指标为在原始数据的基础上进行分类汇总得到的统计型数据，包括全省月度总用电量、发行用户数、总售电量和总销售电费；所述三级分析指标为对于业务分析具有指导意义的分析数据，包括月电量同比增长率、电费自动发行率和电费回收率。
9.进一步地，所述对所述一级原始指标的查询复杂度进行分析，并基于业务需求和分析出的所述一级原始指标的查询复杂度，从所述一级原始指标中筛选出高耗时查询指标，还包括：选定所述一级原始指标中的当前指标；如果所述一级原始指标中的当前指标需要跨库查询，记录该当前指标的查询难度为1，否则为0，用b记录该布尔值；分别选取月初核算期、月中试算期以及月末预抄核期间将当前指标在业务数据库中进行单次查询操作，并记录三次查询时间为t1、t2和t3；以(b,t
avg
,t
max
)的三元组作为查询难度的量化指标，其中t
avg
=(t1+t2+t3)/3为三次查询的平均查询时间，t
max
=max(t1,t2,t3)表示三次查询的最大查询时间，最后根据如下的判定逻辑筛选出高耗时查询指标：如果当前指标需要跨库查询，则直接判定为高耗时查询指标，否则判定当前指标的平均查询时间是否大于第一预设阈值；若当前指标的平均查询时间大于第一预设阈值，则当前指标为高耗时查询指标，否则进一步判定当前指标的最大查询时间是否大于第二预设阈值；若当前指标的最大查询时间大于第二预设阈值，则当前指标为高耗时查询指标，否则，结束流程。
10.进一步地，所述将所述二级汇总指标和所述高耗时查询指标的相关查询库表通过数据实时同步技术从业务数据库传输到中台数据库，以形成数据源表，还包括：数据实时同步技术采用ogg技术来保证业务数据库与中台数据库的低延迟同步；其中，ogg技术基于源数据库的日志文件获取数据的变动，形成队列文件，并将这些队列文件通过网络协议传输到目标端数据库，目标端数据库通过解析队列文件实现源端数据操作的复现，最终达到源端与目标端数据的准实时同步。
11.进一步地，所述基于所述层级指标体系和数据源表在所述中台数据库中构建数据仓库，还包括：采用etl技术将所述数据源表逐步抽取并转换成不同颗粒度的层级数据仓库，所述层级数据仓库包括原始数据层、明细数据层、服务数据层和数据应用层，其中，所述原始数据层为所述数据源表；所述明细数据层与所述原始数据层保持相同的颗粒度，但存储的数据已经经过数据清洗；所述服务数据层以所述明细数据层为基础，对数据进行轻度汇总，将数据整合成数据宽表；所述数据应用层为各类上层应用提供定制化的数据服务。
12.进一步地，在所述数据仓库建立完成之后，基于业务应用实现主动推送和被动触发两套数据同步流，以建立所述业务数据库、中台数据库和本地数据库三者之间的数据一致性保障机制。
13.进一步地，所述基于业务应用实现主动推送数据同步流，以建立所述业务数据库和所述中台数据库之间的数据一致性保障机制，还包括：当所述业务数据库发生增删改操作时，基于ogg技术将更新内容从日志文件中抽取，并实时或者定时同步到所述中台数据库中。
14.进一步地，所述基于业务应用实现被动触发数据同步流，以建立所述中台数据库和所述本地数据库之间的数据一致性保障机制，还包括：当用户通过浏览器访问应用服务时，浏览器首先从本地查询储存在缓存或所述本地数据库中的数据，并通过比对时间戳的方式来确定数据的时效性；当待查询指标的本次查询时刻与上次存储到本地数据库的时刻之间的差值在5min内，则直接展示所述本地数据库中的数据，本次查询操作同时会触发一个异步请求，向所述中台数据库请求最新的数据，所述中台数据库在接收到请求后会将最新的数据推送到所述本地数据库，由所述本地数据库对数据进行增量更新，并比对数据差异，当所述中台数据库中的数据与所述本地数据库中的数据不一致时，所述本地数据库会异步触发浏览器的页面刷新来更新用户界面。
15.进一步地，还包括：定义业务数据库、中台数据库和本地数据库分别为d
t
、dq和ds；对于一个统计型指标ik，记录该统计型指标ik分别在d
t
和dq中的平均查询时间为t
t
和tq，查询该统计型指标ik所需库表由d
t
同步至dq所需的时间为t
trans
；如果tq+t
trans
《t
t
，则将该统计型指标ik加入到中台数据库dq的调度任务集合sd中，否则该统计型指标ik直接从业务数据库d
t
中实时查询。
16.进一步地，还包括：本地数据库ds的引入则是服务用户短期内的重复查询；对于每次查询指标ik获得的结果集，以(v
k，
tk)的元组记录，其中vk表示指标ik对应
的查询数值，tk表示vk对应的时间戳；当每次触发查询任务时，浏览器会判定指标ik的当前查询时间tc与tk的时间间隔；如果t
c-tk《δ，δ为常数，则浏览器直接从本地数据库ds加载数据。
17.本发明提供的电费数字化应用平台构建方法具有以下优点：（1）针对数据存储、功能组件、应用服务进行分级管理，将电费数字化应用的构建流程从业务系统中解耦，通过将支撑功能模块化、组件化，实现业务应用的个性化定制，满足快速迭代的业务需求，可以大大降低数字化应用的开发成本和研发周期；（2）同时满足olap和oltp的混合应用需求，相比于通过引入htap的新型数据库，本方案无需对原有业务系统的数据库表进行改造，而是通过引入本地存储和多级数据同步的方式构建高时效性、低业务延迟的数据支撑平台，满足电费数字化应用的不同业务需求。
附图说明
18.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
19.图1为本发明提供的电费数字化应用平台构建方法的流程图。
20.图2为本发明提供的高耗时查询指标筛选流程图。
21.图3为本发明提供的数据同步流程图。
22.图4为本发明提供的电费数字化应用平台框架图。
具体实施方式
23.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
24.为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
25.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.在本实施例中提供了一种电费数字化应用平台构建方法，图1为本发明提供的电费数字化应用平台构建方法的流程图。如图1所示，所述电费数字化应用平台包括数据层、组件层和服务层，所述电费数字化应用平台构建方法包括：步骤s1：根据业务需求梳理电费数据指标，形成包括一级原始指标、二级汇总指标和三级分析指标的层级指标体系；进一步的，所述一级原始指标为未经任何计算或者汇总处理的原始数据，包括用户的用电类别、市场化属性和电价类别；所述二级汇总指标为在原始数据的基础上进行分
类汇总得到的统计型数据，包括全省月度总用电量、发行用户数、总售电量和总销售电费；所述三级分析指标为对于业务分析具有指导意义的分析数据，包括月电量同比增长率、电费自动发行率和电费回收率。
27.步骤s2：对所述一级原始指标的查询复杂度进行分析，并基于业务需求和分析出的所述一级原始指标的查询复杂度，从所述一级原始指标中筛选出高耗时查询指标；进一步的，如图2所示，高耗时查询指标的判断依据，根据指标获取是否需要跨库查询以及单次查询的平均时长进行量化。具体包括：选定所述一级原始指标中的当前指标；如果所述一级原始指标中的当前指标需要跨库查询，记录该当前指标的查询难度为1，否则为0，用b记录该布尔值；分别选取月初核算期、月中试算期以及月末预抄核期间将当前指标在业务数据库中进行单次查询操作，并记录三次查询时间为t
1、
t2和t3；以(b,t
avg
,t
max
)的三元组作为查询难度的量化指标，其中t
avg
=(t1+t2+t3)/3为三次查询的平均查询时间，t
max
=max(t1,t2,t3)表示三次查询的最大查询时间，最后根据如下的判定逻辑筛选出高耗时查询指标：如果当前指标需要跨库查询，则直接判定为高耗时查询指标，否则判定当前指标的平均查询时间是否大于第一预设阈值；若当前指标的平均查询时间大于第一预设阈值，则当前指标为高耗时查询指标，否则进一步判定当前指标的最大查询时间是否大于第二预设阈值；若当前指标的最大查询时间大于第二预设阈值，则当前指标为高耗时查询指标，否则，结束流程。
28.需要说明的是，第一预设阈值和第二预设阈值的设定根据业务需求进行设定，本方案中设计了平均查询时间t
avg
的第一预设阈值为thr
avg
=5s，最大查询时间t
max
的第二预设阈值为thr
max
=30s，双阈值的判定机制充分考虑了用户的使用体验和系统的性能开销，如果平均查询耗时过长，则影响用户的使用体验，如果最大查询时间过大，则会因为长时间占用数据库资源对基础业务功能造成影响。
29.步骤s3：将所述二级汇总指标和所述高耗时查询指标的相关查询库表通过数据实时同步技术从业务数据库传输到中台数据库，以形成数据源表；进一步的，所述将所述二级汇总指标和所述高耗时查询指标的相关查询库表通过数据实时同步技术从业务数据库传输到中台数据库，以形成数据源表，还包括：数据实时同步技术采用ogg（oracle golden gate）技术来保证业务数据库与中台数据库的低延迟同步；其中，ogg技术基于源数据库的日志文件获取数据的变动（增、删、改操作），形成队列文件，并将这些队列文件通过网络协议传输到目标端数据库，目标端数据库通过解析队列文件实现源端数据操作的复现，最终达到源端与目标端数据的准实时同步。通过对营销系统的性能测试，ogg能够实现高频业务操作的实时捕获、变换和投递，实现源数据库与目标数据库的同步，保持秒级的数据延迟。
30.步骤s4：基于所述层级指标体系和数据源表在所述中台数据库中构建数据仓库，并形成包括业务数据库、中台数据库和本地数据库的三层数据存储架构，同时基于数据同
步流，以建立所述业务数据库、中台数据库和本地数据库三者之间的数据一致性保障机制；进一步的，所述基于所述层级指标体系和数据源表在所述中台数据库中构建数据仓库，还包括：采用etl技术将所述数据源表逐步抽取并转换成不同颗粒度的层级数据仓库，所述层级数据仓库包括原始数据层（operation data store,ods）、明细数据层（data warehouse detail, dwd）、服务数据层（data warehouse service, dws）和数据应用层（application data service, ads），其中，所述原始数据层为所述数据源表；所述明细数据层与所述原始数据层保持相同的颗粒度，但存储的数据已经经过数据清洗（包括空值处理、异常数据剔除）；所述服务数据层以所述明细数据层为基础，对数据进行轻度汇总，将数据整合成数据宽表，用于支持后续的业务查询、olap分析、数据分发等；所述数据应用层为各类上层应用提供定制化的数据服务。
31.进一步的，在所述数据仓库建立完成之后，基于业务应用实现主动推送和被动触发两套数据同步流，以建立所述业务数据库、中台数据库和本地数据库三者之间的数据一致性保障机制。
32.如图3所示，参照图3中的左图，所述基于业务应用实现主动推送数据同步流，以建立所述业务数据库和所述中台数据库之间的数据一致性保障机制，还包括：当所述业务数据库发生增删改操作时，基于ogg技术将更新内容从日志文件中抽取，并实时或者定时同步到所述中台数据库中。
33.具体地，在完成数据仓库构建后，形成了从业务库到中台数据库（adb库）的两层数据存储架构，考虑到所有数据都通过ogg完成实时同步操作对于服务器的资源开销要求太高，因此，本方案细化了ogg的具体部署策略，形成了两套不同的同步策略：第一类是在业务数据库与adb查询库间建立实时同步机制，当业务库发生增删改操作时，基于ogg技术将更新内容从日志文件中抽取，并同步更新到adb查询库，该同步机制应用于业务库中更新频率高、存储量级小的数据库表，如用户的量费计划表。第二类是定时推送策略，同步方式同样基于数据库的日志文件，但推送频率根据预先设定的推送时间定时完成数据同步更新，该同步机制应用于业务库中存储量级大但更新频率低的数据库表，如用户档案表，更新时间设计为每天凌晨推送一次。
34.具体地，业务数据库与中台数据库间的数据同步是保障olap应用不影响oltp基本功能的关键，根据指标自身的业务实时性要求以及查询的时间复杂度，设计了两个数据推送策略：一是无延迟的实时性同步，业务数据新增的同时即刻完成数据同步操作，适用于业务操作频繁但单次操作量小的业务库表；二是低延迟的周期性同步，通过定时任务触发业务数据的同步操作，适用于数据规模大但更新不频繁的业务库表；两者相结合可以最大程度保证数据时效性与系统资源开销的平衡。
35.如图3所示，参照图3中的右图，所述基于业务应用实现被动触发数据同步流，以建立所述中台数据库和所述本地数据库之间的数据一致性保障机制，还包括：利用终端应用的本地缓存，扩充原先的两级存储架构，考虑本地存储机制后形成三级存储层次结构，我们将前两级存储（业务数据库和中台数据库）看做云端数据库，对于云端数据库和本地缓存间的数据同步，本方案设计了被动触发的同步机制，该类同步操作由业务查询应用触发产生，触发流程如附图3中的右图所示，以电费核算流程监控应用为
例；当用户通过浏览器访问应用服务时，浏览器首先从本地查询储存在缓存或所述本地数据库中的数据，并通过比对时间戳的方式来确定数据的时效性；当待查询指标的本次查询时刻与上次存储到本地数据库的时刻之间的差值在5min内，则直接展示所述本地数据库中的数据，本次查询操作同时会触发一个异步请求，向所述中台数据库请求最新的数据，所述中台数据库在接收到请求后会将最新的数据推送到所述本地数据库，由所述本地数据库对数据进行增量更新，并比对数据差异，当所述中台数据库中的数据与所述本地数据库中的数据不一致时，所述本地数据库会异步触发浏览器的页面刷新来更新用户界面，这种操作可以最大程度优化用户体验，避免用户因查询延迟造成的页面持续等待。
36.具体地，分析中台数据库与本地缓存库间的数据同步是保证高频查询操作下低延迟的关键，利用时间戳完成数据的短时校验，在高频操作下依赖本地缓存及时实现页面的快速响应，同时降低服务器的负载压力。
37.步骤s5：在所述数据同步流的基础上，基于业务需求构建所述组件层和所述应用层。
38.具体地，如图4所示，电费数字化应用平台的系统框架将划分为三个层面：数据层、组件层以及服务层。
39.数据层负责数据的采集、处理、汇总和存储，用于支撑服务层完成各类业务工作。数据层的数据来源包括由系统产生的实时业务数据（如电费发行业务产生的电量、电费数据，电费回收业务回收产生的回收金额、回收渠道类型等）、系统运行或人员操作留下的日志数据（如发行电费的人员、时间，发行期的系统吞吐量）以及系统外部的数据（如外部的政策文件、其他来源的清单明细），不同源的数据经过数据清洗和处理后根据数据时效性和数据颗粒度分级汇总到云端数据库和本地数据库，用以支撑电费业务的数字化应用。
40.组件层提供各类基础功能，满足服务层各类需求的定制化实现，本方案中基于电费数字化员工的应用需求设计了三类组件：第一类是系统组件，包括各类微服务接口、系统访问的路由管理、文件管理、日志管理等，用于支撑构建上层应用的基础框架；第二类是rpa服务组件，用于构建rpa业务流，支撑oltp服务应用，包括基本的系统操作、键鼠操作、界面操作等，通过合理的组合形成业务操作流，支撑业务实现自动化；第三类是数据分析组件，主要包括算法组件和可视化组件，前者提供常用的数据分析算法，如异常值检测算法、聚类分析算法等，后者提供各类图表工作，如条形图、柱状图、饼图等辅助业务数据的可视化展示，这些组件辅助业务人员快速搭建oltp业务应用。
41.服务层提供了用户的交互接口，以应用服务的形式辅助完成工作需求，如基于rpa组件快速完成问题用户的清单核对，或基于数据分析组件快速构建分析报表。
42.在本发明实施例中，为了更加体系化地描述整个数据同步流程，以形式化的语言描述了基于上述数据流构建指标体系的算法，定义业务数据库、中台数据库和本地数据库分别为d
t
、dq和ds；对于一个统计型指标ik，对指标的不同维度进行评价和衡量，记录该统计型指标ik分别在d
t
和dq中的平均查询时间为t
t
和tq，查询该统计型指标ik所需库表由d
t
同步至dq所需的时间为t
trans
；如果tq+t
trans
《t
t
，则将该统计型指标ik加入到中台数据库dq的调度任务集合sd中，否则该统计型指标ik直接从业务数据库d
t
中实时查询。
43.另外，本地数据库ds的引入则是服务用户短期内的重复查询；对于每次查询指标ik获得的结果集，以(v
k，
tk)的元组记录，其中vk表示指标ik对应的查询数值，tk表示vk对应的时间戳；当每次触发查询任务时，浏览器会判定指标ik的当前查询时间tc与tk的时间间隔；如果t
c-tk《δ，δ为常数，则浏览器直接从本地数据库ds加载数据，避免频繁访问数据库造成的查询延迟，也降低服务器的负载压力。
44.本发明提供的电费数字化应用平台构建方法，建立从业务数据库、分析性查询库以及本地缓存库的三级存储机制，实现数据流的多级同步，保持低延迟的数据查询响应；基于功能分解，设计了应用组件库，针对系统支撑功能、rpa服务、数据分析应用定义了模块化组件，实现快速灵活的应用搭建平台；基于模块化组件，将olap和oltp应用实现平台化部署，形成以数据层为底层支撑、组件层为功能支撑的应用服务平台，满足电费数字化员工的基本要求。
45.综上所述，本发明提供的电费数字化应用平台构建方法，在电费核算的实际业务分析需求中，要求数据具有高度实时性，同时电费业务覆盖电量计算、电价核定、费用核算、档案核查等多环节、多领域，总体分析复杂度高，本方案结合营销系统的底层数据架构设计了一种满足高数据时效性要求的同时，提供快速业务分析能力的数据平台设计方法。总体构建思路是建立起从实时业务数据库到本地缓存数据的多级存储链路，将不同时效需求的数据贮存在不同层级的存储介质中，并通过对数据生成流及业务查询需求的分析，实现数据的分级动态更新，在满足应用响应效率的同时保证平台数据的时效性。
46.可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

技术特征：
1.一种电费数字化应用平台构建方法，所述电费数字化应用平台包括数据层、组件层和服务层，其特征在于，所述电费数字化应用平台构建方法包括：步骤s1：根据业务需求梳理电费数据指标，形成包括一级原始指标、二级汇总指标和三级分析指标的层级指标体系；步骤s2：对所述一级原始指标的查询复杂度进行分析，并基于业务需求和分析出的所述一级原始指标的查询复杂度，从所述一级原始指标中筛选出高耗时查询指标；步骤s3：将所述二级汇总指标和所述高耗时查询指标的相关查询库表通过数据实时同步技术从业务数据库传输到中台数据库，以形成数据源表；步骤s4：基于所述层级指标体系和数据源表在所述中台数据库中构建数据仓库，并形成包括业务数据库、中台数据库和本地数据库的三层数据存储架构，同时基于数据同步流，以建立所述业务数据库、中台数据库和本地数据库三者之间的数据一致性保障机制；步骤s5：在所述数据同步流的基础上，基于业务需求构建所述组件层和所述应用层。2.根据权利要求1所述的电费数字化应用平台构建方法，其特征在于，所述根据业务需求梳理电费数据指标，形成包括一级原始指标、二级汇总指标和三级分析指标的层级指标体系，还包括：所述一级原始指标为未经任何计算或者汇总处理的原始数据，包括用户的用电类别、市场化属性和电价类别；所述二级汇总指标为在原始数据的基础上进行分类汇总得到的统计型数据，包括全省月度总用电量、发行用户数、总售电量和总销售电费；所述三级分析指标为对于业务分析具有指导意义的分析数据，包括月电量同比增长率、电费自动发行率和电费回收率。3.根据权利要求1所述的电费数字化应用平台构建方法，其特征在于，所述对所述一级原始指标的查询复杂度进行分析，并基于业务需求和分析出的所述一级原始指标的查询复杂度，从所述一级原始指标中筛选出高耗时查询指标，还包括：选定所述一级原始指标中的当前指标；如果所述一级原始指标中的当前指标需要跨库查询，记录该当前指标的查询难度为1，否则为0，用 b记录该布尔值；分别选取月初核算期、月中试算期以及月末预抄核期间将当前指标在业务数据库中进行单次查询操作，并记录三次查询时间为t1、t2和t3；以(b, t
avg
,t
max
)的三元组作为查询难度的量化指标，其中t
avg
=(t1+t2+t3)/3为三次查询的平均查询时间，t
max
=max(t1,t2,t3)表示三次查询的最大查询时间，最后根据如下的判定逻辑筛选出高耗时查询指标：如果当前指标需要跨库查询，则直接判定为高耗时查询指标，否则判定当前指标的平均查询时间是否大于第一预设阈值；若当前指标的平均查询时间大于第一预设阈值，则当前指标为高耗时查询指标，否则进一步判定当前指标的最大查询时间是否大于第二预设阈值；若当前指标的最大查询时间大于第二预设阈值，则当前指标为高耗时查询指标，否则，结束流程。4.根据权利要求1所述的电费数字化应用平台构建方法，其特征在于，所述将所述二级
汇总指标和所述高耗时查询指标的相关查询库表通过数据实时同步技术从业务数据库传输到中台数据库，以形成数据源表，还包括：数据实时同步技术采用ogg技术来保证业务数据库与中台数据库的低延迟同步；其中，ogg技术基于源数据库的日志文件获取数据的变动，形成队列文件，并将这些队列文件通过网络协议传输到目标端数据库，目标端数据库通过解析队列文件实现源端数据操作的复现，最终达到源端与目标端数据的准实时同步。5.根据权利要求1所述的电费数字化应用平台构建方法，其特征在于，所述基于所述层级指标体系和数据源表在所述中台数据库中构建数据仓库，还包括：采用etl技术将所述数据源表逐步抽取并转换成不同颗粒度的层级数据仓库，所述层级数据仓库包括原始数据层、明细数据层、服务数据层和数据应用层，其中，所述原始数据层为所述数据源表；所述明细数据层与所述原始数据层保持相同的颗粒度，但存储的数据已经经过数据清洗；所述服务数据层以所述明细数据层为基础，对数据进行轻度汇总，将数据整合成数据宽表；所述数据应用层为各类上层应用提供定制化的数据服务。6.根据权利要求1所述的电费数字化应用平台构建方法，其特征在于，在所述数据仓库建立完成之后，基于业务应用实现主动推送和被动触发两套数据同步流，以建立所述业务数据库、中台数据库和本地数据库三者之间的数据一致性保障机制。7.根据权利要求6所述的电费数字化应用平台构建方法，其特征在于，所述基于业务应用实现主动推送数据同步流，以建立所述业务数据库和所述中台数据库之间的数据一致性保障机制，还包括：当所述业务数据库发生增删改操作时，基于ogg技术将更新内容从日志文件中抽取，并实时或者定时同步到所述中台数据库中。8.根据权利要求6所述的电费数字化应用平台构建方法，其特征在于，所述基于业务应用实现被动触发数据同步流，以建立所述中台数据库和所述本地数据库之间的数据一致性保障机制，还包括：当用户通过浏览器访问应用服务时，浏览器首先从本地查询储存在缓存或所述本地数据库中的数据，并通过比对时间戳的方式来确定数据的时效性；当待查询指标的本次查询时刻与上次存储到本地数据库的时刻之间的差值在5min内，则直接展示所述本地数据库中的数据，本次查询操作同时会触发一个异步请求，向所述中台数据库请求最新的数据，所述中台数据库在接收到请求后会将最新的数据推送到所述本地数据库，由所述本地数据库对数据进行增量更新，并比对数据差异，当所述中台数据库中的数据与所述本地数据库中的数据不一致时，所述本地数据库会异步触发浏览器的页面刷新来更新用户界面。9.根据权利要求1所述的电费数字化应用平台构建方法，其特征在于，还包括：定义业务数据库、中台数据库和本地数据库分别为d
t
、d
q
和d
s
；对于一个统计型指标i
k
，记录该统计型指标i
k
分别在d
t
和d
q
中的平均查询时间为t
t
和t
q
，查询该统计型指标i
k
所需库表由d
t
同步至d
q
所需的时间为t
trans
；如果t
q
+t
trans < t
t
，则将该统计型指标i
k
加入到中台数据库d
q
的调度任务集合s
d
中，否则该统计型指标i
k
直接从业务数据库d
t
中实时查询。10.根据权利要求9所述的电费数字化应用平台构建方法，其特征在于，还包括：
本地数据库d
s
的引入则是服务用户短期内的重复查询；对于每次查询指标i
k
获得的结果集，以(v
k，
t
k
)的元组记录，其中v
k
表示指标i
k
对应的查询数值，t
k
表示v
k
对应的时间戳；当每次触发查询任务时，浏览器会判定指标i
k
的当前查询时间t
c
与t
k
的时间间隔；如果t
c-t
k
<δ，δ为常数，则浏览器直接从本地数据库d
s
加载数据。

技术总结
本发明涉及电费核算技术领域，具体公开了一种电费数字化应用平台构建方法，包括：形成包括各级电费数据指标的层级指标体系；对一级原始指标的查询复杂度进行分析，依据分析结果从一级原始指标中筛选出高耗时查询指标；将二级汇总指标和高耗时查询指标的相关查询库表从业务数据库传输到中台数据库，以形成数据源表；基于层级指标体系和数据源表构建数据仓库，并形成三层数据存储架构，同时基于数据同步流建立业务数据库、中台数据库和本地数据库三者之间的数据一致性保障机制；在数据同步流的基础上构建组件层和应用层。本发明通过引入本地存储和多级数据同步的方式构建高时效性、低业务延迟的数据支撑平台，满足电费数字化应用的不同业务需求。用的不同业务需求。用的不同业务需求。


技术研发人员：左强 潘熙 蔡奇新 刘云鹏 祝宇楠 黄奇峰 殷勇 江明 许晓磊 张晔
受保护的技术使用者：国网江苏省电力有限公司营销服务中心
技术研发日：2022.12.12
技术公布日：2023/1/6