一种基于人工智能的财务数据异常检测方法及系统与流程

xiaoxiao3月前  29


本发明属于人工智能领域,尤其涉及基于一种基于人工智能的财务数据异常检测方法及系统。


背景技术:

1、在当今高速发展的电力市场中,随着电力系统规模的扩大和复杂度的增加,财务数据管理成为电力企业面临的重要挑战之一。传统的财务数据异常检测方法主要依赖于规则基础的检测和简单的统计分析,这些方法虽然在早期的电力系统管理中发挥了一定的作用,但随着数据量的爆炸式增长和电力系统运营环境的复杂化,这些传统方法已经难以满足现代电力系统对于财务数据管理的需求。例如,规则基础的方法无法有效处理非线性和高维度的数据特性,而简单的统计分析方法则难以识别复杂的异常模式,这些局限性使得电力企业难以及时发现和处理财务数据中的异常情况,从而增加了经营风险和财务损失。

2、近年来,随着人工智能技术的迅速发展,基于机器学习的异常检测方法开始被应用于多个领域,包括财务数据管理。这些方法通过学习历史数据中的模式,能够自动识别出与这些模式不符的异常数据。然而,电力系统的财务数据具有其特有的复杂性,如受到季节变化、天气条件、政策调整等多种因素的影响,这些因素使得电力系统的财务数据呈现出高度的非线性和动态变化特性。此外,电力系统的财务数据还涉及到大规模的资本支出和运维成本,这些数据之间存在复杂的相互关系。现有的基于机器学习的异常检测方法往往忽略了这些特性,导致其在电力系统财务数据管理中的应用效果有限。因此,如何有效地结合电力系统财务数据的特点,开发出更加高效、准确的异常检测方法,成为亟须解决的问题。


技术实现思路

1、本发明的目的设计一种基于人工智能的财务数据异常检测方法及系统,通过融合深度学习、强化学习以及多维数据分析技术,针对性地解决了现有技术中存在的问题。

2、为了达到上述目的,在本发明第一方面提供一种基于人工智能的财务数据异常检测方法,所述方法包括:

3、s1、获取电力系统财务数据并对所述电力系统财务数据进行数据清洗和归一化处理得到财务数据,然后使用自适应窗口技术、统计特性计算和事件识别增强算法提取关键时间特征,再采用基于深度学习的自编码器进行数据降维,同时通过强化学习优化自编码器参数;其中,原始数据集为x,归一化后的数据为x',归一化函数为f(·),则对于任意数据点x∈x,所述数据清洗和归一化处理表示如下:

4、

5、其中,μ和σ分别代表x中数据的动态平均值和标准差;

6、s2、构建基于长短时神经网络的周期性负荷预测模型,用于捕捉和预测电力系统财务数据的周期性变化,引入季节性调整计算调整后的财务数据,同时在长短时神经网络的特征融合层整合从长短时神经网络学到的时间序列特征和外部影响因素,输入到全连接层,设计基于电力系统财务数据的周期性权重的损失函数,同时使用adam优化器动态调整学习率;其中,所述损失函数l表示如下:

7、

8、其中,wt是一个基于时间t的周期性权重因子,n表示样本数量,x't表示经季节性调整后的实际财务数据值,表示预测的财务数据值;另外,所述周期性权重因子表示如下:

9、

10、其中,p表示周期长度,φ为周期相位偏移,α是权重调整因子,用于控制周期性权重的影响程度;所述使用adam优化器动态调整学习率表示如下:

11、

12、其中,ηnew是调整后的学习率,ηbase是基础学习率,β是学习率调整因子,用于控制学习率变化的幅度;

13、s3、将财务数据构成财务数据集d,再对财务数据集d进行标准化处理得到特征,然后采用核方法对特征进行拓展计算财务数据的非线性关系和隐藏模式,然后基于处理后的特征构建多维关联图g=(v,e),其中节点v代表电力财务数据的不同维度特征,边e代表不同特征之间的关联强度,然后基于图嵌入技术将多维关联图转化为低维向量空间,再通过特征选择算法筛选出对预测任务最有贡献的特征;

14、s4、利用因果推理和关联规则学习技术分析这些数据间的关系;

15、s5、使用机器学习分类算法进行异常数据的检测与识别;

16、s6、根据异常检测的反馈结果,利用强化学习中的actor-critic网络不断调整和优化检测策略和模型参数;

17、s7、将异常数据的检测与识别结构和用户反馈整合入系统优化循环,不断迭代更新模型。

18、进一步地,所述自适应窗口技术表示通过cpd算法识别出变化点集合{cp1,cp2,…,cpn},然后根据这些变化点划分时间窗口;

19、所述统计特性计算表示在每个自适应窗口内计算统计特性s(ti),其中,统计特性s(ti)包括均值mean(ti),方差var(ti),趋势trend(ti),表示如下:

20、s(ti)={mean(ti),var(ti),trend(ti),…}

21、其中,ti表示在时间窗i内的数据序列;

22、所述事件识别增强算法表示采用文本分析技术从财务报告和市场新闻中提取与电力相关的事件标签,将事件标签作为额外的特征纳入模型。

23、进一步地,所述s1中自编码器的损失函数l(x,edecode(eencode(x)))表示如下:

24、l(x,edecode(eencode(x)))=mse(x,edecode(eencode(x)))+λ||θ||2

25、其中,x表示输入到自编码器的原始财务数据;eencode表示自编码器的编码部分,负责将输入数据转换成低维表示;edecode表示自编码器的解码部分,用于将低维表示恢复成原始数据格式;mse表示均方误差;λ为正则化参数,θ为自编码器的参数。

26、进一步地,所述引入季节性调整计算调整后的财务数据,表示如下:

27、

28、其中,xt表示时间t的原始数据;st表示季节性因子,根据历史数据中同一景节的平均值得出;x't表示季节性调整后的数据。

29、进一步地,所述s3中,所述对财务数据集d进行标准化,如下所示:

30、

31、其中,d'i表示处理后的数据点,且数据点di∈d,μi和σi分别表示特征i的平均值和标准差;

32、采用核方法对特征进行拓展计算财务数据的非线性关系和隐藏模式,表示如下:

33、

34、其中,φ(d'i)表示特征d'i的新表示,通过核方法转换增强财务数据的非线性关系表达;d'i表示经预处理的财务数据特征;c表示核函数中心,σ表示核函数的宽度参数;

35、然后基于图嵌入技术将多维关联图转化为低维向量空间,表示如下:

36、

37、其中,p(d′i,d′j)表示联合概率分布,p(d′i)和p(d′j)表示边缘概率分布;

38、再通过特征选择算法筛选出对预测任务最有贡献的特征,表示如下:

39、l=α·lpred+(1-α)·lgraph

40、lpred表示预测误差项,lgraph表示图正则项,α表示调节两者重要性的权重参数。

41、进一步地,所述s4具体包括:

42、s41、将电力系统的资本支出数据c与运维成本数据o进行整合,形成一个统一的数据集d={c,o},对数据集d进行预处理;

43、s42、对资本支出数据c与运维成本数据o进行时间序列分析前的变量转换,表示如下:

44、c′=log(c+1),o′=log(o+1)

45、其中,c'表示转换后的资本支出数据,o'表示转换后的运维成本数据;

46、s43、采用时间滞后模型来识别转换后的资本支出数据c'与转换后的运维成本数据o'之间的滞后效应,表示如下:

47、o't=α+βc't-l+∈t

48、其中,l表示滞后期,α和β为模型参数,∈t为误差项,t表示时间。

49、进一步地,所述s5具体包括:

50、s51、将电力系统的财务数据与其他相关数据进行整合,形成一个综合数据集,再使用深度自编码器从综合数据集中学习高级特征表示,使用一种基于重构误差的方法计算每个数据点的异常得分;其中,所述异常得分为输入数据和重构数据之间的欧氏距离,表示如下:

51、

52、其中,x是原始数据点,是重构的数据点;

53、s52、对训练集中所有数据点的异常得分s(x)进行统计分析,绘制异常得分的分布直方图,并计算分布的基本统计量,再基于异常得分分布的统计量,计算阈值τ,识别潜在的异常数据;其中,所述阈值τ,计算如下:

54、τ=μ+kσ

55、其中,k是一个根据异常比例预设的常数,用于调节阈值的严格程度;

56、s53、根据计算得到的阈值τ,对数据集中的每个数据点进行初步标注,如果当前数据点的异常得分s(x)高于阈值τ,则将其标注为异常;否则,标注为正常;

57、s54、选取一小部分数据点进行人工审核,得到准确标注的数据,将准确标注的数据作为种子集,用于训练一个半监督学习模型,再使用半监督学习模型对未标注的数据进行预测,用于扩展种子集。

58、进一步地,所述actor-critic网络包括critic损失函数和actor损失函数,其中critic损失函数lcritic用于评估价值函数的预测准确性,同时加入异常数据的权重,表示如下:

59、

60、其中,wi表示根据数据点i的异常程度动态调整的权重,yi表示目标价值,通过奖励信号和目标critic网络计算得到;q(si,ai∣θq)表示critic网络使用参数θq评估在状态si下采取动作ai的价值;yi表示目标价值;

61、所述actor损失函数lactor表示如下:

62、

63、其中,q(si,π(si∣θπ)∣θq)表示critic网络评估的价值,其中π(si∣θπ)是actor网络决定的在状态si下采取的最佳动作,基于当前的策略π和actor的参数;θq和θπ分别表示critic和actor网络的参数。

64、进一步地,所述s7具体包括:

65、s71、对电力系统财务数据的周期性特征进行深入分析,采用自相关函数来识别数据的周期性模式;其中,所述自相关函数acf(k)的计算公式为:

66、

67、其中,t表示时间序列的长度,xt表示时刻t的财务数据值,表示xt的均值,k表示滞后系数;

68、s72、基于周期性分析的结果,使用移动平均滤波和标准差阈值方法来识别异常模式;

69、s73、基于异常模式的结果进行周期性分析,调整系统参数进行迭代更新。

70、在本发明的第二方面提供了一种基于人工智能的财务数据异常检测系统,包括计算机可读存储介质和处理器,所述计算机可读存储介质用于存储可执行程序;所述处理器用于读取所述计算机可读存储介质中存储的可执行程序,执行上述所述的一种基于人工智能的财务数据异常检测方法。

71、本发明的有益技术效果至少在于以下几点:

72、(1)本发明采用了循环神经网络(rnn)和长短期记忆网络(lstm)来预测财务数据的周期性变化,以及利用图神经网络(gnn)整合并分析财务数据与外部因素之间的复杂关系。这些方法能够有效处理和学习电力系统财务数据中的非线性特性和动态变化,从而提高异常检测的准确性。

73、(2)针对现有方法忽略电力系统财务数据中大规模资本支出和运维成本数据之间复杂关系的问题,本发明引入了因果推理和关联规则学习技术,专门分析这些数据之间的关系,以识别出不符合正常财务逻辑的异常数据点。

74、(3)针对现有技术的自适应能力不足的问题,本发明设计了一个强化学习优化引擎,该引擎能够根据异常检测的结果不断优化模型的参数和策略,实现了对电力系统财务数据异常检测过程的持续学习和自我优化。

75、(4)通过这些创新点,本发明不仅能够有效克服现有技术在电力系统财务数据异常检测方面存在的局限性,提高检测的准确性和效率,而且还能够适应电力市场和运营条件的快速变化,为电力企业提供一个可靠、高效的财务数据管理工具。这些特点使得本发明具有广泛的应用前景和显著的社会经济价值。

76、(5)本发明通过一系列紧密相连的步骤,构建了一个智能自适应的电力财务数据异常检测系统,旨在全面解决电力系统财务数据管理中的复杂挑战。首先,通过数据预处理与特征提取步骤,系统能够有效处理电力系统财务数据的多样性和复杂性,为后续的深度分析打下坚实基础。接着,通过构建周期性负荷预测模型、进行多维数据综合分析,以及资本支出与运维成本的关联分析,系统深入挖掘了财务数据与外部因素之间的复杂关系,并针对电力系统的财务结构特点,精准识别异常数据点。这些步骤相互支撑,共同提升了异常检测的准确性和效率。


技术特征:

1.一种基于人工智能的财务数据异常检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于人工智能的财务数据异常检测方法,其特征在于,所述自适应窗口技术表示通过cpd算法识别出变化点集合{cp1,cp2,…,cpn},然后根据这些变化点划分时间窗口;

3.根据权利要求1所述的一种基于人工智能的财务数据异常检测方法,其特征在于,所述s1中自编码器的损失函数l(x,edecode(eencode(x)))表示如下:

4.根据权利要求1所述的一种基于人工智能的财务数据异常检测方法,其特征在于,所述引入季节性调整计算调整后的财务数据,表示如下:

5.根据权利要求1所述的一种基于人工智能的财务数据异常检测方法,其特征在于,所述s3中,所述对财务数据集d进行标准化,如下所示:

6.根据权利要求1所述的一种基于人工智能的财务数据异常检测方法,其特征在于,所述s4具体包括:

7.根据权利要求1所述的一种基于人工智能的财务数据异常检测方法,其特征在于,所述s5具体包括:

8.根据权利要求1所述的一种基于人工智能的财务数据异常检测方法,其特征在于,所述actor-critic网络包括critic损失函数和actor损失函数,其中critic损失函数lcritic用于评估价值函数的预测准确性,同时加入异常数据的权重,表示如下:

9.根据权利要求1所述的一种基于人工智能的财务数据异常检测方法,其特征在于,所述s7具体包括:

10.一种基于人工智能的财务数据异常检测系统,包括计算机可读存储介质和处理器,其特征在于,所述计算机可读存储介质用于存储可执行程序;所述处理器用于读取所述计算机可读存储介质中存储的可执行程序,执行权利要求1-9任一项所述的一种基于人工智能的财务数据异常检测方法。


技术总结
本发明提出了一种基于人工智能的财务数据异常检测方法及系统,方法包括:采用自动化预处理数据,提取关键特征;使用循环神经网络或长短期记忆网络构建模型,学习并预测电力负荷的周期性变化及其对财务数据的影响;采用图神经网络来整合财务数据和外部影响因素,分析它们之间的复杂关系;利用因果推理和关联规则学习技术分析数据间的关系;综合前述分析结果,使用机器学习分类算法进行异常数据的检测与识别;根据异常检测的反馈结果,利用强化学习不断调整和优化检测策略和模型参数;将检测结果和用户反馈整合入系统优化循环,不断迭代更新模型。本发明通过融合深度学习、强化学习以及多维数据分析技术,针对性地解决了现有技术中存在的问题。

技术研发人员:苏华权,李俊伟,郭莉,王婉烁,温游,曾纪钧,李凯
受保护的技术使用者:广东电网有限责任公司信息中心
技术研发日:
技术公布日:2024/9/23

最新回复(0)