基于大数据的污水加药效果预测方法及系统与流程

本发明涉及效果预测，具体是指基于大数据的污水加药效果预测方法及系统。

背景技术：

1、污水加药效果预测方法是指通过各种技术手段和模型，预测在污水处理过程中加入化学药剂后的效果。这些方法的目的是优化药剂的用量，提高污水处理效率，降低运行成本，同时保证处理后的水质达到排放标准。但是一般污水加药效果预测方法存在原始数据维度过多导致计算量过大，数据重构又会出现信息丢失，重构精准性差的问题；一般污水加药效果预测方法存在对污水加药效果的特征信息捕捉能力差、激活函数单一从而导致模型的表现力和预测能力差的问题。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了基于大数据的污水加药效果预测方法及系统，针对一般污水加药效果预测方法存在原始数据维度过多导致计算量过大，数据重构又会出现信息丢失，重构精准性差的问题，本方案基于仿射变换的可逆流模型，将掩码层替换为可学习的门控层，使得重构方法存在更强的适应性和灵活性；基于门控层输出确定内在维度和冗余维度，有助于识别和保留对模型预测影响最大的特征；重构损失函数结合了重构损失、维度因子和门控值的平均间隔，综合考虑了数据重构的精度、特征选择的有效性和门控层的确定性，使得数据重构减少冗余，提高重构精度和优化效率；针对一般污水加药效果预测方法存在对污水加药效果的特征信息捕捉能力差、激活函数单一从而导致模型的表现力和预测能力差的问题，本方案引入忆阻器模型设计自适应激活函数，通过引入忆阻器，能够根据输入数据的不同特性进行动态调整，提高模型的灵活性和适应性；并基于自适应激活函数得到混合自适应激活函数，能够捕捉多层次、多尺度的特征信息，使得模型能够更好地处理多维特征数据；使得模型在应对污水加药效果中的复杂数据时，具有更高的准确性和可靠性。

2、本发明采取的技术方案如下：本发明提供的基于大数据的污水加药效果预测方法，该方法包括以下步骤：

3、步骤s1：数据采集；

4、步骤s2：数据预处理；

5、步骤s3：数据优化；

6、步骤s4：建立污水加药效果预测模型；

7、步骤s5：污水加药效果预测。

8、进一步地，在步骤s1中，所述数据采集是采集历史污水加药效果数据；所述污水加药效果数据包括水质参数数据、加药参数数据、工艺参数数据、环境参数数据和加药效果评估等级；将加药效果评估等级作为数据标签。

9、进一步地，在步骤s2中，所述数据预处理是对采集的数据进行数据清洗、数据规范化和数据集划分；所述数据清洗是处理缺失值、重复值和异常值；所述数据规范化是将数据转换为向量形式并进行标准化处理，得到原始数据集；所述数据集划分是将原始数据集划分为准测试集和准训练集。

10、进一步地，在步骤s3中，所述数据优化具体包括以下步骤：

11、步骤s31：初始化；构建基于仿射变换的可逆流模型；

12、步骤s32：定义门控层；将可逆流模型的掩码层替换为可学习的门控层g；门控层表示如下：

13、；

14、式中，mi是第i个特征的门控值；sigmoid(·)是sigmoid激活函数；η是放大因子；是门控层的可学习参数；

15、步骤s33：编码过程；将输入数据x通过流模型编码得到z；使用门控层g对z进行hadamard运算以获得特征u；所用公式如下：

16、；

17、；

18、式中，z是通过流模型t得到的编码表示；是hadamard运算；

19、步骤s34：解码；将特征u通过流模型解码得到重构数据；所用公式如下：

20、；

21、式中，是流模型的逆变换；

22、步骤s35：确定内在维度；基于门控层输出区分内在维度和冗余维度；表示如下：

23、；

24、式中，d是内在维度的数量；n是特征总数；是对大于0.5的进行求和；

25、步骤s36：计算平均间隔；通过最大化间隔提高门控层对维度选择的确定性；所用公式如下：

26、；

27、式中，是门控值mi与0.5的平均间隔；

28、步骤s37：构建损失函数；基于均方误差重构损失函数并最终优化；所用公式如下：

29、；

30、式中，l是总损失值；f是重构损失函数；是维度因子；mse(·)是均方误差；和分别是第i1个输入数据和重构数据；n是输入数据总数；

31、步骤s38：数据优化；预先设有损失阈值；基于准训练集训练步骤s32至步骤s34优化的可逆流模型；若收敛完成的可逆流模型对测试集的总损失函数值低于损失阈值，则可逆流模型建立完成，基于可逆流模型对原始数据集进行降维处理，得到优化后数据集；并将优化后数据集划分为测试集和训练集。

32、进一步地，在步骤s4中，所述建立污水加药效果预测模型具体包括以下步骤：

33、步骤s41：设计忆阻器模型；忆阻器是具有非线性特性的电阻，模型定义如下：

34、；

35、式中，i2是电流；v是电压；是忆阻器的状态变量；a和b是忆阻器内部参数；

36、步骤s42：设计自适应激活函数；引入忆阻器构建激活函数；所用公式如下：

37、；

38、式中，mu(·)是自适应激活函数；是激活函数输入；

39、步骤s43：构建混合自适应激活函数；基于自适应激活函数建立污水加药效果预测模型的激活函数；所用公式如下：

40、；

41、式中，、、和分别是第1个、第2个、第3个和第4个神经元的对自身输入的激活输出；、、和分别是第1个、第2个、第3个和第4个神经元的输入；、和分别是第1个神经元、第2个神经元和第3个神经元与自身的突触权重；和分别是第1个神经元与第2个神经元和第3个神经元的突触权重；和分别是第2个神经元与第1个神经元和第3个神经元的突触权重；和分别是第3个神经元与第1个神经元和第2个神经元的突触权重；

42、步骤s44：污水加药效果预测模型判定；污水加药效果预测模型采用交叉熵损失函数；预先设有正确率阈值；若污水加药效果预测模型对训练集的损失收敛，则污水加药效果预测模型训练完成；若训练完成的污水加药效果预测模型对测试集的预测正确率高于正确率阈值，则污水加药效果预测模型建立完成；否则，重新划分数据集并调整参数重新训练污水加药效果预测模型。

43、进一步地，在步骤s5中，所述污水加药效果预测是基于建立完成的污水加药效果预测模型；实时采集水质参数数据、加药参数数据、工艺参数数据和环境参数数据，经数据预处理和数据优化后输入至污水加药效果预测模型中，将污水加药效果预测模型的输出作为污水加药效果预测结果；预先设有等级阈值，若加药效果评估等级低于等级阈值，则进行预警处理。

44、本发明提供的基于大数据的污水加药效果预测系统，包括数据采集模块、数据预处理模块、数据优化模块、污水加药效果预测模型建立模块和污水加药效果预测模块；

45、所述数据采集模块采集历史污水加药效果数据，并将数据发送至数据预处理模块；

46、所述数据预处理模块对采集的数据进行数据清洗、数据规范化和数据集划分，并将数据发送至数据优化模块；

47、所述数据优化模块基于仿射变换的可逆流模型，将掩码层替换为可学习的门控层；基于门控层输出确定内在维度和冗余维度；结合了重构损失、维度因子和门控值的平均间隔重构损失函数，进而实现数据优化；并将数据发送至污水加药效果预测模型建立模块；

48、所述污水加药效果预测模型建立模块引入忆阻器模型设计自适应激活函数；并基于自适应激活函数得到混合自适应激活函数；进而完成污水加药效果预测模型的建立；并将数据发送至污水加药效果预测模块；

49、所述污水加药效果预测模块基于建立完成的污水加药效果预测模型实现污水加药效果预测。

50、采用上述方案本发明取得的有益效果如下：

51、（1）针对一般污水加药效果预测方法存在原始数据维度过多导致计算量过大，数据重构又会出现信息丢失，重构精准性差的问题，本方案基于仿射变换的可逆流模型，将掩码层替换为可学习的门控层，使得重构方法存在更强的适应性和灵活性；基于门控层输出确定内在维度和冗余维度，有助于识别和保留对模型预测影响最大的特征；重构损失函数结合了重构损失、维度因子和门控值的平均间隔，综合考虑了数据重构的精度、特征选择的有效性和门控层的确定性，使得数据重构减少冗余，提高重构精度和优化效率。

52、（2）针对一般污水加药效果预测方法存在对污水加药效果的特征信息捕捉能力差、激活函数单一从而导致模型的表现力和预测能力差的问题，本方案引入忆阻器模型设计自适应激活函数，通过引入忆阻器，能够根据输入数据的不同特性进行动态调整，提高模型的灵活性和适应性；并基于自适应激活函数得到混合自适应激活函数，能够捕捉多层次、多尺度的特征信息，使得模型能够更好地处理多维特征数据；使得模型在应对污水加药效果中的复杂数据时，具有更高的准确性和可靠性。

技术特征：

1.基于大数据的污水加药效果预测方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的基于大数据的污水加药效果预测方法，其特征在于：在步骤s4中，所述建立污水加药效果预测模型具体包括以下步骤：

3.根据权利要求1所述的基于大数据的污水加药效果预测方法，其特征在于：在步骤s3中，所述数据优化具体包括以下步骤：

4.根据权利要求1所述的基于大数据的污水加药效果预测方法，其特征在于：在步骤s2中，所述数据预处理是对采集的数据进行数据清洗、数据规范化和数据集划分；所述数据清洗是处理缺失值、重复值和异常值；所述数据规范化是将数据转换为向量形式并进行标准化处理，得到原始数据集；所述数据集划分是将原始数据集划分为准测试集和准训练集。

5.基于大数据的污水加药效果预测系统，用于实现如权利要求1-4中任一项所述的基于大数据的污水加药效果预测方法，其特征在于：包括数据采集模块、数据预处理模块、数据优化模块、污水加药效果预测模型建立模块和污水加药效果预测模块；

技术总结
本发明公开了基于大数据的污水加药效果预测方法及系统，方法包括数据采集、数据预处理、数据优化、建立污水加药效果预测模型和污水加药效果预测。本发明属于效果预测技术领域，具体是指基于大数据的污水加药效果预测方法及系统，本方案基于仿射变换的可逆流模型，将掩码层替换为可学习的门控层；基于门控层输出确定内在维度和冗余维度；重构损失函数结合了重构损失、维度因子和门控值的平均间隔，使得数据重构减少冗余，提高重构精度和优化效率；引入忆阻器模型设计自适应激活函数，提高模型的灵活性和适应性；并基于自适应激活函数得到混合自适应激活函数；使得模型在应对污水加药效果中的复杂数据时，具有更高的准确性和可靠性。

技术研发人员：郭瑞孝,朱国勇,魏陈波,周莹锋,李蕾蕊,江伟
受保护的技术使用者：厦门市政工程有限公司
技术研发日：
技术公布日：2024/9/23