一种基于神经网络的网络数据识别方法及系统与流程

本发明涉及数据识别，特别是一种基于神经网络的网络数据识别方法及系统。

背景技术：

1、随着互联网的不断发展，社交媒体等网络平台上产生的海量网络数据成为信息获取和分析的重要来源，在这个背景下网络数据的准确识别和分析变得尤为关键；传统的网络数据分析方法主要基于规则或统计模型，然而由于网络数据的复杂性和不确定性，这些方法在处理大规模和多样化的网络数据时表现出一定的局限性，特别是在面对互联网上产生的海量社交媒体数据时，这些传统方法往往难以有效应对数据的多样性和不确定性；目前，一些先进的技术已经应用于网络数据的处理，其中神经网络在自然语言处理领域取得了显著的成果，长短时记忆网络lstm作为一种特殊的循环神经网络rnn，能够有效地捕捉文本中的长期依赖关系，使其在网络数据的建模中具备优势；然而现有技术仍然面临着网络数据不确定性的挑战，缺乏有效的方法来处理这种不确定性，从而影响了模型的准确性和鲁棒性。

2、但目前常见的解决方案存在诸多缺点，包括：首先，由于网络数据的不确定性，传统的神经网络模型在处理这种不确定性方面存在一定的挑战，这种不确定性可能导致模型在面对复杂多变的网络信息时表现不稳定，难以准确预测趋势；其次，现有技术在置信度量化方面的方法相对较为简单，未能充分考虑不同数据的可信程度，导致在决策时可能存在一定的误判风险，在实际应用中，对网络数据的信任度评估不足以支持精准的决策制定，尤其是在复杂多变的网络环境中。

技术实现思路

1、鉴于对网络数据进行识别时，现有技术中由于网络数据的不确定性导致在面对复杂多变的网络信息时表现不稳定，难以准确预测趋势，未能充分考虑不同数据的可信程度等问题，提出了本发明。

2、因此，本发明所要解决的问题在于如何提供一种能够更好地理解网络数据的复杂性和不确定性，提高模型对实际情况的适应性和预测准确性的方法。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明实施例提供了一种基于神经网络的网络数据识别方法，其包括采集网络数据并进行预处理，基于网络数据的不确定性利用长短时记忆网络lstm和蒙特卡洛方法构建神经网络模型；利用所述神经网络模型对所述网络数据进行预测并生成模型样本，获取预测结果的概率分布；将所述预测结果的概率分布转化为置信度指标；根据预测结果的概率分布和置信度指标制定网络决策。

5、作为本发明所述基于神经网络的网络数据识别方法的一种优选方案，其中：所述网络数据包括社交媒体、新闻网站和论坛；所述构建神经网络模型包括以下步骤：将预处理后的网络数据划分为训练集和测试集；对所述训练集和测试集进行情感类别标记；基于蒙特卡洛方法在长短时记忆网络lstm中引入dropout层模拟不确定性，构建神经网络模型；利用训练集对所述神经网络模型进行训练。

6、作为本发明所述基于神经网络的网络数据识别方法的一种优选方案，其中：所述预测结果的概率分布的计算公式如下：

7、

8、其中，p(yi|xi)为给定输入xi下输出为yi的概率；e为自然对数的底；wi为权重参数，表示神经网络模型中连接j的权重；xij为输入xi的第j个特征；b为偏差参数。

9、作为本发明所述基于神经网络的网络数据识别方法的一种优选方案，其中：利用所述神经网络模型对所述网络数据进行预测的具体情况如下：若给定输入xi下输出为yi的概率p(yi|xi)大于第一阈值，则判定对网络数据的预测结果为正面；若给定输入xi下输出为yi的概率p(yi|xi)小于第二阈值，则判定对网络数据的预测结果为负面；若给定输入xi下输出为yi的概率p(yi|xi)大于等于第二阈值，小于等于第一阈值，则判定对网络数据的预测结果为中性。

10、作为本发明所述基于神经网络的网络数据识别方法的一种优选方案，其中：所述置信度指标的计算公式如下：

11、

12、其中，confidence(yi)为对预测结果yi的置信度指标；α为置信度量化算法中的参数；β为置信度量化算法中的参数；若置信度指标confidence(yi)大于第三阈值，则对预测结果的置信度高；若置信度指标confidence(yi)不大于第三阈值，则对预测结果的置信度低。

13、作为本发明所述基于神经网络的网络数据识别方法的一种优选方案，其中：所述根据预测结果的概率分布和置信度指标制定网络决策通过利用预测结果的概率分布和置信度指标综合分析神经网络模型的可信度，并制定对应的网络决策；所述神经网络模型的可信度的计算公式如下：

14、

15、其中，score(yi)为神经网络模型的可信度；m为调整预测结果的权重；n为调整置信度指标的权重。

16、作为本发明所述基于神经网络的网络数据识别方法的一种优选方案，其中：所述制定对应的网络决策的具体情况如下：若神经网络模型的可信度score(yi大于第四阈值，则判定网络数据的预测结果可信，制定积极的网络决策；若神经网络模型的可信度score(yi)小于第五阈值，则判定网络数据的预测结果不可信，重新对网络数据进行预测；若神经网络模型的可信度score(yi)大于等于第五阈值且小于等于第四阈值，则判定网络数据的预测结果综合信心一般，制定谨慎的网络决策；若神经网络模型的可信度score(yi)连续n次大于第四阈值，则判定网络数据的预测结果准确性高，提高调整预测结果的权重；若神经网络模型的可信度score(yi)连续n次小于第五阈值，则判定网络数据的预测结果准确性低，提高调整置信度指标的权重。

17、第二方面，本发明为进一步解决网络数据识别中存在的安全问题，实施例提供了一种基于神经网络的网络数据识别系统，其包括：模型构建模块，用于采集网络数据，并基于网络数据的不确定性利用长短时记忆网络lstm和蒙特卡洛方法构建神经网络模型；预测模块，用于利用神经网络模型对网络数据进行预测，计算预测结果的概率分布和置信度指标；决策模块，用于根据预测结果的概率分布和置信度指标计算神经网络模型的可信度，制定对应的网络决策。

18、第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的一种基于神经网络的网络数据识别方法的任一步骤。

19、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的一种基于神经网络的网络数据识别方法的任一步骤。

20、本发明的有益效果为：本发明通过采用长短时记忆网络lstm和蒙特卡洛方法，能够更好地理解网络数据的复杂性和不确定性，提高了模型对实际情况的适应性和预测准确性；通过将概率分布转化为置信度指标，能够更直观地表达对不同预测结果的信心程度，帮助决策者更好地理解模型的不确定性，提高网络决策的准确性。

技术特征：

1.一种基于神经网络的网络数据识别方法，其特征在于：包括：

2.如权利要求1所述的基于神经网络的网络数据识别方法，其特征在于：所述网络数据包括社交媒体、新闻网站和论坛；

3.如权利要求2所述的基于神经网络的网络数据识别方法，其特征在于：所述预测结果的概率分布的计算公式如下：

4.如权利要求3所述的基于神经网络的网络数据识别方法，其特征在于：利用所述神经网络模型对所述网络数据进行预测的具体情况如下：

5.如权利要求4所述的基于神经网络的网络数据识别方法，其特征在于：所述置信度指标的计算公式如下：

6.如权利要求5所述的基于神经网络的网络数据识别方法，其特征在于：所述根据预测结果的概率分布和置信度指标制定网络决策通过利用预测结果的概率分布和置信度指标综合分析神经网络模型的可信度，并制定对应的网络决策；

7.如权利要求6所述的基于神经网络的网络数据识别方法，其特征在于：所述制定对应的网络决策的具体情况如下：

8.一种基于神经网络的网络数据识别系统，基于权利要求1～7任一所述的一种基于神经网络的网络数据识别方法，其特征在于：包括，

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的一种基于神经网络的网络数据识别方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的一种基于神经网络的网络数据识别方法的步骤。

技术总结
本发明公开了一种基于神经网络的网络数据识别方法及系统，涉及数据识别技术领域，包括采集网络数据并进行预处理，基于网络数据的不确定性利用长短时记忆网络LSTM和蒙特卡洛方法构建神经网络模型；利用所述神经网络模型对所述网络数据进行预测并生成模型样本，获取预测结果的概率分布；将所述预测结果的概率分布转化为置信度指标；根据预测结果的概率分布和置信度指标制定网络决策。本发明通过采用长短时记忆网络LSTM和蒙特卡洛方法，更好地理解网络数据的复杂性和不确定性，提高对实际情况的适应性和预测准确性；通过将概率分布转化为置信度指标，直观地表达对不同预测结果的信心程度，提高网络决策的准确性。

技术研发人员：王珏,于永添
受保护的技术使用者：南京特尔顿信息科技有限公司
技术研发日：
技术公布日：2024/9/23