一种基于深度学习与大数据融合的智能推荐系统及其方法与流程

本发明涉及人工智能及大数据，具体涉及一种基于深度学习与大数据融合的智能推荐系统及其方法。

背景技术：

1、随着信息技术的飞速发展，互联网和移动设备的普及，用户生成的数据量呈指数级增长。这些数据不仅包含用户的基本信息，还涵盖了用户的浏览历史、购买记录、社交媒体互动、地理位置等多维度的信息。这些数据为智能推荐系统提供了丰富的资源，但同时也带来了前所未有的挑战。

2、目前市场上已存在多种智能推荐系统，大多基于传统的机器学习算法或简单的统计模型。这些系统在一定程度上提高了推荐的准确性，但仍存在以下问题：难以捕捉用户复杂多变的兴趣偏好；难以处理大规模、高维度的数据，导致推荐效率低下；难以适应动态变化的市场环境和用户行为。某些现有技术采用了深度学习算法进行推荐，如基于循环神经网络（rnn）或卷积神经网络（cnn）的推荐模型。然而，这些模型在处理大数据时仍存在训练成本高、模型复杂度大、可解释性差等问题。

3、因此，需要一种基于深度学习与大数据融合的智能推荐系统及其方法，以解决上述问题。

技术实现思路

1、针对现有技术的不足，本发明公开了一种基于深度学习与大数据融合的智能推荐系统及其方法，利用深度学习算法结合大数据处理技术，实现高效、精准的智能推荐系统及其方法。该系统可广泛应用于电子商务、社交媒体、内容分发等多个领域，以提高用户体验和平台运营效率。

2、本发明采用以下技术方案：一种基于深度学习与大数据融合的智能推荐系统，包括：

3、数据采集模块，所述数据采集模块用于采集多个数据源的用户行为数据、商品信息和用户画像数据；

4、数据预处理模块，所述数据预处理模块用于对采集到的数据进行清洗、转换和归一化处理操作，并通过整合多个数据源数据构建用户画像和物品画像；

5、深度学习模型训练模块，所述深度学习模型训练模块采用分布式存储和并行计算方式实现数据的快速处理和分析，所述深度学习模型训练模块包括模型选择单元、模型训练单元和模型性能评估单元，所述模型选择单元根据应用场景和数据类型自适应选择深度学习模型进行训练，所述模型选择单元采用改进式transformer深度学习模型对图像和文本数据进行建模和分析，并采用改进式循环神经网络序列模型对序列数据进行建模和分析，以预测用户未来的兴趣偏好，所述改进式transformer深度学习模型通过结合注意力机制和嵌入层自动学习和挖掘图像和文本数据中用户的行为模式、兴趣偏好以及潜在需求，所述改进式循环神经网络序列模型采用注意力机制动态调整用户行为序列预测结果中不同物品的权重；

6、实时推荐模块，所述实时推荐模块基于训练模型生成用户个性化商品推荐列表，并通过实时推荐引擎动态调整推荐结果，所述实时推荐引擎根据监听到的用户实时行为数据变化触发训练模型的重新计算和推荐结果的更新；

7、用户反馈与迭代模块，所述用户反馈与迭代模块采用用户反馈机制收集用户对推荐结果的反馈，并根据用户反馈和实时行为数据动态调整推荐策略和模型参数，实现训练模型的持续优化和迭代更新；

8、推荐结果解释模块，所述推荐结果解释模块通过可视化平台展示推荐结果的生成过程和变化趋势，并采用解释性算法对推荐结果进行解释性分析。

9、进一步地，所述数据采集模块采用应用程序接口api实时采集用户数据库、电商平台和日志文件中的用户浏览记录、购买行为、商品详情和用户信息，所述数据预处理模块通过数据规则引擎对原始采集数据进行清洗、转换和归一化处理，并采用自监督表征学习方法整合用户行为特征、兴趣特征和物品属性特征，以构建用户画像和物品画像。

10、进一步地，所述改进式transformer深度学习模型包括输入嵌入层、位置编码层、自注意力机制层、前馈神经网络层、自适应参数调节层、自适应拓扑结构层、最大池化层、归一化层、残差连接层和输出层，所述改进式transformer深度学习模型的工作方法包括：

11、步骤1、所述输入嵌入层采用词向量处理或图像卷积操作将预处理后的图像或文本数据嵌入到低维向量空间中，并输入至所述改进式transformer深度学习模型中，所述位置编码层采用正弦和余弦函数的线性组合生成输入数据的位置编码，并将编码后的位置信息嵌入到已有的低维向量空间中；

12、步骤2、采用多个所述自注意力机制层构建多层自注意力结构，所述多层自注意力结构将低维向量空间数据分成多个头部序列输入至所述自注意力机制层中，并对多个所述自注意力机制层输入的序列进行并行处理，所述自注意力机制层通过计算输入序列中各元素的注意力权重捕捉图像或文本数据中不同层次的语义信息，并对多个头部序列的注意力权重进行加权平均得到最终的注意力表示；

13、步骤3、所述前馈神经网络层通过多个全连接层将注意力表示映射为高维特征表示，并采用激活函数在全连接层之间进行非线性变换的组合，以逐层抽象和提取特征表示；

14、步骤4、采用所述自适应参数调节层自适应调节和更新深度学习网络参数，并采用所述自适应拓扑结构层动态调整深度学习网络结构，所述自适应参数调节层采用动态参数学习策略监控深度学习网络工作的误差变化情况，并根据误差变化情况自适应地调整参数，所述自适应拓扑结构层根据输入数据的特性自适应增加或删除所述多层自注意力结构和前馈神经网络层之间的中间层；

15、步骤5、采用所述最大池化层对提取的特征表示进行采样，并选择每个池化窗口内的最大值做为采样结果，将提取的特征表示输入至所述归一化层进行标准化处理；

16、步骤6、所述残差连接层通过构建与所述前馈神经网络层之间的跨层残差连接将直接输入所述残差连接层的数据与经过前面层的输出数据相加，以保留历史信息；

17、步骤7、将处理后的数据输入至输出层，并根据不同的任务需求进行结果的输出。

18、进一步地，所述改进式循环神经网络序列模型采用循环神经网络rnn或长短期记忆网络lstm序列建模，以捕捉用户行为在时间上的演化和变化，用户行为序列为，表示用户行为数据在第t个时间步的输入，建模公式为：      （1）

19、在公式（1）中，表示第t个时间步的用户兴趣偏好预测结果，、和表示第t个时间步的输入门、遗忘门和输出门函数，用于控制数据信息的流入和流出，表示用户行为数据在第t-1个时间步的输入，表示用户行为数据在时间步t-1时的隐藏状态；根据不同时间步的输入信息动态调整推荐时不同物品的权重，以反映用户的个性化偏好，计算公式为：       （2）

20、在公式（2）中，表示第t个时间步的注意力权重，、、和表示自注意力机制的参数，用于用户行为数据和隐藏状态的线性变换，表示用户行为数据在时间步t时的隐藏状态。

21、进一步地，所述模型训练单元采用小批量梯度下降优化算法进行选择模型的训练，并采用正则化方式防止模型过拟合，所述小批量梯度下降优化算法通过随机抽取批量数据更新选择模型的参数，并通过迭代更新选择模型的参数使损失函数最小化，所述正则化方式通过添加惩罚项控制选择模型参数的数量，所述模型性能评估单元采用交叉验证法评估训练模型的性能，所述交叉验证法通过将数据集划分为子集进行训练模型的重复优化训练实现训练模型性能的评估。

22、进一步地，所述实时推荐引擎采用实时流处理框架进行用户实时行为数据变化的实时更新和计算，所述实时流处理框架采用数据缓存机制将用户行为特征向量缓存至内存中等待处理，并采用多核处理器进行数据并行处理，所述实时流处理框架通过时间窗口将新增的数据点添加至数据集中，对新增数据点进行更新，并实时获取新增数据点的隶属度向量，所述时间窗口通过将新增数据点输入至训练模型中触发重新计算和推荐结果的更新。

23、进一步地，所述可视化平台采用交互式图表和热点图对推荐结果进行可视化展示和交互式分析，所述可视化平台采用用户身份验证机制验证访问用户的身份，并通过访问计数器记录缓存数据项被查看的次数，所述解释性算法通过计算每个数据特征对推荐结果的影响程度识别关键数据特征，并通过绘制曲线图展示单个变量特征值变化对目标变量的影响趋势。

24、进一步地，一种基于深度学习与大数据融合的智能推荐方法，所述智能推荐方法包括以下步骤：

25、步骤一、采集多个数据源的用户行为数据、商品信息和用户画像数据；

26、步骤二、对采集到的数据进行清洗、转换和归一化预处理操作，并通过整合多个数据源数据构建用户画像和物品画像；

27、步骤三、选择改进式深度学习算法，结合大数据处理技术，进行模型的训练和优化，并采用分布式存储和并行计算方式实现数据的快速处理和分析；

28、步骤四、采用训练好的深度学习模型生成用户个性化商品推荐列表，并通过实时推荐引擎动态调整推荐结果；

29、步骤五、采用用户反馈机制收集用户对推荐结果的反馈，并根据用户反馈和实时行为数据动态调整推荐策略和模型参数，实现训练模型的持续优化和迭代；

30、步骤六、通过可视化平台展示推荐结果的生成过程和影响因素，并采用解释性算法对推荐结果进行解释性分析。

31、本发明的有益效果为：

32、1、本发明采用基于transformer的深度学习模型，结合注意力机制和嵌入层技术，对大规模、高维度的用户行为数据和物品信息进行建模和分析，并利用分布式存储和并行计算技术，实现大数据的快速处理和分析，提高推荐系统的实时性和效率，将深度学习算法与大数据处理技术深度融合，通过深度学习模型自动学习大数据中的复杂特征和模式，实现更加精准和个性化的推荐，这种深度融合不仅提高了推荐系统的准确性，还增强了系统的可扩展性和适应性。

33、2、本发明采用循环神经网络（rnn）或长短期记忆网络（lstm）序列模型，对用户行为序列进行建模和分析，预测用户未来的兴趣偏好，并结合注意力机制，动态调整推荐结果中不同物品的权重，使推荐结果更加符合用户当前的兴趣和需求，对个性化推荐算法进行了优化和创新，通过引入用户行为序列分析、兴趣迁移预测等机制，更准确地捕捉用户兴趣的变化和潜在需求。

34、3、本发明设计实时推荐引擎，通过监听用户实时行为数据（，触发推荐模型的重新计算和推荐结果的更新，并建立用户反馈机制，收集用户对推荐结果的反馈，用于模型的持续优化和迭代，实现了实时推荐功能，并引入了动态调整机制，能够根据用户实时行为和反馈，实时更新推荐结果，提高推荐的时效性和准确性。

35、4、本发明设计推荐结果解释模块，通过可视化技术展示推荐结果的生成过程和影响因素，并引入解释性算法对推荐结果进行解释性分析，帮助用户理解推荐结果的合理性和准确性。注重提升推荐模型的可解释性和透明度，通过可视化技术和解释性算法，帮助用户理解推荐结果的生成过程和依据。

技术特征：

1.一种基于深度学习与大数据融合的智能推荐系统，其特征在于，包括：

2.根据权利要求1所述的一种基于深度学习与大数据融合的智能推荐系统，其特征在于，所述数据采集模块采用应用程序接口api实时采集用户数据库、电商平台和日志文件中的用户浏览记录、购买行为、商品详情和用户信息，所述数据预处理模块通过数据规则引擎对原始采集数据进行清洗、转换和归一化处理，并采用自监督表征学习方法提取和整合用户行为特征、兴趣特征和物品属性特征，以构建用户画像和物品画像。

3.根据权利要求1所述的一种基于深度学习与大数据融合的智能推荐系统，其特征在于，所述改进式transformer深度学习模型包括输入嵌入层、位置编码层、自注意力机制层、前馈神经网络层、自适应参数调节层、自适应拓扑结构层、最大池化层、归一化层、残差连接层和输出层，所述改进式transformer深度学习模型的工作方法包括：

4.根据权利要求1所述的一种基于深度学习与大数据融合的智能推荐系统，其特征在于，所述改进式循环神经网络序列模型采用循环神经网络rnn或长短期记忆网络lstm序列建模，以捕捉用户行为在时间上的演化和变化，用户行为序列为，表示用户行为数据在第t个时间步的输入，建模公式为：

5.根据权利要求1所述的一种基于深度学习与大数据融合的智能推荐系统，其特征在于，所述模型训练单元采用小批量梯度下降优化算法进行选择模型的训练，并采用正则化方式防止模型过拟合，所述小批量梯度下降优化算法通过随机抽取批量数据更新选择模型的参数，并通过迭代更新选择模型的参数使损失函数最小化，所述正则化方式通过添加惩罚项控制选择模型参数的数量，所述模型性能评估单元采用交叉验证法评估训练模型的性能，所述交叉验证法通过将数据集划分为子集进行训练模型的重复优化训练实现训练模型性能的评估。

6.根据权利要求1所述的一种基于深度学习与大数据融合的智能推荐系统，其特征在于，所述实时推荐引擎采用实时流处理框架进行用户实时行为数据变化的实时更新和计算，所述实时流处理框架采用数据缓存机制将用户行为特征向量缓存至内存中等待处理，并采用多核处理器进行数据并行处理，所述实时流处理框架通过时间窗口将新增的数据点添加至数据集中，对新增数据点进行更新，并实时获取新增数据点的隶属度向量，所述时间窗口通过将新增数据点输入至训练模型中触发重新计算和推荐结果的更新。

7.根据权利要求1所述的一种基于深度学习与大数据融合的智能推荐系统，其特征在于，所述可视化平台采用交互式图表和热点图对推荐结果进行可视化展示和交互式分析，所述可视化平台采用用户身份验证机制验证访问用户的身份，并通过访问计数器记录缓存数据项被查看的次数，所述解释性算法通过计算每个数据特征对推荐结果的影响程度识别关键数据特征，并通过绘制曲线图展示单个变量特征值变化对目标变量的影响趋势。

8.一种基于深度学习与大数据融合的智能推荐方法，应用于权利要求1-7任一项所述的一种基于深度学习与大数据融合的智能推荐系统，其特征在于，所述智能推荐方法包括以下步骤：

技术总结
本发明公开了一种基于深度学习与大数据融合的智能推荐系统及其方法，涉及人工智能及大数据领域，包括数据采集模块、数据预处理模块、深度学习模型训练模块、实时推荐模块、用户反馈与迭代模块和推荐结果解释模块，采用基于Transformer的模型结构，结合注意力机制，提高模型对复杂数据的处理能力；利用分布式存储和并行计算技术，实现大规模数据的快速处理和分析；根据用户实时行为数据，动态调整推荐策略，提高推荐的时效性和准确性；解决的是现有模型在处理大数据时仍存在训练成本高、模型复杂度大、可解释性差等问题，本发明能够高效处理大规模、高维度的数据，提升推荐效率，并精准捕捉用户复杂多变的兴趣偏好，提高推荐准确性。

技术研发人员：王伟,任红
受保护的技术使用者：北京指课科技有限公司
技术研发日：
技术公布日：2024/9/23