多任务跨被试脑电情绪识别方法、装置及存储介质

本发明涉及脑电信号处理，尤其涉及一种多任务跨被试脑电情绪识别方法、装置及存储介质。

背景技术：

1、情绪识别在人机交互、疾病评估、产品设计、虚拟现实等领域具有重要的作用，近年来越来越受到学术界的关注，成为一个重要的研究课题。由于脑电信号(eeg)具有时间分辨率高、不易伪装、可靠性高、便于采集等优点，基于eeg的情绪识别受到越来越多研究者的青睐。

2、早期的基于eeg的情绪识别模型大多采用机器学习的方法，识别性能的高低主要取决于手工提取的特征质量。随着深度学习的发展，越来越多的研究采用深度学习模型如卷积神经网络(cnn)、长短期记忆网络(lstm)、胶囊网络(capnet)等。还有部分工作结合cnn的局部感知能力和lstm的时序信息提取能力进一步提升情绪识别的性能。

3、然而，由于脑电信号受采集设备、实验设计和被试的影响，往往在不同被试之间、不同数据集之间存在巨大的差异，这要求基于脑电的情绪识别模型应具备良好的情绪相关特征提取能力和在不同被试、不同数据集上的泛化能力。现阶段大多工作虽然在被试依赖(训练数据和测试数据来自同一被试)上取得了较高的性能，但是在跨被试(部分被试的数据作为训练集，另一部分被试的数据作为测试集)、跨数据集的情绪识别上仍面临巨大挑战。

技术实现思路

1、本申请实施例提供一种多任务跨被试脑电情绪识别方法、装置及存储介质，用以解决现有技术的情绪识别模型在跨被试的情绪识别中准确性低的技术问题。

2、本申请实施例提供一种多任务跨被试脑电情绪识别方法，包括：

3、获取四维输入数据，所述四维输入数据是基于时间段、波段、电极位置和原始脑电信号确定的，所述原始脑电信号是基于多个不同的脑电采集设备获取的；

4、基于多层感知机对所述四维输入数据进行特征提取，并根据自注意力和交叉注意力获取通用脑电表征，所述通用脑电表征是基于初级脑电表征确定的；

5、基于目标任务确定所述通用脑电表征中的目标特征，所述目标特征用于确定情绪识别的预测结果。

6、在一些实施例中，所述获取四维输入数据，包括：

7、基于滤波器将所述原始脑电信号分为多个波段，获取每个波段的微分熵de特征，确定二维输入数据；

8、将每个波段的de特征和电极位置的对应关系映射到所述二维输入数据中，得到三维输入数据；

9、基于时间段的时序排列所述三维输入数据，获取四维输入数据。

10、在一些实施例中，所述基于多层感知机对所述四维输入数据进行特征提取，并根据自注意力和交叉注意力获取通用脑电表征，包括：

11、基于多层感知机对所述四维输入数据进行特征提取，获取初级脑电表征；

12、基于自注意力和交叉注意力从所述初级脑电表征中获取通用脑电表征。

13、在一些实施例中，所述初级脑电表征用于将所述原始脑电信号映射到同一潜在空间。

14、在一些实施例中，所述基于自注意力和交叉注意力从所述初级脑电表征中获取通用脑电表征，包括：

15、获取可学习嵌入向量；

16、基于所述可学习嵌入向量的自注意力，及所述可学习嵌入向量与所述初级脑电表征的交叉注意力获取所述通用脑电表征。

17、在一些实施例中，所述基于目标任务确定所述通用脑电表征中的目标特征，包括：将所述目标任务对应的多层感知机作为解码器，基于最小化交叉熵损失函数进行训练，获取目标特征。

18、第二方面，本申请实施例还提供一种多任务跨被试脑电情绪识别装置，包括：

19、第一获取模块，用于获取四维输入数据，所述四维输入数据是基于时间段、波段、电极位置和原始脑电信号确定的，所述原始脑电信号是基于多个不同的脑电采集设备获取的；

20、第二获取模块，用于基于多层感知机对所述四维输入数据进行特征提取，并根据自注意力和交叉注意力获取通用脑电表征，所述通用脑电表征是基于初级脑电表征确定的；

21、第一确定模块，用于基于目标任务确定所述通用脑电表征中的目标特征，所述目标特征用于确定情绪识别的预测结果。

22、在一些实施例中，所述第一获取模块包括：

23、第一获取子模块，用于基于滤波器将所述原始脑电信号分为多个波段，获取每个波段的微分熵de特征，确定二维输入数据；

24、第一处理子模块，用于将每个波段的de特征和电极位置的对应关系映射到所述二维输入数据中，得到三维输入数据；

25、第二获取子模块，用于基于时间段的时序排列所述三维输入数据，获取四维输入数据。

26、在一些实施例中，所述第二获取模块包括：

27、第三获取子模块，用于基于多层感知机对所述四维输入数据进行特征提取，获取初级脑电表征；

28、第四获取子模块，用于基于自注意力和交叉注意力从所述初级脑电表征中获取通用脑电表征。

29、在一些实施例中，所述初级脑电表征用于将所述原始脑电信号映射到同一潜在空间。

30、在一些实施例中，所述第四获取子模块包括：

31、第一获取单元，用于获取可学习嵌入向量；

32、第二获取单元，用于基于所述可学习嵌入向量的自注意力，及所述可学习嵌入向量与所述初级脑电表征的交叉注意力获取所述通用脑电表征。

33、在一些实施例中，所述第一确定模块包括：

34、第五获取子模块，用于将所述目标任务对应的多层感知机作为解码器，基于最小化交叉熵损失函数进行训练，获取目标特征。

35、本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多任务跨被试脑电情绪识别方法。

36、本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多任务跨被试脑电情绪识别方法。

37、本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多任务跨被试脑电情绪识别方法。

38、本申请实施例提供的多任务跨被试脑电情绪识别方法、装置及存储介质，通过对四维输入数据进行特征提取，并根据自注意力和交叉注意力获取通用脑电表征，然后根据目标任务确定所述通用脑电表征中的目标特征，从而可以根据目标特征得到情绪识别的预测结果，可以提高跨被试情绪识别的准确性。

技术特征：

1.一种多任务跨被试脑电情绪识别方法，其特征在于，包括：

2.根据权利要求1所述的多任务跨被试脑电情绪识别方法，其特征在于，所述获取四维输入数据，包括：

3.根据权利要求1所述的多任务跨被试脑电情绪识别方法，其特征在于，所述基于多层感知机对所述四维输入数据进行特征提取，并根据自注意力和交叉注意力获取通用脑电表征，包括：

4.根据权利要求3所述的多任务跨被试脑电情绪识别方法，其特征在于，所述初级脑电表征用于将所述原始脑电信号映射到同一潜在空间。

5.根据权利要求3所述的多任务跨被试脑电情绪识别方法，其特征在于，所述基于自注意力和交叉注意力从所述初级脑电表征中获取通用脑电表征，包括：

6.根据权利要求1所述的多任务跨被试脑电情绪识别方法，其特征在于，所述基于目标任务确定所述通用脑电表征中的目标特征，包括：

7.一种多任务跨被试脑电情绪识别装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述多任务跨被试脑电情绪识别方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多任务跨被试脑电情绪识别方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多任务跨被试脑电情绪识别方法。

技术总结
本发明提供一种多任务跨被试脑电情绪识别方法、装置及存储介质，所述方法包括：获取四维输入数据；基于多层感知机对所述四维输入数据进行特征提取，并根据自注意力和交叉注意力获取通用脑电表征，所述通用脑电表征是基于初级脑电表征确定的；基于目标任务确定所述通用脑电表征中的目标特征，所述目标特征用于确定情绪识别的预测结果。本申请实施例提供的多任务跨被试脑电情绪识别方法、装置及存储介质，通过对四维输入数据进行特征提取，并根据自注意力和交叉注意力获取通用脑电表征，然后根据目标任务确定所述通用脑电表征中的目标特征，从而可以根据目标特征得到情绪识别的预测结果，可以提高跨被试情绪识别的准确性。

技术研发人员：王丹力,高玄歌
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/9/23