一种基于卷积神经网络和光流特征的微表情识别方法

本发明属于表情识别领域，涉及微表情识别技术，具体提供一种基于卷积神经网络和光流特征的微表情识别方法。

背景技术：

1、面部表情能够直接传达人的情绪信息，相比于宏表情的人为可控制性，“一闪而过”的微表情反应的信息更加准确。自微表情于1966年被发现以来，人们对微表情的研究一直在不断发展，对微表情的应用需要也在一直增长。

2、微表情识别能捕捉人脸细微的活动信息，得到最真实的情绪反馈，这使微表情识别在心理治疗、国家安全、司法等领域得到广泛应用。随着人工智能技术的不断发展，基于深度学习的图像处理技术日趋成熟，人脸检测技术也更加精准；与传统的机器学习技术相比，卷积神经网络(cnn)是一种更强大的特征提取器和分类器；基于此，本发明提供一种基于卷积神经网络和光流特征的微表情识别方法。

技术实现思路

1、本发明的目的在于提供一种基于卷积神经网络和光流特征的微表情识别方法，用以提高微表情识别的适配性和准确性。

2、为实现上述目的，本发明采用的技术方案为：

3、一种基于卷积神经网络和光流特征的微表情识别方法，包括以下步骤：

4、步骤1、采用人脸检测模块对视频段中每一图像帧进行人脸检测，输出人脸关键点信息；

5、步骤2、根据人脸关键点信息提取四个面部感兴趣区域：鼻子、嘴、左眼及眉毛、右眼及眉毛；

6、步骤3、采用tv_l1光流计算算法计算视频段中所有图像帧与第一图像帧的光应变，并计算图像帧中每个感兴趣区域的光应变值，并相加作为图像帧的光流特征值；

7、步骤4、以视频段第一帧作为微表情起始帧，最后一帧为微表情终止帧，在视频段的图像帧序列中使用二值搜索算法搜索得到光流特征值最大的图像帧，将其作为微表情顶点帧；

8、步骤5、将顶点帧的光应变、光流水平分量与光流垂直分量作为输入，由基于卷积神经网络的微表情识别模型输出微表情的类别预测结果，微表情的类别包括积极、消极、惊奇与其他。

9、进一步的，步骤1中，人脸检测模块包括mtcnn人脸检测模型与lbf人脸关键点检测模型；mtcnn人脸检测模型对视频段的每一个图像帧进行人脸检测，并结合c-of跟踪算法输出稳定的人脸边界框；lbf人脸关键点检测模型根据人脸边界框提取68个面部关键点，作为人脸关键点信息并输出。

10、进一步的，步骤2中，面部感兴趣区域提取过程为，对应鼻子、嘴、左眼及眉毛、右眼及眉毛，通过人脸关键点信息确定矩形框的左上顶点与右下顶点，由矩形框提取得相应的面部感兴趣区域。

11、进一步的，步骤3中，当前图像帧相对于第一图像帧的光流o为：

12、o＝{(u(x,y),v(x,y))|x＝1,2,...,x,y＝1,2,…,y}，

13、其中，u表示光流水平分量，v表示光流垂直分量，(x,y)表示像素坐标；x与y分别表示图像帧的宽度与高度；

14、基于光流水平分量u和光流垂直分量v计算光应变ε：

15、

16、其中，(εxx、εyy)为法向光应变分量，(εxy、εxy)为切向光应变分量；

17、计算得到当前图像帧中每个像素的光应变值ε(x,y)：

18、

19、通过累加计算得到每个感兴趣区域的光应变值，再将四个感兴趣区域的光应变值相加得到当前图像帧的光流特征值。

20、进一步的，基于卷积神经网络的微表情识别模型包括：3个特征提取模块、2个全连接层及softmax层；其中，3个特征提取模块采用相同网络结构，并分别对顶点帧的光应变、光流水平分量与光流垂直分量进行特征提取，对应得到一维特征向量；3个一维特征向量通过拼接实现特征融合，融合后特征向量经过2个全连接层进行维度转换，最后由softmax层进行微表情的类别预测，输出类别预测结果。

21、更进一步的，特征提取模块包括：2个卷积模型、最大池化层及全连接层；2个卷积模型采用相同网络结构，由2个3×3的卷积层连接构成，第一个卷积层的步长为1、第二卷积层的步长为2；输入依次经过2个卷积模块与最大池化层后得到三维特征图，三维特征图经过展平转换为一维特征图，并经过全连接层后输出。

22、基于上述技术方案，本发明的有益效果在于：

23、本发明提供一种基于卷积神经网络和光流特征的微表情识别方法，微表情的类别包括积极、消极、惊奇与其他；首先，构建人脸检测模块，通过人脸检测模块对视频段中每一图像帧进行人脸检测，输出人脸关键点信息；并根据人脸关键点信息提取四个面部感兴趣区域：鼻子、嘴、左眼及眉毛、右眼及眉毛，作为后续微表情识别的核心区域；然后，引入光流信息(光流水平分量与光流垂直分量)及光应变信息，用以表征面部运动的时空信息和面部变形的强度信息，计算得到每一图像帧的光流特征值，并使用二值搜索算法搜索得到光流特征值最大的图像帧作为微表情识别中的顶点帧；最后，构建基于卷积神经网络的微表情识别模型，以顶点帧的光流水平分量、光流垂直分量与光应变作为输入，由微表情识别模型输出微表情的类别预测结果。

24、综上，本发明能够实现积极、消极、惊奇及其他的微表情识别，并具有良好的适配性和准确性。

技术特征：

1.一种基于卷积神经网络和光流特征的微表情识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于卷积神经网络和光流特征的微表情识别方法，其特征在于，步骤1中，人脸检测模块包括mtcnn人脸检测模型与lbf人脸关键点检测模型；mtcnn人脸检测模型对视频段的每一个图像帧进行人脸检测，并结合c-of跟踪算法输出稳定的人脸边界框；lbf人脸关键点检测模型根据人脸边界框提取68个面部关键点，作为人脸关键点信息并输出。

3.根据权利要求1所述基于卷积神经网络和光流特征的微表情识别方法，其特征在于，步骤2中，面部感兴趣区域提取过程为，对应鼻子、嘴、左眼及眉毛、右眼及眉毛，通过人脸关键点信息确定矩形框的左上顶点与右下顶点，由矩形框提取得相应的面部感兴趣区域。

4.根据权利要求1所述基于卷积神经网络和光流特征的微表情识别方法，其特征在于，步骤3中，当前图像帧相对于第一图像帧的光流o为：

5.根据权利要求1所述基于卷积神经网络和光流特征的微表情识别方法，其特征在于，基于卷积神经网络的微表情识别模型包括：3个特征提取模块、2个全连接层及softmax层；其中，3个特征提取模块采用相同网络结构，并分别对顶点帧的光应变、光流水平分量与光流垂直分量进行特征提取，对应得到一维特征向量；3个一维特征向量通过拼接实现特征融合，融合后特征向量经过2个全连接层进行维度转换，最后由softmax层进行微表情的类别预测，输出类别预测结果。

6.根据权利要求5所述基于卷积神经网络和光流特征的微表情识别方法，其特征在于，特征提取模块包括：2个卷积模型、最大池化层及全连接层；2个卷积模型采用相同网络结构，由2个3×3的卷积层连接构成，第一个卷积层的步长为1、第二卷积层的步长为2；输入依次经过2个卷积模块与最大池化层后得到三维特征图，三维特征图经过展平转换为一维特征图，并经过全连接层后输出。

技术总结
本发明属于表情识别领域，提供一种基于卷积神经网络和光流特征的微表情识别方法，用以提高微表情识别的适配性和准确性。本发明首先，构建人脸检测模块，对视频段中每一图像帧进行人脸检测，输出人脸关键点信息，并根据人脸关键点信息提取面部感兴趣区域：鼻子、嘴、左眼及眉毛、右眼及眉毛；然后，引入光流信息及光应变信息，用以表征面部运动的时空信息和面部变形的强度信息，计算每一图像帧的光流特征值，并使用二值搜索算法搜索得到光流特征值最大的图像帧作为微表情识别中的顶点帧；最后，构建基于卷积神经网络的微表情识别模型，以顶点帧的光流水平、垂直分量与光应变作为输入，由微表情识别模型输出微表情的类别预测结果。

技术研发人员：赵轲,杨光乾,王念慈,郝聪婷,叶桂兰,王月欣,赖成莹,付小桐,郭鸾
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/9/23