一种基于面颈部微振动技术的心理和情绪测评方法及系统与流程

本发明属于图像处理领域，具体而言涉及一种基于面颈部微振动技术的心理和情绪测评方法及系统。

背景技术：

1、心理和情绪测评在临床心理学、刑侦、心理咨询、教育、职业发展等领域都有广泛的应用。通过对个体心理和情绪状态的测量和评估，可以为个体提供更好的心理健康支持和干预措施。

2、通过面部图像进行心理和情绪测评是一种基于计算机视觉的新兴方法。这种方法利用面部表情、微表情、眼神等信息来推断个体的情绪状态、心理特征和心理健康水平。

3、现有技术中通常使用面部轮廓、眼睛和嘴巴的位置变化等特征进行基于面部图像的心理和情绪测评，这些特征可以用于训练情感分类器或心理特征预测模型。

4、在进行心理和情绪测评时，通常会与被测者对话，以观察被测者的情绪变化。然而，部分被测者会控制自己在说过过程中的眼嘴的运动，以误导评测，但情绪的变化依然会通过面劲部肌肉细微的运动变化反应出来，可以观察面颈部微振动以确定被测者是否存在情绪波动，但对话过程中由于眼嘴的运动导致面劲部肌肉运动变化，现有技术很难从运动的肌肉中确定是否存在面颈部微振动。

技术实现思路

1、为了解决现有技术中的问题，本发明提供一种基于面颈部微振动技术的心理和情绪测评方法，包括如下步骤：

2、通过高速摄像机获取目标人物面颈部视频；获取所述面颈部视频的图像帧；对所述图像帧进行关键点检测，获取眼睛及嘴巴位置；根据所述眼睛及嘴巴位置对所述图像帧进行轮廓分割，得到每一帧图像的眼睛及嘴巴轮廓；获取眼睛及嘴巴轮廓相同的多个第一图像帧，所述眼睛及嘴巴轮廓，将眼睛及嘴巴区域从第一图像帧中去除得到多个第二图像帧；根据眼睛及嘴巴位置将所述多个第二图像帧对齐并截取相同大小的多个第三图像；检测最新的第三图像与其它第三图像之间的像素差异，如果差异大于预设值，则最新的第三图像在相同表情下存在面颈部微振动；如果面颈部视频中连续预设数量帧图像存在多于一个面颈部微振动，则提示所述目标人物存在情绪波动。

3、进一步地，根据所述眼睛及嘴巴位置对所述图像帧进行轮廓分割，得到每一帧图像的眼睛及嘴巴轮廓包括：先使用图像分割将所述图像帧分成多个不同区域；使用canny边缘检测器首先对图像进行高斯滤波；计算图像中每个像素的梯度幅值和方向，通过非极大值抑制来细化边缘；使用双阈值来检测和连接边缘。

4、进一步地，使用双阈值来检测和连接边缘包括：第一个阈值：所有高于第一个阈值的边缘像素被标记为强边缘像素；第二个阈值：所有低于第二个阈值但高于第一个阈值的边缘像素被标记为弱边缘像素；强边缘像素与其周围的弱边缘像素连接在一起，形成完整的边缘。

5、进一步地，获取眼睛及嘴巴轮廓相同的多个第一图像帧包括：对于每个图像，得到眼睛和嘴巴的轮廓后，计算它们的轮廓的哈尔描述符来表示轮廓的形状特征；通过计算轮廓特征之间的相似度度量，如果相似度度量的结果超过预设阈值，则认为两个轮廓相同。

6、进一步地，根据所述眼睛及嘴巴轮廓，将眼睛及嘴巴区域从第一图像帧中去除得到多个第二图像帧包括：

7、根据提取的眼睛及嘴巴轮廓，创建相应的掩码图像，其中眼睛及嘴巴的区域为黑色，其余区域为白色；将创建的掩码图像应用到第一图像帧上，将眼睛及嘴巴的区域设置为背景，通过将掩码图像与原始图像进行逐像素的逻辑与操作来实现；得到经过眼睛及嘴巴去除的第二图像帧，其中眼睛及嘴巴的区域已经被消除或填充，而其余区域保持不变。

8、本发明另一方面还提供一种基于面颈部微振动技术的心理和情绪测评系统，如下模块：

9、获取模块，用于通过高速摄像机获取目标人物面颈部视频；获取所述面颈部视频的图像帧；

10、检测模块，用于对所述图像帧进行关键点检测，获取眼睛及嘴巴位置；

11、分割模块，用于根据所述眼睛及嘴巴位置对所述图像帧进行轮廓分割，得到每一帧图像的眼睛及嘴巴轮廓；

12、处理模块，用于获取眼睛及嘴巴轮廓相同的多个第一图像帧，所述眼睛及嘴巴轮廓，将眼睛及嘴巴区域从第一图像帧中去除得到多个第二图像帧；根据眼睛及嘴巴位置将所述多个第二图像帧对齐并截取相同大小的多个第三图像；

13、检测模块，用于检测最新的第三图像与其它第三图像之间的像素差异，如果差异大于预设值，则最新的第三图像在相同表情下存在面颈部微振动；

14、提示模块，用于如果面颈部视频中连续预设数量帧图像存在多于一个面颈部微振动，则提示所述目标人物存在情绪波动。

15、进一步地，根据所述眼睛及嘴巴位置对所述图像帧进行轮廓分割，得到每一帧图像的眼睛及嘴巴轮廓包括：先使用图像分割将所述图像帧分成多个不同区域；使用canny边缘检测器首先对图像进行高斯滤波；计算图像中每个像素的梯度幅值和方向，通过非极大值抑制来细化边缘；使用双阈值来检测和连接边缘。

16、进一步地，使用双阈值来检测和连接边缘包括：

17、第一个阈值：所有高于第一个阈值的边缘像素被标记为强边缘像素；第二个阈值：所有低于第二个阈值但高于第一个阈值的边缘像素被标记为弱边缘像素；强边缘像素与其周围的弱边缘像素连接在一起，形成完整的边缘。

18、进一步地，获取眼睛及嘴巴轮廓相同的多个第一图像帧包括：

19、对于每个图像，得到眼睛和嘴巴的轮廓后，计算它们的轮廓的哈尔描述符来表示轮廓的形状特征；通过计算轮廓特征之间的相似度度量，如果相似度度量的结果超过预设阈值，则认为两个轮廓相同。

20、进一步地，眼睛及嘴巴轮廓，将眼睛及嘴巴区域从第一图像帧中去除得到多个第二图像帧包括：根据提取的眼睛及嘴巴轮廓，创建相应的掩码图像，其中眼睛及嘴巴的区域为黑色，其余区域为白色；将创建的掩码图像应用到第一图像帧上，将眼睛及嘴巴的区域设置为背景，通过将掩码图像与原始图像进行逐像素的逻辑与操作来实现；得到经过眼睛及嘴巴去除的第二图像帧，其中眼睛及嘴巴的区域已经被消除或填充，而其余区域保持不变。

21、本发明通过上述技术方案，可以产生如下有益效果：

22、通过上述技术方案可以实时监测个体的面部表情和情绪波动，及时反馈情绪状态的变化。

23、采用图像处理和计算机视觉技术对面颈部微振动进行分析，并排除被测者说话时眼嘴运动对微动肌肉的影响，减少了因素的干扰，提高了测评结果的客观性和准确性。

技术特征：

1.一种基于面颈部微振动技术的心理和情绪测评方法，其特征在于所述方法包括如下步骤：

2.根据权利要求1所述的一种基于面颈部微振动技术的心理和情绪测评方法，其特征在于所述根据所述眼睛及嘴巴位置对所述图像帧进行轮廓分割，得到每一帧图像的眼睛及嘴巴轮廓包括：

3.根据权利要求2所述的一种基于面颈部微振动技术的心理和情绪测评方法，其特征在于所述使用双阈值来检测和连接边缘包括：

4.根据权利要求1所述的一种基于面颈部微振动技术的心理和情绪测评方法，其特征在于所述获取眼睛及嘴巴轮廓相同的多个第一图像帧包括：

5.根据权利要求1所述的一种基于面颈部微振动技术的心理和情绪测评方法，其特征在于所述根据所述眼睛及嘴巴轮廓，将眼睛及嘴巴区域从第一图像帧中去除得到多个第二图像帧包括：

6.一种基于面颈部微振动技术的心理和情绪测评系统，其特征在于所述系统包括如下模块：

7.根据权利要求6所述的一种基于面颈部微振动技术的心理和情绪测评系统，其特征在于所述根据所述眼睛及嘴巴位置对所述图像帧进行轮廓分割，得到每一帧图像的眼睛及嘴巴轮廓包括：

8.根据权利要求7所述的一种基于面颈部微振动技术的心理和情绪测评系统，其特征在于所述使用双阈值来检测和连接边缘包括：

9.根据权利要求6所述的一种基于面颈部微振动技术的心理和情绪测评系统，其特征在于所述获取眼睛及嘴巴轮廓相同的多个第一图像帧包括：

10.根据权利要求6所述的一种基于面颈部微振动技术的心理和情绪测评系统，其特征在于所述根据所述眼睛及嘴巴轮廓，将眼睛及嘴巴区域从第一图像帧中去除得到多个第二图像帧包括：

技术总结
本发明属于图像处理领域，提供一种基于面颈部微振动技术的心理和情绪测评方法及系统，包括：通过高速摄像机获取目标人物面颈部视频；对图像帧进行关键点检测，获取眼睛及嘴巴位置；根据眼睛及嘴巴位置对图像帧进行轮廓分割；获取眼睛及嘴巴轮廓相同的多个第一图像帧，眼睛及嘴巴轮廓，将眼睛及嘴巴区域从第一图像帧中去除得到多个第二图像帧；检测最新的第三图像与其它第三图像之间的像素差异，如果差异大于预设值，则最新的第三图像在相同表情下存在面颈部微振动；如果面颈部视频中连续预设数量帧图像存在多于一个面颈部微振动，则提示目标人物存在情绪波动。上述方案可以准确检测面颈部微振动以进行心理和情绪测评。

技术研发人员：华敏
受保护的技术使用者：江苏乐易智慧科技有限公司
技术研发日：
技术公布日：2024/9/23