基于多种模式融合的驾驶人员情绪识别方法及系统与流程

本发明涉及信息，特别涉及一种基于多种模式融合的驾驶人员情绪识别方法及系统。

背景技术：

1、随着科技的发展和城市化的进程，道路上的车辆越来越多，而近年来，车辆智能化也发展迅速。随着路况的复杂化和交通的拥堵化，驾驶人员的状态和情绪对于驾驶人员以及乘客安全、道路安全具有重要影响。

2、因此，对于驾驶人员的情绪的识别和监测对于个人安全和道路安全具有重要意义，另外，对于驾驶人员的情绪的识别和监测有助于提供相关的安全服务以及个性化的推荐和服务。

3、目前，现有的对于驾驶人员的情绪识别方法主要分为以下两种：

4、第一种方法为单模式识别，例如，单一的基于视觉、语音或文本进行情绪识别，这样在特定的领域有较好的效果，例如，在光线比较好的白天并且被拍摄人的角度在摄像头的可视角之内，基于视觉的情绪识别有较好的效果。而对于语音对话的情况，基于文本和语音的识别有较好的效果；

5、第二种方法为二融合模式，例如使用视觉和车辆数据相融合的情绪识别，或者文本和语音相融合的情绪识别，提高了部分的召回和正确率。

6、应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现思路

1、但是，单一模式的情绪识别会受限于单一模式的适用范围，例如在晚上，基于视觉的识别效果较差，在杂音比较大的环境中，基于语音的识别效果较差，在没有输入的情况下，无法进行基于文本的识别；另外，二融合模式能够解决一定的适用范围的和正确率的问题，但是，没有完全解决该问题，没有形成全天候(whole time)的情绪识别的解决方案。

2、为了解决上述现有技术中的至少一个问题，本发明实施例提供了一种基于多种模式融合的驾驶人员情绪识别方法及系统。通过多重模态识别和融合，使得单模的错误得到多重修正，并且最终融合结果能够覆盖单模识别没有识别结果的各个时刻，能够提供充分利用各种单模的优点并避免各种单模的缺点的、全天候的情绪识别的解决方案。

3、根据本发明实施例的第一方面，提供一种基于多种模式融合的驾驶人员情绪识别方法，所述方法包括：将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，得到第一融合结果；对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果；根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果；以及根据基于生物识别的第五情绪识别结果对所述第一处理结果进行惩罚或奖励，得到第二处理结果，并将所述第二处理结果作为驾驶人员的情绪识别结果。

4、根据本发明实施例的第二方面，其中，所述方法还包括：通过对在车内采集的语音信号进行语音识别，得到所述第一情绪识别结果；通过对在车内采集的语音信号和/或驾驶人员使用的终端设备中的交互信息进行文本识别，得到所述第二情绪识别结果；通过对采集的驾驶人员图像进行视觉识别，得到所述第三情绪识别结果；通过对采集的车辆数据进行车辆识别，得到所述第四情绪识别结果；以及通过对采集的驾驶人员的生理参数进行生物识别，得到所述第五情绪识别结果。

5、根据本发明实施例的第三方面，其中，所述将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，包括：基于腐败机制，使用第一权重将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，得到第一融合结果，所述第一权重随着时间的推移而减小。

6、根据本发明实施例的第四方面，其中，所述对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果，包括：使用第二权重对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，所述第二权重是以e为底且以所述第三情绪识别结果为变量的指数函数。

7、根据本发明实施例的第五方面，其中，所述根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果，包括：基于惩罚机制，从所述第二融合结果中减去根据所述第四情绪识别结果确定的惩罚项，得到第一处理结果。

8、根据本发明实施例的第六方面，其中，所述惩罚项对于所述第四情绪识别结果中置信度较小的情绪识别结果有效，对于所述第四情绪识别结果中置信度较大的情绪识别结果无效。

9、根据本发明实施例的第七方面，其中，所述第四情绪识别结果包括有情绪和无情绪这两种情绪识别结果。

10、根据本发明实施例的第八方面，其中，所述根据基于生物识别的第五情绪识别结果对所述第一处理结果进行惩罚或奖励，得到第二处理结果，包括：基于报童模型，根据所述第五情绪识别结果与所述第一处理结果是否相同，确定对所述第一处理结果进行惩罚或奖励，得到第二处理结果。

11、根据本发明实施例的第九方面，其中，当所述第五情绪识别结果与所述第一处理结果相同时，将所述第一处理结果除以预设值，以进行惩罚；当所述第五情绪识别结果与所述第一处理结果不同时，将所述第一处理结果乘以所述预设值，以进行奖励，所述预设值大于1。

12、根据本发明实施例的第十方面，其中，所述预设值为2。

13、根据本发明实施例的第十一方面，提供一种基于多种模式融合的驾驶人员情绪识别系统，所述系统包括：语音文本融合器，其将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，得到第一融合结果；三模融合器，其对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果；车辆辅助决策器，其根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果；以及生物识别决策器，其基于生物识别的第五情绪识别结果对所述第一处理结果进行惩罚或奖励，得到第二处理结果，并将所述第二处理结果作为驾驶人员的情绪识别结果。

14、根据本发明实施例的第十二方面，其中，所述系统还包括：第一识别部，其通过对在车内采集的语音信号进行语音识别，得到所述第一情绪识别结果；第二识别部，其通过对在车内采集的语音信号和/或驾驶人员使用的终端设备中的交互信息进行文本识别，得到所述第二情绪识别结果；第三识别部，其通过对采集的驾驶人员图像进行视觉识别，得到所述第三情绪识别结果；第四识别部，其通过对采集的车辆数据进行车辆识别，得到所述第四情绪识别结果；以及第五识别部，其通过对采集的驾驶人员的生理参数进行生物识别，得到所述第五情绪识别结果。

15、根据本发明实施例的第十三方面，其中，所述语音文本融合器基于腐败机制，使用第一权重将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，得到第一融合结果，所述第一权重随着时间的推移而减小。

16、根据本发明实施例的第十四方面，其中，所述三模融合器使用第二权重对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，所述第二权重是以e为底且以所述第三情绪识别结果为变量的指数函数。

17、根据本发明实施例的第十五方面，其中，所述车辆辅助决策器基于惩罚机制，从所述第二融合结果中减去根据所述第四情绪识别结果确定的惩罚项，得到第一处理结果。

18、根据本发明实施例的第十六方面，其中，所述惩罚项对于所述第四情绪识别结果中置信度较小的情绪识别结果有效，对于所述第四情绪识别结果中置信度较大的情绪识别结果无效。

19、根据本发明实施例的第十七方面，其中，所述第四情绪识别结果包括有情绪和无情绪这两种情绪识别结果。

20、根据本发明实施例的第十八方面，其中，所述生物识别决策器基于报童模型，根据所述第五情绪识别结果与所述第一处理结果是否相同，确定对所述第一处理结果进行惩罚或奖励，得到第二处理结果。

21、根据本发明实施例的第十九方面，其中，当所述第五情绪识别结果与所述第一处理结果相同时，所述生物识别决策器将所述第一处理结果除以预设值，以进行惩罚；当所述第五情绪识别结果与所述第一处理结果不同时，所述生物识别决策器将所述第一处理结果乘以所述预设值，以进行奖励，所述预设值大于1。

22、根据本发明实施例的第二十方面，其中，所述预设值为2。

23、本发明实施例的有益效果之一在于：通过将基于语音识别的第一情绪识别结果、基于文本识别的第二情绪识别结果、基于视觉识别的第三情绪识别结果、基于车辆数据的第四情绪识别结果以及基于生物识别的第五情绪识别结果这五种单模的识别结果进行融合，能够充分利用各种单模的优点并避免各种单模的缺点；

24、并且，在融合过程中考虑了各种单模的特点而设计了具体的融合方式，首先，将同源的基于语音和文本的识别结果先进行融合后，使得融合结果准确；在同源的二模融合完成后，再与加权后的基于视觉的识别结果进行融合，能充分利用视觉识别的优点并且有利于融合中的平衡；另外，根据车辆数据对三模融合的结果进行修正，考虑了车辆数据的特点并充分利用了车辆数据；最后，根据基于生物识别的结果对修正后的结果进行惩罚或奖励，考虑了生物数据的特点并充分利用了生物数据。

25、因此，通过多重模态识别和融合，使得单模的错误得到多重修正，并且最终融合结果能够覆盖单模识别没有识别结果的各个时刻，能够提供充分利用各种单模的优点并避免各种单模的缺点的、全天候的情绪识别的解决方案。

26、进一步的，基于腐败机制并使用第一权重将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，其中，第一权重随着时间的推移而减小，这样，使得文本和语音的特点得到保留，充分考虑了情绪的延续性，并且基于随时间的减弱而对权重进行了动态的调整，使得融合的结果更加准确。

27、进一步的，使用第二权重对基于视觉识别的第三情绪识别结果进行加权后与该第一融合结果进行融合，该第二权重是以e为底且以该第三情绪识别结果为变量的指数函数，这样，在视觉识别的结果(例如置信度)较大的情况下对该视觉识别的结果赋予较大的权重，能够保留视觉识别的对于微表情的识别不准确但是对于明显表情(例如置信度大)的情况下识别准确的特点，进一步提高融合结果的准确性。

28、进一步的，基于惩罚机制，从该第二融合结果中减去根据基于车辆数据的第四情绪识别结果确定的惩罚项，这样，充分利用了车辆数据的需要较长时间积累且不是所有时刻都有识别结果的特点，发挥了车辆数据的辅助决策功能，进一步提高了融合结果的准确性。

29、进一步的，该惩罚项对于该第四情绪识别结果中置信度较小的情绪识别结果有效，对于该第四情绪识别结果中置信度较大的情绪识别结果无效，该第四情绪识别结果包括有情绪和无情绪这两种情绪识别结果，这样，充分利用了车辆数据对于区分有无情绪较为准确的特点，进一步提高了融合结果的准确性。

30、进一步的，基于报童模型，根据基于生物识别的第五情绪识别结果与该第一处理结果是否相同，确定对该第一处理结果进行惩罚或奖励，并得到最终的情绪识别结果，这样，充分利用了生物数据对情绪的敏感度较强但是没有置信度、不是所有时刻都有识别结果以及识别结果只有一个的特点，进一步提高了融合结果的准确性。

31、参照后文的说明和附图，详细公开了本发明的实施方式。应该理解，本发明的实施方式在范围上并不因此而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

32、针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

33、应该强调，术语“包括/包含/具有”在本文使用时指特征、整件、或组件的存在，但并不排除一个或更多个其他特征、整件或组件的存在或附加。

技术特征：

1.一种基于多种模式融合的驾驶人员情绪识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1或2所述的方法，其特征在于，所述将基于语音识别的第一情绪识别结果与基于文本识别的第二情绪识别结果进行融合，包括：

4.根据权利要求1或2所述的方法，其特征在于，所述对基于视觉识别的第三情绪识别结果进行加权后与所述第一融合结果进行融合，得到第二融合结果，包括：

5.根据权利要求1或2所述的方法，其特征在于，所述根据基于车辆数据的第四情绪识别结果对所述第二融合结果进行修正，得到第一处理结果，包括：

6.根据权利要求5所述的方法，其特征在于，

7.根据权利要求6所述的方法，其特征在于，

8.根据权利要求1或2所述的方法，其特征在于，所述根据基于生物识别的第五情绪识别结果对所述第一处理结果进行惩罚或奖励，得到第二处理结果，包括：

9.根据权利要求8所述的方法，其特征在于，

10.根据权利要求9所述的方法，其特征在于，

11.一种基于多种模式融合的驾驶人员情绪识别系统，其特征在于，所述系统包括：

12.根据权利要求11所述的系统，其特征在于，所述系统还包括：

13.根据权利要求11或12所述的系统，其特征在于，

14.根据权利要求11或12所述的系统，其特征在于，

15.根据权利要求11或12所述的系统，其特征在于，

16.根据权利要求15所述的系统，其特征在于，

17.根据权利要求16所述的系统，其特征在于，

18.根据权利要求11或12所述的系统，其特征在于，

19.根据权利要求18所述的系统，其特征在于，

20.根据权利要求19所述的系统，其特征在于，

技术总结
本发明实施例提供一种基于多种模式融合的驾驶人员情绪识别方法及系统。通过多重模态识别和融合，使得单模的错误得到多重修正，并且最终融合结果能够覆盖单模识别没有识别结果的各个时刻，能够提供充分利用各种单模的优点并避免各种单模的缺点的、全天候的情绪识别的解决方案。

技术研发人员：张积存,高睿,冯佳伟,李树友,马列
受保护的技术使用者：海纳新思智行服务有限公司
技术研发日：
技术公布日：2024/9/23