一种人体属性的识别方法、装置、电子设备及存储介质与流程

本公开涉及人工智能，尤其涉及一种人体属性的识别方法、装置、电子设备及存储介质。

背景技术：

1、目前，人体属性识别是对人物的性别、年龄、衣物的类型和颜色等的识别，被广泛应用于交通违章监控、工业安防、自动售货机、商场和车站等公共场所的目标人物锁定等领域。其中，人体属性识别还可以应用于车辆座舱内，以对车辆内的危险行为进行预警等。

2、相关技术中，可以通过人体检测网络得到图像中的人体外接框信息，并将该人体外接框信息对应的人体图像输入人体关键点检测网络，得到每个人体关键点的几何位置信息，然后通过人体关键点计算出肩宽与躯干等长度信息或者比例信息，从而得到图像的人体属性识别结果(成人还是儿童)。

3、其中，相关技术中，通过几何位置信息进行人体属性识别时，需要凭借经验，人为地设置各种复杂逻辑，以得到人体属性识别结果。但是，车辆座舱内的环境比较复杂，遮挡和干扰因素较多，从而使得复杂逻辑的设计比较困难且鲁棒性不高，并且通过几何位置信息进行人体属性识别时，使用部分人体关键点的坐标信息对人体属性进行识别，可能忽略重要的关键点信息，从而使得人体属性的识别结果精度较低。

技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中鲁棒性不高、人体属性的识别结果精度低的技术问题之一。

2、为达到上述目的，本公开提出了一种人体属性的识别方法，包括：

3、获取车辆座舱内部的待识别图像，并将所述待识别图像输入目标人体检测网络中，以得到至少一个人体外接框坐标信息；

4、基于所述至少一个人体外接框坐标信息对所述待识别图像进行抠图处理，得到对应的至少一张人体图像；

5、将所述至少一张人体图像输入目标人体关键点检测网络，以得到每张人体图像对应的人体关键点坐标；

6、将所述每张人体图像对应的人体关键点坐标输入目标人体属性判断网络，以得到所述待识别图像的人体属性识别结果；其中，所述人体属性识别结果至少包括成人和儿童。

7、可选地，所述人体外接框坐标信息包括：所述人体外接框的偏移向量和尺寸信息；所述基于所述至少一个人体外接框坐标信息，从所述待识别图像中得到对应的至少一张人体图像，包括：

8、根据所述至少一个人体外接框中每个人体外接框的偏移向量，确定所述每个人体外接框的中心位置；

9、根据所述每个人体外接框的中心位置和尺寸信息，从所述待识别图像中抠取至少一张人体图像。

10、进一步地，所述目标人体关键点检测网络包括第一骨干网络、第一网络、第一回归网络；所述将所述至少一张人体图像输入目标人体关键点检测网络，以得到每张人体图像对应的人体关键点坐标，包括：

11、对每张所述人体图像进行第一预处理得到每张所述人体图像的像素点值，以使通过所述第一预处理后的人体图像在同一分布，并将每张所述人体图像的像素点值输入至目标人体关键点检测网络；

12、利用所述第一骨干网络对每张所述人体图像的像素点值进行图像特征提取，得到第一图像特征；

13、利用所述第一网络对所述第一图像特征进行上采样特征提取，得到第二图像特征；

14、将所述第二图像特征输入至所述第一回归网络中，以得到所述每张人体图像的人体关键点坐标。

15、进一步地，所述将所述第二图像特征输入至所述第一回归网络中，以得到所述每张人体图像的人体关键点坐标，包括：

16、利用所述第一回归网络对所述第二图像特征中的至少一个人体关键点中每个人体关键点进行处理，以获得所述人体图像中的至少一个人体关键点中每个关键点的置信度图像，所述每个关键点的置信度图像中包含所述人体图像中每个坐标点被判断为该置信度图像所属关键点的置信度；

17、将所述每个关键点的置信度图像中置信度最大的坐标点对应的坐标，确定为所述每个关键点对应的坐标；

18、将所有关键点对应的坐标作为所述人体图像的人体关键点坐标。

19、进一步地，所述将所述每张人体图像对应的人体关键点坐标输入目标人体属性判断网络，以得到所述待识别图像的人体属性识别结果之前，还包括：

20、获取车辆座舱内部的样本图像集，其中，所述样本图像集中的样本图像中包括标注的人体关键点坐标和人体属性信息，所述人体关键点坐标通过目标人体关键点检测网络进行标注。

21、提取所述样本图像中的所有人体关键点坐标，并利用所述所有人体关键点坐标对预设人体属性判断网络进行训练，以得到所述样本图像的预测人体属性识别结果；

22、基于所述样本图像的预测人体属性识别结果和标注的人体属性信息，得到对应的损失值；

23、基于所述损失值更新所述预设人体属性判断网络的参数，直至所述预设人体属性判断网络收敛，以得到目标人体属性判断网络。

24、进一步地，所述预设人体属性判断网络包括预设第二骨干网络、预设第二网络、预设第二回归网络；所述利用所述所有人体关键点坐标对预设人体属性判断网络进行训练，以得到所述样本图像的预测人体属性识别结果，包括：

25、对所述所有人体关键点坐标进行第二预处理得到特征矩阵，并将所述特征矩阵输入预设人体属性判断网络；

26、利用所述预设第二骨干网络对所述特征矩阵进行图像特征提取，得到第三图像特征；

27、利用所述预设第二网络对所述第三图像特征进行上采样特征提取，得到第四图像特征；

28、将所述第四图像特征输入至所述预设第二回归网络后，以得到所述样本图像的预测人体属性识别结果。

29、进一步地，所述将所述第四图像特征输入至所述预设第二回归网络后，以得到所述样本图像的预测人体属性识别结果，包括：

30、所述预设第二回归网络利用人体属性分类器对所述第四图像特征进行分类，得到所述样本图像属于每种人体属性对应的概率；

31、将所述样本图像属于每种人体属性对应的概率中概率最大对应的人体属性，确定为所述样本图像的预测人体属性识别结果。

32、进一步地，所述方法还包括：

33、利用所述人体属性识别结果，对所述车辆座舱内的温度和/或湿度进行调整。

34、本公开还提供了一种人体属性的识别装置，包括：

35、第一处理模块，用于获取车辆座舱内部的待识别图像，并将所述待识别图像输入目标人体检测网络中，以得到至少一个人体外接框坐标信息；

36、第二处理模块，用于基于所述至少一个人体外接框坐标信息对所述待识别图像进行抠图处理，得到对应的至少一张人体图像；

37、第三处理模块，用于将所述至少一张人体图像输入目标人体关键点检测网络，得到每张人体图像对应的人体关键点坐标；

38、识别模块，用于将所述每张人体图像对应的人体关键点坐标输入目标人体属性判断网络，以得到所述待识别图像的人体属性识别结果；其中，所述人体属性识别结果至少包括成人和儿童。

39、根据本公开实施例的第三方面，提供了一种电子设备，包括：

40、处理器；

41、用于存储处理器可执行指令的存储器；

42、其中，所述处理器被配置为实现前述一方面中任一项所述的方法。

43、根据本公开实施例的第四方面，提供了一种车辆，包括上述电子设备或与上述电子设备连接

44、根据本公开实施例的第五方面，提供了一种非临时性计算机可读存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述一方面中任一项所述的方法。

45、与现有技术相比，本公开具有以下优点：

46、在本公开一个或多个实施例中，通过获取车辆座舱内部的待识别图像，并将待识别图像输入目标人体检测网络中，以得到至少一个人体外接框坐标信息；基于至少一个人体外接框坐标信息对待识别图像进行抠图处理，得到对应的至少一张人体图像；将至少一张人体图像输入目标人体关键点检测网络，得到每张人体图像对应的人体关键点坐标；将每张人体图像对应的人体关键点坐标输入目标人体属性判断网络，以得到待识别图像的人体属性识别结果，其中，人体属性识别结果至少包括成人和儿童。其中，本公开利用目标人体属性判断网络对每张人体图像对应的所有人体关键点坐标进行人体属性的识别，以使得在对人体属性的识别过程中没有信息损失，从而使得人体属性的识别结果更加精确，同时避免了车辆座舱内的遮挡和干扰因素，使得本公开的鲁棒性较高。

47、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

技术特征：

1.一种人体属性的识别方法，其特征在于，包括：

2.根据权利要求1所述的人体属性的识别方法，其特征在于，所述人体外接框坐标信息包括：所述人体外接框的偏移向量和尺寸信息；所述基于所述至少一个人体外接框坐标信息对所述待识别图像进行抠图处理，得到对应的至少一张人体图像，包括：

3.根据权利要求1所述的人体属性的识别方法，其特征在于，所述目标人体关键点检测网络包括第一骨干网络、第一网络、第一回归网络；所述将所述至少一张人体图像输入目标人体关键点检测网络，以得到每张人体图像对应的人体关键点坐标，包括：

4.根据权利要求3所述的人体属性的识别方法，其特征在于，所述将所述第二图像特征输入至所述第一回归网络中，以得到所述每张人体图像的人体关键点坐标，包括：

5.根据权利要求1所述的人体属性的识别方法，其特征在于，所述将所述每张人体图像对应的人体关键点坐标输入目标人体属性判断网络，以得到所述待识别图像的人体属性识别结果之前，还包括：

6.根据权利要求5所述的人体属性的识别方法，其特征在于，所述预设人体属性判断网络包括预设第二骨干网络、预设第二网络、预设第二回归网络；所述利用所述所有人体关键点坐标对预设人体属性判断网络进行训练，以得到所述样本图像的预测人体属性识别结果，包括：

7.根据权利要求6所述的人体属性的识别方法，其特征在于，所述将所述第四图像特征输入至所述预设第二回归网络后，以得到所述样本图像的预测人体属性识别结果，包括：

8.根据权利要求1所述的人体属性的识别方法，其特征在于，所述方法还包括：

9.一种人体属性的识别装置，其特征在于，包括：

10.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。

12.一种车辆，其特征在于，包括：如权利要求9所述的人体属性的识别装置；或者如权利要求10所述的电子设备；或者如权利要求11所述的计算机可读存储介质。

技术总结
本公开了一种人体属性的识别方法、装置、电子设备及存储介质，该方法包括：通过获取车辆座舱内部的待识别图像，并将待识别图像输入目标人体检测网络中，以得到至少一个人体外接框坐标信息；基于至少一个人体外接框坐标信息对待识别图像进行抠图处理，得到对应的至少一张人体图像；将至少一张人体图像输入目标人体关键点检测网络，得到每张人体图像对应的人体关键点坐标；将每张人体图像对应的人体关键点坐标输入目标人体属性判断网络，以得到待识别图像的人体属性识别结果，其中，人体属性识别结果至少包括成人和儿童。本公开提高了人体属性的识别结果的精确度，鲁棒性较高。

技术研发人员：张宏源,罗京
受保护的技术使用者：北京罗克维尔斯科技有限公司
技术研发日：
技术公布日：2024/9/23