视频监控中基于自建立样本库及混合特征的身份识别方法
视频监控中基于自建立样本库及混合特征的身份识别方法
【专利摘要】本发明公开了一种视频监控中基于自建立样本库及混合特征的身份识别方法，其首先对采集到的视频进行预处理，进行前景检测获取运动目标信息，然后以该信息为基础进行人脸检测，接着对检测到的人脸进行识别，如果无法识别当前检测到的人脸则询问用户对检测到的人脸进行标识，并将标识好的人脸添加到人脸样本库；如果在前景信息中未能检测到人脸，则进行行人检测，然后对检测到的行人进行跟踪，并对跟踪得到的行人图像序列进行步态周期检测，接着对检测到的一个周期的步态信息提取特征并进行识别，如果未能识别则同样采用用户标识的方式对步态进行分类并添加到步态样本库用。本发明为缺乏训练样本多样性或小样本情况的身份识别提供了解决方案。
【专利说明】视频监控中基于自建立样本库及混合特征的身份识别方法
【技术领域】
[0001]本发明涉及数字图像处理、模式识别以及机器学习【技术领域】，特别涉及一种基于自建立样本库及混合特征的身份识别方法。
【背景技术】
[0002]生物特征识别是指利用人本身所固有的生理特征或行为特征，由计算机对其进行处理进而鉴别个人身份的一种技术。生物特征分为生理特征和行为特征。生理特征主要包括人脸、指纹、手型、掌纹、耳型、DNA、虹膜、视网膜、骨架等。行为特征包括签名的动作、击键的节奏、说话的声音、行走的姿态等。其中，生理特征的人脸识别和行为特征的步态识别因具有非侵犯性而成为视频监控系统中用于身份识别的主要方法。
[0003]人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，其可以定义为:输入待查询场景中的静止图像或者视频，使用利用人脸数据库“学习”得到的识别器识别或验证场景中的一个人或者多个人。人脸识别的优势在于其自然性和不被待识别个体察觉的特点。所谓自然性，是指该识别方式同人类进行人体识别时所利用的生物特征相同。不易察觉是指待识别个体在身份识别的过程中是不容易引起其注意的，这使得该识别方法不令人反感，并且由于不易被发觉而不容易被伪装欺骗。步态是指人们行走时的方式，一个人在行走时，双脚动作和身体其他部位的姿势是独一无二的。而且这种姿势具有相对稳定性，在一定的时间范围和相似的步行环境下不容易改变，人们可以据此判断出行走人的身份。采用步态特征进行身份识别具有独特的优点:首先，利用步态进行识别时，采集步态信息的摄像机与待识别个体的距离较远，因此该方法不具有侵犯性，也不需要身体接触，即步态具有不易察觉性。其次，步态是难以隐藏的，由于步态特征受年龄、骨骼结构等多种因素影响，伪装他人步态很容易露出马脚，即步态具有不易伪装性。第三，利用视频图像进行步态识别时，对图像的分辨率要求较低，即步态识别对硬件要求不高。第四，步态识别可以在远距离范围内进行识别，做到提前预警。基于这些优势，对步态识别研究的关注度越来越高。
[0004]综上所述，人脸及步态在应用于身份识别时优势较为明显。表I在应用场合、优缺点、识别距离、是否需要被测者配合、对图像质量要求以及识别率方面进行了比较。由表I可以看出，人脸识别和步态识别具有相似的应用场合和适用条件，它们都不需要被测试者的配合，可以在不被察觉的情况下对目标进行身份识别。在识别距离上，步态识别属于远距离识别；人脸识别可用于中等距离。因此在应用场景上人脸和步态具有融合的可能。人脸识别易受光照、表情、姿态、年龄变化等因素的影响，而步态识别易受刺激物、生理改变、心理因素、衣服光照条件、遮挡物等的影响，此两种生物特征的影响因素不同，当其中一种生物特征受到影响因素干扰的时候另一种生物特征仍可有效地发挥作用。因此，步态特征和人脸特征相结合进行身份识别已成为目前行人识别的一个新的研究方向。
[0005]表I步态识别与人脸识别比较表
[0006]
【权利要求】
1.视频监控中基于自建立样本库及混合特征的身份识别方法，其特征在于，所述方法先通过预先训练好的人脸及行人分类器对输入的图像序列进行检测，利用人机交互的方式对检测到的正面人脸样本和侧面步态样本进行分类标识作为识别阶段用于“训练”的样本，再利用这些样本提取人脸或步态特征训练识别器，将检测出的其它样本进行分类标识，如果有未能分类标识的人脸或步态则再询问用户进行标识。
2.根据权利要求1所述的视频监控中基于自建立样本库及混合特征的身份识别方法，其特征在于，在检测识别过程中，采用人脸识别为主步态识别为辅的方式进行身份识别，当前图像帧中未检测到完整的正面人脸图像，则进行行人检测及跟踪并提取步态特征进行身份识别；进行步态识别时，针对的连续图像序列帧中至少包括一个步态周期的数据。
3.根据权利要求2所述的视频监控中基于自建立样本库及混合特征的身份识别方法，其特征在于，所述身份识别方法的具体包括如下步骤: (1)对采集到的图像序列进行预处理，预处理后获取运动区域信息； (2)在获取到的运动区域(即前景信息)中进行人脸检测，若检测到人脸信息，转入步骤(3);若未检测到人脸信息，则转入步骤(4)； (3)如果检测到人脸信息，归一化后利用LBP算子提取特征，和已有的人脸样本特征进行比较识别，并输出识别结果；如果无法识别当前检测到的人脸信息(即和已有的人脸样本不匹配或者人脸样本库为空)，则询问用户进行标识，并将标识好的人脸样本添加到样本库中； (4)如果未检测到人脸则在运动区域(即前景信息)中进行行人检测； (5)跟踪检测到的行人，得到其行走的图像序列，并进行步态周期检测； (6)对跟踪得到的一个步态周期的步态序列提取步态特征，并与已有的步态样本特征进行比较识别，并输出识别结果；如果无法识别当前提取到的步态特征(即和已有的步态样本不匹配或者步态样本库为空)，则询问用户进行标识，并将标识好的步态信息添加到样本库中。
4.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，其特征在于，所述步骤(1)中的预处理操作包括:对比度增强、边缘增强、灰度拉伸、运动目标提取。
5.根据权利要求3或4所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(1)中基于ViBe的背景减除法提取当前场景中的运动目标信息，并在获取运动目标信息时对两次获得的前景掩膜进行逻辑“与”操作；同时还利用grabcut技术结合运动目标提取时获得的运动目标的最小包围矩形得到完整的运动目标信息。
6.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(2)中进行人脸检测时，利用提取到的样本库中样本的Haar-1ike特征通过Adaboost算法训练得到的分类器进行检测，训练过程使用“自举”方法。
7.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(3)中进行人脸识别时，利用改进的圆形区域的LBP算子，将检测到的人脸分成若干块，然后生成每一块的LBP直方图，最后将所有块的LBP直方图连接起来作为特征直方图，并以此描述为依据进行分类识别。
8.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(4)中进行行人检测时，将样本库中的样本归一化为64X128大小的图片，由此提取得到样本库中样本对应的方向梯度直方图，并以此作为检测特征利用Adaboost算法训练得到的分类器进行检测。
9.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(5)中利用meanshift算法对检测到的行人进行跟踪，对跟踪得到的步态图像序列利用每一幅步态轮廓图计算其摆动距离，并利用奇数极大值点确定步态周期。
10.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(6)中进行步态特征识别时，利用步态的轮廓边界计算轮廓质心，并将轮廓图转换到以质心为圆点、水平向右为实轴、竖起向上为虚轴的复数坐标系，转换后利用PSA技术对轮廓进行运动或 结构上的统计表达来描述其特性并得到PMS进行身份识别。
【文档编号】G06K9/66GK103942577SQ201410177441
【公开日】2014年7月23日 申请日期:2014年4月29日 优先权日:2014年4月29日
【发明者】张然然, 廖小勇, 杨松绍, 罗友军, 徐家君 申请人:上海复控华龙微系统技术有限公司
【专利摘要】本发明公开了一种视频监控中基于自建立样本库及混合特征的身份识别方法，其首先对采集到的视频进行预处理，进行前景检测获取运动目标信息，然后以该信息为基础进行人脸检测，接着对检测到的人脸进行识别，如果无法识别当前检测到的人脸则询问用户对检测到的人脸进行标识，并将标识好的人脸添加到人脸样本库；如果在前景信息中未能检测到人脸，则进行行人检测，然后对检测到的行人进行跟踪，并对跟踪得到的行人图像序列进行步态周期检测，接着对检测到的一个周期的步态信息提取特征并进行识别，如果未能识别则同样采用用户标识的方式对步态进行分类并添加到步态样本库用。本发明为缺乏训练样本多样性或小样本情况的身份识别提供了解决方案。
【专利说明】视频监控中基于自建立样本库及混合特征的身份识别方法
【技术领域】
[0001]本发明涉及数字图像处理、模式识别以及机器学习【技术领域】，特别涉及一种基于自建立样本库及混合特征的身份识别方法。
【背景技术】
[0002]生物特征识别是指利用人本身所固有的生理特征或行为特征，由计算机对其进行处理进而鉴别个人身份的一种技术。生物特征分为生理特征和行为特征。生理特征主要包括人脸、指纹、手型、掌纹、耳型、DNA、虹膜、视网膜、骨架等。行为特征包括签名的动作、击键的节奏、说话的声音、行走的姿态等。其中，生理特征的人脸识别和行为特征的步态识别因具有非侵犯性而成为视频监控系统中用于身份识别的主要方法。
[0003]人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，其可以定义为:输入待查询场景中的静止图像或者视频，使用利用人脸数据库“学习”得到的识别器识别或验证场景中的一个人或者多个人。人脸识别的优势在于其自然性和不被待识别个体察觉的特点。所谓自然性，是指该识别方式同人类进行人体识别时所利用的生物特征相同。不易察觉是指待识别个体在身份识别的过程中是不容易引起其注意的，这使得该识别方法不令人反感，并且由于不易被发觉而不容易被伪装欺骗。步态是指人们行走时的方式，一个人在行走时，双脚动作和身体其他部位的姿势是独一无二的。而且这种姿势具有相对稳定性，在一定的时间范围和相似的步行环境下不容易改变，人们可以据此判断出行走人的身份。采用步态特征进行身份识别具有独特的优点:首先，利用步态进行识别时，采集步态信息的摄像机与待识别个体的距离较远，因此该方法不具有侵犯性，也不需要身体接触，即步态具有不易察觉性。其次，步态是难以隐藏的，由于步态特征受年龄、骨骼结构等多种因素影响，伪装他人步态很容易露出马脚，即步态具有不易伪装性。第三，利用视频图像进行步态识别时，对图像的分辨率要求较低，即步态识别对硬件要求不高。第四，步态识别可以在远距离范围内进行识别，做到提前预警。基于这些优势，对步态识别研究的关注度越来越高。
[0004]综上所述，人脸及步态在应用于身份识别时优势较为明显。表I在应用场合、优缺点、识别距离、是否需要被测者配合、对图像质量要求以及识别率方面进行了比较。由表I可以看出，人脸识别和步态识别具有相似的应用场合和适用条件，它们都不需要被测试者的配合，可以在不被察觉的情况下对目标进行身份识别。在识别距离上，步态识别属于远距离识别；人脸识别可用于中等距离。因此在应用场景上人脸和步态具有融合的可能。人脸识别易受光照、表情、姿态、年龄变化等因素的影响，而步态识别易受刺激物、生理改变、心理因素、衣服光照条件、遮挡物等的影响，此两种生物特征的影响因素不同，当其中一种生物特征受到影响因素干扰的时候另一种生物特征仍可有效地发挥作用。因此，步态特征和人脸特征相结合进行身份识别已成为目前行人识别的一个新的研究方向。
[0005]表I步态识别与人脸识别比较表
[0006]
【权利要求】
1.视频监控中基于自建立样本库及混合特征的身份识别方法，其特征在于，所述方法先通过预先训练好的人脸及行人分类器对输入的图像序列进行检测，利用人机交互的方式对检测到的正面人脸样本和侧面步态样本进行分类标识作为识别阶段用于“训练”的样本，再利用这些样本提取人脸或步态特征训练识别器，将检测出的其它样本进行分类标识，如果有未能分类标识的人脸或步态则再询问用户进行标识。
2.根据权利要求1所述的视频监控中基于自建立样本库及混合特征的身份识别方法，其特征在于，在检测识别过程中，采用人脸识别为主步态识别为辅的方式进行身份识别，当前图像帧中未检测到完整的正面人脸图像，则进行行人检测及跟踪并提取步态特征进行身份识别；进行步态识别时，针对的连续图像序列帧中至少包括一个步态周期的数据。
3.根据权利要求2所述的视频监控中基于自建立样本库及混合特征的身份识别方法，其特征在于，所述身份识别方法的具体包括如下步骤: (1)对采集到的图像序列进行预处理，预处理后获取运动区域信息； (2)在获取到的运动区域(即前景信息)中进行人脸检测，若检测到人脸信息，转入步骤(3);若未检测到人脸信息，则转入步骤(4)； (3)如果检测到人脸信息，归一化后利用LBP算子提取特征，和已有的人脸样本特征进行比较识别，并输出识别结果；如果无法识别当前检测到的人脸信息(即和已有的人脸样本不匹配或者人脸样本库为空)，则询问用户进行标识，并将标识好的人脸样本添加到样本库中； (4)如果未检测到人脸则在运动区域(即前景信息)中进行行人检测； (5)跟踪检测到的行人，得到其行走的图像序列，并进行步态周期检测； (6)对跟踪得到的一个步态周期的步态序列提取步态特征，并与已有的步态样本特征进行比较识别，并输出识别结果；如果无法识别当前提取到的步态特征(即和已有的步态样本不匹配或者步态样本库为空)，则询问用户进行标识，并将标识好的步态信息添加到样本库中。
4.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，其特征在于，所述步骤(1)中的预处理操作包括:对比度增强、边缘增强、灰度拉伸、运动目标提取。
5.根据权利要求3或4所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(1)中基于ViBe的背景减除法提取当前场景中的运动目标信息，并在获取运动目标信息时对两次获得的前景掩膜进行逻辑“与”操作；同时还利用grabcut技术结合运动目标提取时获得的运动目标的最小包围矩形得到完整的运动目标信息。
6.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(2)中进行人脸检测时，利用提取到的样本库中样本的Haar-1ike特征通过Adaboost算法训练得到的分类器进行检测，训练过程使用“自举”方法。
7.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(3)中进行人脸识别时，利用改进的圆形区域的LBP算子，将检测到的人脸分成若干块，然后生成每一块的LBP直方图，最后将所有块的LBP直方图连接起来作为特征直方图，并以此描述为依据进行分类识别。
8.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(4)中进行行人检测时，将样本库中的样本归一化为64X128大小的图片，由此提取得到样本库中样本对应的方向梯度直方图，并以此作为检测特征利用Adaboost算法训练得到的分类器进行检测。
9.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(5)中利用meanshift算法对检测到的行人进行跟踪，对跟踪得到的步态图像序列利用每一幅步态轮廓图计算其摆动距离，并利用奇数极大值点确定步态周期。
10.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法，所述步骤(6)中进行步态特征识别时，利用步态的轮廓边界计算轮廓质心，并将轮廓图转换到以质心为圆点、水平向右为实轴、竖起向上为虚轴的复数坐标系，转换后利用PSA技术对轮廓进行运动或 结构上的统计表达来描述其特性并得到PMS进行身份识别。
【文档编号】G06K9/66GK103942577SQ201410177441
【公开日】2014年7月23日 申请日期:2014年4月29日 优先权日:2014年4月29日
【发明者】张然然, 廖小勇, 杨松绍, 罗友军, 徐家君 申请人:上海复控华龙微系统技术有限公司
最新回复(0)