高光谱人脸识别方法

高光谱人脸识别方法
【技术领域】
[0001] 本发明属于生物特征识别领域，设及一种高光谱人脸识别方法。
【背景技术】
[0002] 基于视频数据的人脸识别与身份验证技术在公共安全、智能监控、视频会议、用户 访问控制、多媒体和数字娱乐等领域有着广阔的应用前景。普通人脸识别利用彩色空间信 息进行人脸识别技术易受照片、视频中人脸攻击，干扰识别，进而引发一系列安全问题。近 年来随着高仿真面具的出现，犯罪分子通过逼真的伪装进行一系列犯罪活动，也可对普通 人脸识别系统造成攻击。由此，人脸防伪技术的出现引发了关注，通过双验证方法来实现人 脸防伪技术也被提出，利用人脸识别技术和多光谱技术进行活体检测的双路验证方法是目 前有效快速的方法。
[0003]多光谱成像技术已经被广泛的研究和应用，它不同于传统的单一宽波段成像技 术，而是将成像技术和光谱测量技术相结合，获得的信息不仅包括二维信息，还包括随波长 分布的光谱福射信息，丰富的目标光谱信息能够极大提高目标探测的准确性。在视频人脸 识别的基础上加入光谱成像技术能提供光谱信息，根据人脸皮肤具有的独特的反射光谱信 息，辅助人脸识别，能够弥补一般人脸识别中难于识别照片、视频和伪装攻击的不足。

【发明内容】

[0004]技术问题：本发明提供一种能够排除照片、视频、模型及面具伪装对人脸识别系统 的攻击，人机交互体验好，更加简单有效的高光谱人脸识别方法。
[0005]技术方案：本发明的高光谱人脸识别方法，步骤如下：
[0006] 步骤1;利用彩色CCD相机捕获具有人脸空间信息的彩色人脸视频，利用高光谱成 像装置同步捕获经过下采样的人脸光谱视频；
[0007] 步骤2;对所述彩色人脸视频进行人脸检测、追踪，然后选取一帖彩色图像与数据 库中存储的人脸信息进行匹配识别，一旦找到与该帖彩色图像人脸特征匹配的人脸信息， 则转入步骤3 ;
[000引步骤3 ;利用捕获得到的人脸光谱信息进行光谱活体检测，判断是否为自然皮肤， 如是，则被识别的对象为真实人物，将步骤2确定的匹配人员作为识别结果，否则，被识别 的对象为可疑人员。
[0009] 进一步的，所述步骤3中，根据545-575nm波段内人脸真实皮肤光谱反射率曲线的 特有特征进行光谱活体检测，具体包括W下步骤：
[0010] 步骤301 ;将所述步骤2选取的彩色图像与该彩色图像所同步对应的光谱图像通 过光谱传播算法进行融合，得到完整的高空间高光谱分辨图像；
[0011] 步骤302 ;从所述高空间高光谱分辨图像中选取额头，鼻子，左脸颊，右脸颊和下 己五个区域，获取每个区域上546. 5nm、559. 7nm和565. 4nmS个波段上的像素强度信息，即 I日46. 5、I日日目.7和I日6日.4;
[0012] 步骤3〇3;分别利用AIi=I日阳广I日地.日和AI2=I日的.广I甜日.4计算每个区域在 559. 7皿波段上的强度信息与其在546. 5皿和565. 4皿上强度信息的差值，当人脸每个区 域均满足AIi> 0和AI2>0时，目标为自然皮肤，其中I546.e为人脸区域图像在546. 5nm 波段上的强度信息，1^9.7为人脸区域图像在559. 7nm波段上的强度信息，Isee.4为人脸区域 图像在565. 4皿波段上的强度信息，AIi为人脸区域图像在559. 7皿与546. 5皿波段上的 强度信息差值，A12为人脸区域图像在559. 7nm与565. 4nm波段上的强度差值。
[0013] 本发明方法所采用的装置包括两路光路，一路为沿水平方向依次设置的第一透 镜、掩膜板、第二透镜、阿米西棱镜和灰度相机，一路为彩色相机。灰度相机用于捕获人脸高 光谱信息，彩色相机用于捕获人脸彩色空间信息。
[0014] 本发明方法利用高光谱成像装置，同时捕获人脸高光谱信息和彩色空间信息。首 先利用彩色视频进行人脸识别，若找到一个数据库中存储的人脸信息与该帖彩色图像匹 配，进行高光谱活体检测进一步鉴定是否是真实人脸皮肤。
[0015] 有益效果：本发明与现有技术相比，具有如下优点：
[0016] 在普通人脸识别的基础上加入高光谱活体检测技术，排除照片、视频、模型及面具 伪装对人脸识别系统的攻击，使用高光谱成像装置同时实现人脸识别和高光谱活体检测， 可W改善目前多光谱人脸检测存在的人机交互体验差的问题。
[0017] 使用的高光谱成像装置利用阿米西棱镜分光，可一次性采集可见光波段人脸多波 段光谱图像和视频，与现有多光谱人脸识别装置中采用滤光片分光获取光谱信息相比更加 简单成本更低。该装置同时捕获人脸彩色视频与高光谱视频，人脸彩色视频用于人脸识别， 高光谱视频结合彩色视频用于进一步验证目标是否为自然皮肤。如果人脸信息与数据库中 信息成功匹配后，同时检测到目标是自然皮肤，则身份鉴定成功。若人脸匹配成功后，检测 到不是自然皮肤，则目标为可疑人物。高光谱活体检测利用人脸真实皮肤光谱"W"型稳定 特征进行检测，与现有多光谱人脸识别方法更加简便。分别利用AIi=Iwg.,-lMe.e和AI, =I日日9.广I日e日.4计算每个区域在559. 7皿波段上的强度信息与其在546. 5皿和565. 4皿上强 度信息的差值，当人脸每个区域均满足AIi>〇和Al2>〇时，目标为自然皮肤。
【附图说明】
[001引图1为本发明方法的流程图。
[0019] 图2为高光谱人脸识别的装置图。
[0020] 图中有：第一透镜1、掩膜板2、第二透镜3、阿米西棱镜4、灰度相机5、彩色相机6。
[0021] 图3为由高光谱人脸识别装置所获得的人脸光谱特征曲线和高仿真面具的光谱 特征曲线。
[0022] 图4为由高光谱人脸识别装置所获得的人脸光谱特征曲线和高仿真面具的光谱 特征曲线图。
【具体实施方式】 下面结合实施例和说明书附图对发明的技术方案进行详细说明：
[0023] 如图1所示，本发明的高光谱人脸识别方法，通过双路验证进行人脸验证，一路利 用彩色相机捕获得到的RGB视频帖进行人脸识别，一路利用灰度相机捕获得到的光谱视频 帖进行活体检测。如果人脸信息与数据库中信息成功匹配后，同时检测到目标是活体，则身 份鉴定成功。若人脸匹配成功后，检测到不是活体，则目标为可疑人物。
[0024] 实施例中，采用的高光谱采集装置，如图2所示。系统主要分为两路，一路为沿水 平方向依次设置的场景7、第一透镜1、掩膜板2、第二透镜3、阿米西棱镜4和灰度相机5, 一 路为水平放置的彩色相机6.掩膜板2放在第一透镜1的成像面上，场 景7、第一透镜1和 掩膜板2之间的设置关系遵守i+i= ，其中U代表场景7与第一透镜1的距离，V为第 U V I 一透镜1和掩膜板2之间的距离，f为第一透镜1的焦距。可通过调节第一透镜1的焦距f和掩膜板2与第一透镜1的距离V来改变拍摄场景7的距离U。包含人脸的场景信息由第 一透镜1汇聚到掩膜板2上，掩膜板2对场景信息进行均匀下采样，下采样后的场景信息通 过第二透镜3和阿米西棱镜4在灰度相机5的成像面上W不同波段分散开。阿米西棱镜3 实现分光作用。此光路能够一次性捕获场景多通道的光谱信息。彩色相机6用于捕获场景 信息的彩色视频。灰度相机5和彩色相机6同步拍摄场景7,通过对两个相机采集到的场景 图像进行采样点几何标定后，可经过光谱传播算法，将灰度图像上采样点的光谱信息传播 到彩色图像上，从而获得完整的高光谱信息。
[0025] 高光谱人脸识别方法的流程为：
[0026] 步骤1 ;利用彩色CCD相机捕获具有人脸空间信息的彩色人脸视频，利用高光谱成 像装置同步捕获经过下采样的人脸光谱视频；
[0027] 步骤2 ;利用人脸的haar特征和LBP特征对视频每一帖图像进行分类器训练，实 现对所述彩色人脸视频的人脸检测、追踪，在检测到人脸并定位面部关键特征点之后，主要 的人脸区域就可W被裁剪出来，选取一副人脸状态比较好的一副图像经预处理之后，利用 主成分人脸分析方法进行识别。识别算法完成人脸信息的降维和特征的提取，并与库存的 已知人脸进行比对，完成最终的分类。若找到一个数据库中存储的人脸信息与该帖彩色图 像匹配，则转入步骤3;
[002引步骤3 ;利用捕获得到的人脸光谱信息进行光谱活体检巧U。Angelopoulou等人使 用先进光谱仪精确测量了可见光波段下的人脸皮肤反射率，得出在545-575nm波段内人脸 真实皮肤光谱反射率曲线的特有特征（即人脸皮肤光谱曲线在559. 7nm波段附近突 起，在546. 5皿和565. 4皿附近凹陷，形成形状）。利用该特征来判断是否为自然 皮肤，如是，则被识别的对象为真实人物，将步骤2确定的匹配人员作为识别结果，否则， 被识别的对象为可疑人员。具体包括W下步骤：
[0029] 步骤301 ;选取人脸信息完整的一帖彩色图像与同步拍摄的一帖光谱图像通过光 谱传播算法进行融合，得到完整的高空间高光谱分辨图像，该高空间高光谱图像为=维数 据，两维为空间信息，一维为400nm到800nm波段上的光谱信息；
[0030] 步骤302 ;从所述高空间高光谱分辨图像中选取额头，鼻子，左脸颊，右脸颊和下 己五个区域，获取每个区域上546. 5nm、559. 7nm和565. 4nmS个波段上的像素强度信息，即 Is46. 5、I559. 7和I565. 4;
[0031] 步骤3〇3;分别利用AIi=I日阳广I日地.日和Al2=I日的.广I甜日.4计算每个区域在 559. 7nm波段上的强度信息与其在546. 5nm和565. 4nm上强度信息的差值，当人脸每个区域 均满足AIi>〇和Al2>0时，目标为自然皮肤，其中All为图像在559. 7皿与546. 5皿 波段上的强度信息差值，AI,为图像在559. 7nm与565. 4nm波段上的强度差值。
[0032] 如图3所示，本发明的实施例中，将高光谱采集装置及处理显示过程进行模块化。 封装后的高光谱采集装置可安装于一定场所，通过采集彩色视频与光谱视频传入后台服务 器中，进行存储、处理、分析，最后将鉴定结果在人机交互友好界面中显示出来。
[0033] 上述实施例仅是本发明的优选实施方式，应当指出；对于本技术领域的普通技术 人员来说，在不脱离本发明原理的前提下，还可W做出若干改进和等同替换，该些对本发明 权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。
【主权项】
1. 一种高光谱人脸识别方法，其特征在于，步骤如下： 步骤1 :利用彩色CCD相机捕获具有人脸空间信息的彩色人脸视频，利用高光谱成像装 置同步捕获经过下采样的人脸光谱视频； 步骤2 :对所述彩色人脸视频进行人脸检测、追踪，然后选取一帧彩色图像与数据库中 存储的人脸信息进行匹配识别，一旦找到与该帧彩色图像人脸特征匹配的人脸信息，则转 入步骤3 ; 步骤3 :从所述经过下采样的人脸光谱视频中提取与所述步骤2选取的彩色图像同步 对应的光谱图像，然后对其进行光谱活体检测，判断是否为自然皮肤，如是，则被识别的对 象为真实人物，将步骤2确定的匹配人员作为识别结果，否则，被识别的对象为可疑人员。2. 根据权利要求1所述的高光谱人脸识别方法，其特征在于，所述步骤3中，根据 545-575nm波段内人脸真实皮肤光谱反射率曲线的特有"w"特征进行光谱活体检测，具体 包括以下步骤： 步骤301 :将所述步骤2选取的彩色图像与该彩色图像所同步对应的光谱图像通过光 谱传播算法进行融合，得到完整的高空间高光谱分辨图像； 步骤302 :从所述高空间高光谱分辨图像中选取额头，鼻子，左脸颊，右脸颊和下巴五 个区域，获取每个区域上546. 5nm、559. 7nm和565. 4nm三个波段上的像素强度信息，即 工546. 5、1559. 7#卩I565. 4; 步骤 303 :分别利用 A I1= I 559.7-1546.5和 A I 2= I 559.7-1565.4计算每个区域在 559. 7nm 波段上的强度信息与其在546. 5nm和565. 4nm上强度信息的差值，当人脸每个区域均满足 AI1X)和AI 2>〇时，目标为自然皮肤，其中I 546 5为人脸区域图像在546. 5nm波段上 的强度信息，I559.7为人脸区域图像在559. 7nm波段上的强度信息，I 565.4为人脸区域图像在 565. 4nm波段上的强度信息，A I1为人脸区域图像在559. 7nm与546. 5nm波段上的强度信 息差值，A I2为人脸区域图像在559. 7nm与565. 4nm波段上的强度差值。
【专利摘要】本发明公开了一种高光谱人脸识别的方法，首先通过人脸的彩色空间信息进行人脸识别，然后利用人脸高光谱信息进行活体检测进一步验证是否经过伪装。该方法对人脸进行双验证，能够抵抗照片、模型和人造面具伪装对于人脸识别系统的欺骗和攻击，人机交互体验好，更加简单有效。
【IPC分类】G06K9/00
【公开号】CN104881632
【申请号】CN201510208267
【发明人】王永进, 方晓静, 冯姣, 袁威, 朱洪波
【申请人】南京邮电大学
【公开日】2015年9月2日
【申请日】2015年4月28日