非均匀光照条件下的人脸图像采集方法

非均匀光照条件下的人脸图像采集方法
【技术领域】
[0001] 本发明设及图像处理和图像采集中的曝光控制技术，具体是一种利用多次曝光合 成高动态图像的技术进行非均匀光照下的人脸图像采集方法。
【背景技术】
[0002] 基于人脸图像的各种生物识别系统利用结合机器视觉技术，通过计算机模拟人的 视觉功能和图像分析理解能力，从人脸图像中提取所需特征信息，可W完成对人的身份识 别W及疲劳状态检测等方面的工作。虽然相关研究已经得到长足的发展，但大多数还只是 停留在实验室验证阶段，其中一个重要的制约因素是在实际使用环境中图像质量的退化导 致后续的机器视觉处理失效。在实际应用环境中光照条件不理想是造成图像质量不佳的一 个重要原因，例如存在强光源，光照不均匀，光照方向及强度随时间变化等。该些因素会造 成人脸图像信息的丢失。
[0003] 图像采集是基于人脸图像的生物识别系统工作流程的第一个步骤，是决定图像质 量的关键环节，一个设计良好的人脸图像采集系统应该能在各种光照条件不理想的场景下 采集到包含丰富的人脸细节特征的图像，从而为后续的图像处理或机器视觉应用提供高质 量的信息源。
[0004] 图像采集系统的设计分为硬件平台设计和参数控制方法设计，二者共同决定图像 采集系统的性能。目前的人脸图像采集系统一般采用单次曝光进行人脸图像采集。该种方 式在非均匀强光下有难W克服的缺陷。人脸在非均匀光照下会出现各区域亮暗不一致的情 况，例如单侧光照射下出现"阴阳脸"的情况。若使用较短的曝光时间会使暗区的曝光不足 而丢失细节信息，若使用较长的曝光时间会使亮区的曝光过度，同样丢失了细节信息。因此 使用单次曝光无法获取完整的人脸信息。目前对非均匀光照下单次曝光所获得的人脸图像 质量不佳的问题，一般采用预处理的方式进行光照纠正。该种方式的效果有限，仅对光照不 均匀程度较弱的情况有一定效果。存在非均匀强光时，单次曝光所丢失的人脸图像信息无 法得到恢复。
[0005] 针对现有方法的不足，本发明提出多次曝光进行人脸图像合成的方法，该方法能 较好地克服非均匀光照造成的人脸图像质量退化。

【发明内容】

[0006] 本发明的目的是克服非均匀光照下采集的人脸图像质量退化的问题。本发明在非 均匀光照的条件下通过多次曝光进行合成的方法获得高质量的人脸图像。本发明的具体技 术方案如下：
[0007] (1)划定图像中的感兴趣区域；
[000引 （2)对于感兴趣区域使用基于中性亮度假设的单次曝光获取一帖参考图像。对感 兴趣区域进行照度区域划分；
[0009] (3)对于划分的每一个照度区域分别进行曝光，控制曝光时间使得每个区域的目 标亮度都符合中性亮度假设；
[0010] (4)对不同曝光的图像进行高动态范围图像合成，并使用色调映射算子将合成的 高动态范围图像转化为低动态范围图像，W便进行后续的显示和图像处理。
[0011] 所述的步骤（1)对感兴趣区域的划分可W根据不同需求进行，可W划定一个固定 大小和位置的矩形区域，也可W划定位置和大小在采集过程中发生变化的区域，只要该区 域包含了人脸。
[0012] 所述的步骤（2)中对感兴趣区域的划分由W下方法进行；首先确定划分的区域 数，若感兴趣区域中过曝光和欠曝光的像素比例都超过了 5% (当像素灰度值大于等于250 时，可认为该像素过曝光，当像素灰度值小于5时，可认为该像素欠曝光），则划分为3个区 域，否则划分为两个区域；其次利用最大类间方差法得到划分阔值，若划分为2个区域，贝U 得到单个划分阔值，若划分为3个区域，则得到2个划分阔值；最后将感兴趣区域中的每个 像素与阔值进行比较，落到相同像素值区间的像素划分为同一个照度区域。
[0013] 所述的步骤（3)中对每个照度区域的曝光时间控制由W下方法确定；当照度区域 存在大量过曝光或欠曝光的像素时，无法确定目标曝光时间。此时只能通过调整曝光时间 步长逐次逼近目标曝光时间。对于过曝光的照度区域，曝光时间的调整依次为T/2，T/4，T/8 等，直到该区域不再过曝光；对于欠曝光照度区域，曝光调整时间分别为2T，4T，8T等，直到 该区域不再欠曝光。当照度区域中欠曝光或过曝光的比例低于5%时，使用逐步微调曝光 时间的方法使该照度区域的目标亮度接近中性亮度假设。当前照度区域亮度小于目标亮度 时，调整下一次曝光时间为：
[0014]Tw=Tn+a(V-Vn)*Tn，
[0015] 当前照度区域亮度大于目标亮度时，调整下一次曝光时间为：
[0016] Tw=Tn-日（Vn-V)*Tn，
[0017]T。为当前曝光时间，V。为当前照度区域亮度均值，V为目标亮度，a取1/256。
[0018] 所述的步骤（4)中所采用的不同曝光的高动态范围图像合成方法由Debevec方法 合成，所采用的色调映射算子应能够保留图像的局部细节信息。一个较好的色调映射算子 选择是Reinhard色调映射算子。
[0019] 与现有技术相比，本发明具有如下优点和效果；本发明针对非均匀光照条件，对人 脸图像区域进行照度区域划分，对每个照度区域进行合适的曝光从而较好地获取人脸细节 信息，克服了单次曝光中过曝光或欠曝光带来的细节信息丢失，有效解决非均匀光照条件 造成的人脸图像质量退化的问题，所得到的高质量的人脸图像有利于后续的图像处理和机 器视觉分析等。
【附图说明】
[0020] 图1是非均匀光照条件下的人脸图像采集方法的整体流程图。
[0021] 图2是多曝光控制流程。
【具体实施方式】
[0022] W下结合附图对本发明的实施作进一步说明，但本发明的实施和保护不限于此。
[0023] 本实施例中首先将图像中间区域划定为感兴趣区域。基于中性亮度假设对感兴趣 区域获取一帖参考图像。
[0024] 本实施例中对感兴趣区域的照度区域划分可划分为2个区域或3个区域。当感兴 趣区域中过曝光和欠曝光像素的比例都超过5%时，将感兴趣区域划分为3个照度区域，否 则划分为2个照度区域。照度区域的具体划分方式是通过像素值与分割阔值进行比较，落 入同一个阔值区间的像素划分为一个照度区域。
[0025] 本实施例中采用最大类间方差法进行阔值划分。设图像的像素总数为N，灰度级总 数L取256,每个灰度级的像素数为ni，则第i个灰度级的概率为：
[0026] Pi=rii/N,
[0027]
[002引整幅图像的平均灰度值为：
[0029]
[0030] 进行单阔值分割时，设分割阔值k将灰度为A，B两类，该两类像素的概率别为：
[0036] 两类像素的类间方差值为：
[0037] 0 2=PA(iiA-yT)2+PB(y^yT)2，
[003引要使目标函数F取得最大值：
[0039]
[0040] 此时，得到分割阔值K。
[0041] 进行双阔值分割时，设分割阔值为ki，k2将像素分为A， B，CS类，PA，Pe，Pc和yA， uc，y。分别为3类像素的概率和均值，s类像素的类间方差值为：
[00创0 2=P A ( y A- y T) 2+Pb ( y厂y T) 2+Pc ( y广y T) 2，
[0043] 此时目标函数为：
[0044]
[0045] 得到分割阔值Ki，K2。
[0046] 本实施例中，得到分割阔值后，将感兴趣区域的中的每个像素与阔值进行比较，将 落入同一个阔值区间的像素划分为同一个照度区域。
[0047] 本实施例中对不同照度区域进行曝光时间控制时，W中性亮度为目标亮度进行曝 光时间设置。对属于某一照度区域的所有像素求取平均值，若该平均值等于传感器输出的 像素中值（对于8bit的灰度值，该像素中值为128)，说明达到了目标亮度，此时停止对该照 度区域的曝光时间调整。
[0048] 本实施例中对不同照度区域的曝光控制方法具体如下；当照度区域存在大量过曝 光或欠曝光的像素时，无法确定目标曝光时间。此时只能通过调整曝光时间步长逐次逼近 目标曝光时间。对于过曝光的照度区域，曝光时间的调整依次为T/2,T/4,T/8等，直到该区 域不再过曝光。对于欠曝光的照度区域，曝光时间调整依次为2T，4T，8T等，直到该区域不 再欠曝光。当照度区域中欠曝光或过曝光的比例低于5%时，使用逐步微调曝光时间的方法 使该照度区域的目标亮度接近中性亮度假设。当前照度区域亮度小于目标亮度时，调整下 一次曝光时间为：
[0049]Tw=Tn+a(V-Vn)*Tn，
[0化0] 当前照度区域亮度大于目标亮度时，调整下一次曝光时间为：
[0051] Tw=Tn-a(VV)*Tn，
[0化引 T。为当前曝光时间，V。为当前照度区域亮度均值，V为目标亮度，a取1/256。
[0053] 本实施例中对不同曝光的图像进行高动态范围图像合成采用Debevec的相机响 应曲线求取和高动态范围图像重建方法。
[0化4] 设Zy是像素值，ZyG[0, 255]，此处下标i代表像素点在图像中的坐标，下标为i 的像素点的照度值为町，j代表该图像的曝光序列，即第j幅图像的曝光时间为Atj.，图像 的曝光序列总和为P。第j幅图像的第i个像素点的像素值与曝光量的关系为：
[00巧]Z。=f巧iAtJ)，
[0056] 其中f即为相机的响应函数，在求解过程中将Inf-H己为g。
[0057] 求取出相机响应函数之后便可将图像的像素值转化为场景中的照度值，由于图像 中对应场景的同一个像素点都得到了多次曝光，为了加强鲁椿性，在恢复场景照度时应该 使用所有曝光值所对应的照度，则每个像素点对应的照度是所有值的加权平均：
[005引
[0059] 其中W狂U)是不同曝光序列中对应像素点的权重，表达式如下；
[0060]
[0061] 其中Zmh= 0,Zm"= 255,即一个；角形的权重函数，当像素值为0或255时对应 的权重为0,像素值越靠近中间权重越大，该是因为越靠近0或255的像素值欠曝光或过曝 光的可能性越高，可信度越低，对应的权重也越小。
[0062] 本实施例中，通过不同曝光合成得到的高动态范围图像不适合后续的存储、处 理和显示，需要对其进行进行色调映射，转化为低动态范围图像，同时保留高动态范围图 像中丰富的细节信息和特征。在已有的多种全局色调映射算子和局部色调映射算子中， Reinhard色调映射算子能够较好地压缩图像的亮度动态范围同时保留图像的细节信息，本 实施例采用Reinhard色调映射算子对合成的高动态范围图像进行色调映射后得到最终的 输出图像。
【主权项】
1. 一种非均匀光照条件下的人脸图像采集方法，其特征在于包括以下步骤： (1) 划定图像中的感兴趣区域； (2) 对于感兴趣区域使用基于中性亮度假设的单次曝光获取一帧参考图像，对感兴趣 区域进行照度区域划分； (3) 对于划分的每一个照度区域分别进行曝光，控制曝光时间使得每个区域的目标亮 度都符合中性亮度假设； (4) 对不同曝光的图像进行高动态范围图像合成，并使用色调映射算子将合成的高动 态范围图像转化为低动态范围图像，以便进行后续的显示和图像处理。2. 如权利要求1所述的非均匀光照条件下的人脸图像采集方法，其特征在于步骤（2) 中对感兴趣区域进行照度区域划分时，使用阈值分割的方法，对于感兴趣区域中欠曝光和 过曝光的像素比例都超过5%的情况采用双阈值分割，否则采用单阈值分割，得到分割阈值 后将像素值与分割阈值进行对比，落入相应阈值区间的像素划分为同一个照度区域。3. 如权利要求2中所述的非均匀光照条件下的人脸图像采集方法，其特征在于所述阈 值分割方法采用最大类间方差法进行分割，最大类间方差法所要得到的分割阈值的个数及 分割阈值的目标函数由照度区域的划分个数决定。4. 如权利要求1中所述的非均匀光照条件下的人脸图像采集方法，其特征在于步骤 (3)对于每一个照度区域进行曝光控制，最终得到的曝光参数使得每一个照度区域都符合 中性亮度假设。5. 如权利要求1中所述的非均匀光照条件下的人脸图像采集方法，其特征在于步骤 (3)对于每一个照度区域进行曝光控制的方法具体如下：当照度区域存在过曝光或欠曝光 的像素时，无法确定目标曝光时间，此时只能通过调整曝光时间步长逐次逼近目标曝光时 间；对于过曝光的照度区域，曝光时间根据调整次数k依次调整为T/2 k，直到该区域不再过 曝光；对于欠曝光的照度区域，曝光时间根据调整次数k依次调整为T *2k，直到该区域不再 欠曝光；当照度区域中欠曝光或过曝光的比例低于5%时，使用逐步微调曝光时间的方法 使该照度区域的目标亮度接近中性亮度假设；当前照度区域亮度小于目标亮度时，调整下 一次曝光时间为： T"+1=Tn+a (V-Vn) *Tn, 当前照度区域亮度大于目标亮度时，调整下一次曝光时间为： T"+1 =Tn-a (Vn-V) *Tn, Tn为当前曝光时间，Vn为当前照度区域亮度均值，V为目标亮度，a取1/256。
【专利摘要】本发明公开了非均匀光照条件下的人脸图像采集方法，能够在非均匀光照的条件下获取高质量的人脸图像。该方法将图像中包含人脸的感兴趣区域分割为不同的照度区域，针对不同的照度区域调整曝光时间，使每一个照度区域都以中性亮度为目标曝光亮度，从而获取人脸在非均匀光照下不同照度区域的细节信息。对所得到的不同曝光的图像进行高动态范围图像合成，并利用色调映射技术将高动态范围图像转化为易于计算机处理和显示的低动态范围图像。本发明可以有效解决非均匀光照条件造成的人脸图像质量退化的问题，所得到的高质量的人脸图像有利于后续的图像处理和机器视觉分析等。
【IPC分类】G06K9/00
【公开号】CN104881644
【申请号】CN201510271765
【发明人】秦华标, 张东阳, 钟庆云
【申请人】华南理工大学
【公开日】2015年9月2日
【申请日】2015年5月25日