基于Gabor变换和HOG的人脸识别特征提取方法
基于Gabor变换和HOG的人脸识别特征提取方法
【技术领域】
[0001] 本发明属于人脸识别技术，具体是一种基于Gabor变换和H0G的人脸识别特征提 取方法。
【背景技术】
[0002] 特征提取是计算机视觉和图像处理中的一个概念。是指对某一模式的组测量值进 行变换，以突出该模式具有代表性特征的一种方法。通过影像分析和变换，以提取所需特征 的方法。
[0003] 在Heisenberg测不准原理下，Gabor变换已被证明具有最优的联合时频分辨率。 在图像处理中，Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似，它对图像 的边缘敏感，能够提供良好的方向选择和尺度选择特性，此外，它对于光照变化不敏感，能 够提供对光照变化良好的适应性。研宄发现，Gabor滤波器十分适合纹理表达和分离。
[0004]HOG(HistogramsofOrientedGradients，梯度方向直方图）的核心思想是让所 检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。与其他描述子相比，它通 过方向直方图有效的描述了图像区域的局部形状特征信息，此外通过采用区域的梯度方向 量化，使得特征描述算子具有一些平移旋转不变性，其中可以通过改变直方图的bin数目 以及区域的大小来控制图像局部区域特征信息的精度和保持特征具有不变性。因此H0G描 述子尤其适合人的检测。
[0005]目前基于Gabor变换的特征提取方法广泛应用于人脸识别中的特征提取阶段，包 括直接应用Gabor小波作用人脸图像后的GaborMagnitudePicture(GMP)作为提取的 特征（1.ChengjunLiu,Harryffechsler.GaborFeatureBasedClassificationUsing theEnhancedFisherLinearDiscriminantModelforFaceRecognition,ImagePr ocessing，2002,vol. 11，pp. 467-476.)，将GMP再经过LBP算子作用得到有效特征更为 明显的LGBP(LocalGaborBinaryPattern)特征，体现了GMP的梯度信息（2.Wenchao Zhang,ShiguangShan,WenGao,XilinChen,HongmingZhang.LocalGaborBinary PatternHistogramSequence(LGBPHS):ANovelNon-StatisticalModelforFace RepresentationandRecognition,IEEEComputerSocietyPress, 2005. 3.Wenchao Zhang,ShiguangShan,WenGao,XilinChen,HongmingZhang.EnsembleofPiecewise FDABasedonSpatialHistogramsofLocal(Gabor)BinaryPatternsforFace Recognition，PatternRecognition，2006.)，还有将GMP经过求梯度和二阶求偏导后 经过多种多项式组合得到图像的多种特征信息（4.KeYan，YoubinChen，DavidZhang. GaborSurfaceFeatureforFaceRecognition,AsiaCommunicationsandPhotonics conferenceandExhibition，2011.)D但是上述方法得到的特征向量并不能对Gabor滤 波结果的方向上滤波增强，使充分利用Gabor特征的梯度方向信息。并且LBP算子可能 会对原有特征信息造成误解，在识别阶段直接使用会造成一定的困难。H0G特征具有计算 量小和体现多方向特征的优点，可以通过三线性插值法进行描述（5.X.Wang，X.Han，and S.Yan.AHOG-LBPhumandetectorwithpartialocclu-sionhandling[A].InProc.of ICCV[C], 2009.)。
【发明内容】
[0006] 本发明的目的在于提供一种将Gabor变换与HOG纹理特征提取方法融合的人脸识 别特征提取方法，能够达到有效特征明显保留以及Gabor特征充分利用的效果。
[0007] 实现本发明目的的技术解决方案为：
[0008] -种基于Gabor变换与H0G的人脸识别特征提取方法，步骤如下：
[0009] 第一步，将含有人脸的图片通过人脸定位和光照处理，即输入图像为含有人脸的 图片，通过人脸定位找到图片中人脸的位置，将其裁切成68*84的人脸图像，再经过Y校正 和高斯差分滤波对裁切的人脸图像进行光照处理，使其去除一定的光照的影响，最终得到 归一化的人脸图像。
[0010] 第二步，对归一化人脸图像进行Gabor变换。将Gabor母小波生成5个大小和8 个方向的Gabor小波组合，分别对第一步得到的归一化人脸图像进行卷积运算。这一步可 以得到40个不同方向和大小的Gabor特征。
[0011] 第三步，对第二步得到的Gabor特征作方向梯度直方图H0G纹理特征提取操作。得 到更高Gabor滤波精度的特征。
[0012] 本发明与现有技术相比，其显著优点为：（1)两种方法的结合充分利用Gabor特征 的梯度方向信息；（2)与其他方法和Gabor特征融合相比较，H0G特征具有计算量小和体现 多方向特征的优点。
【附图说明】
[0013] 图1是本发明基于Gabor变换和H0G的人脸识别特征提取方法的流程图。
[0014] 图2是40个不同方向大小的Gabor滤波器图。
[0015] 图3是滤波器对一图像的滤波示意图。
[0016] 图4是H0G特征提取中三线性插值示意图。
【具体实施方式】
[0017] 下面结合附图对本发明作进一步详细描述。
[0018] 结合图1，本发明基于Gabor变换和H0G的人脸识别特征提取方法，步骤如下：
[0019] 第一步是将含有人脸的图片通过人脸定位和光照处理，即输入图像为含有人脸的 图片，通过Adaboost人脸定位找到图片中人脸的位置，将其裁切成68*84的人脸图像，再经 过Y校正和高斯差分滤波对裁切的人脸图像进行光照处理，使其去除一定的光照的影响， 最终得到归一化的人脸图像。
[0020] 第二步是提取图像的Gabor特征。在空间域中，一个二维Gabor滤波器是一个由 正弦平面波调制的高斯核函数，一般公式为：
[0022] 其中xr=xcos9+ysin9， yr=-xsin9+ycos9
[0023] 需要传进去的4个参数：x、y、0、f。x1?和y1?为二维坐标（x，y)旋转后的坐标。因 有elx=cosx+isinx，则可以得到：
[0024] 该Gabor函数的实数部分（偶部分、余弦部分）：
[0026] 虚数部分（奇部分、正弦部分）：
[0028] 需要得到的特征，可以看作是实部和虚部与图像分别做卷积之后结果的模：
[0030]
(%:表示X轴上的高斯窗宽）
（y#表示y轴上的高斯窗宽）。当 Y和P为定值的时候，Gabor过滤器的形状就只和中心频率f有关了，相同方向下，每个过 滤器看起来只是彼此的缩放版本。此时令
[0031] 定义一个小波向量
表示频率中的中心频率部分，并令
[0032] 则公式可变换为
。我们取y和p为 令Gabor组中的f?和0满足：
[0035] 其中fmax为f?的最大值。
[0036] 如图2,是通过小波向量的0和f改变得到8个方向和5个大小的小波组合，共40 个Gabor滤波器。将其分别与图片作卷积，组合起来得到图像的Gabor特征，即GMP(Gabor MagnitudePicture)如图 3〇
[0037] 第三步是对第二步得到的GMP进行HOG过程。
[0038] (1)用水平梯度算子[_1，0, 1]以及垂直梯度算子[_1，0，1]T来计算GMP水平方向 的梯度分量I(X+l，Y)-I(X-l，Y)以及竖直方向上的梯度分量I(X，Y-l)-I(X，Y+1)，使得到 GMP中边缘、轮廓等纹理信息。
[0039] 梯度的大小计算公式为：
[0041] 梯度的方向计算公式为：
[0043] (2)对梯度图像进行取梯度方向直方图：将其分为多个区域，区域大小为8*8,每 个区域计算一个加权梯度方向直方图，直方图中包含9个bin，划分的区间为0° -180°。 在加权投影上可以采用三线性插值方法来实现，具体插值方法如下：
[0052] 其中：(Xpyj、（x^y2)、（x2,y)、（x2,y2)为像素点（x，y)所在区域相邻的四个区 域的中心像素点坐标，9 0 2为该像素点的梯度方向大小在梯度方向直方图中最相近的 bin值，(^和dy是（x，y)距离各中心点的x轴方向的距离以及y方向上的距离，de为该像 素点梯度方向大小距离相邻bin的大小。插值操作如图4所示。
[0053] 这样可以避免梯度方向直方图在区域边界和梯度方向量化的直方图边界突然变 化。通过对其进行量化，可以得到局部图像区域的特征描述向量。该特征描述向量能够描 述局部图像的内容，且能对其外观少量的变化具有忽视作用。
[0054] (3)将多个区域并为块，并对块进行对比度归一化。每个区域被多个块共享。采 用L2范式对块的直方图进行归一化，将所有bin值中的最大值控制在0. 2以内，再重新归 一化一次。这样能够对阴影和边缘对比度等有更好的不变性。块取2*2区域，一个块的特 征数有2*2*9个，其中块每次滑动一个区域。
[0055] (4)将所有重叠块的梯度方向直方图描述组合在一起，便形成了最终的特征向量， 得到的特征维数为7*9* (2*2*9) = 2268维。
[0056] 综上所述，本发明通过将Gabor滤波和H0G两种方法的结合，使得能够充分利用图 像的Gabor特征的梯度方向信息；并且与其他特征和Gabor特征融合相比较，H0G特征具有 计算量小和体现多方向特征的优点，因此本发明在保证特征信息量的前提下仍能保证图像 处理的效率。
【主权项】
1. 一种基于Gabor变换与HOG的人脸识别特征提取方法，其特征在于步骤如下： 第一步，对含有人脸的图片进行人脸定位和光照处理；输入图像为含有人脸的图片，通 过人脸定位找到图片中人脸的位置，并将人脸部分裁切出来，再经过γ校正及高斯差分滤 波对裁切的人脸图像进行光照处理，得到归一化的人脸图像； 第二步，对归一化人脸图像进行Gabor变换得到Gabor特征； 第三步，对第二步得到的Gabor特征作方向梯度直方图HOG纹理特征提取操作，得到更 高Gabor滤波精度的特征。2. 根据权利要求1所述的基于Gabor变换和HOG的人脸识别特征提取方法，其特征在 于步骤三所述的具体方法为： 2. 1提取出图像的Gabor特征，得到GMP ; 2. 2基于Gabor特征对GMP进行HOG变换。3. 根据权利要求2所述的基于Gabor变换和HOG的人脸识别特征提取方法，其特征在 于步骤2. 2所述的具体方法为： 采用水平梯度算子[_1，〇，1]以及垂直梯度算子[_1，〇，1]τ计算GMP水平方向的梯度 分量I (χ+1，Υ)-I (χ-1，Υ)以及竖直方向上的梯度分量I (X，Υ-1)-I (X，Υ+1)，得到GMP中边 缘、轮廓纹理信息； GMP中的点（X，Y)梯度的大小R(X，Y)计算公式为：梯度的方向Ang (X，Y)计算公式为：对梯度图像进行取梯度方向直方图：将其分为多个区域，每个区域计算一个加权梯度 方向直方图，直方图中包含9个bin，划分的区间为0° -180°，在加权投影上采用三线性插 值方法来实现，具体插值方法如下：其中：(X1, y)、（X1, y2)、（x2, y)、（x2, y2)为像素点（X，y)所在区域相邻的四个区域的 中心像素点坐标，Θ JP Θ 2为该像素点的梯度方向大小在梯度方向直方图中最相近的bin 值，4和屯是（x，y)距离各中心点的X轴方向的距离以及y方向上的距离，d 0为该像素点 梯度方向大小距离相邻bin的大小； 将多个区域并为块，并对块进行对比度归一化，每个区域被多个块共享，并对块的直方 图的bin作最大值的控制，进行归一化；最后将所有重叠块的梯度方向直方图描述组合在 一起，形成最终的特征向量。
【专利摘要】本发明公开了一种基于Gabor变换和HOG的人脸识别特征提取方法。该方法首先对含人脸图像进行提取并归一化，通过生成40个不同方向大小的Gabor滤波器对归一化人脸进行分别滤波，得到多个方向和大小的Gabor特征，随后对得到的Gabor特征进行HOG处理，进一步得到Gabor特征的梯度直方图信息，使得Gabor滤波结果增强。
【IPC分类】G06K9/00
【公开号】CN104899576
【申请号】CN201510350083
【发明人】李千目, 陈晗婧, 许小强, 李德强, 侯君
【申请人】南京理工大学
【公开日】2015年9月9日
【申请日】2015年6月23日
【技术领域】
[0001] 本发明属于人脸识别技术，具体是一种基于Gabor变换和H0G的人脸识别特征提 取方法。
【背景技术】
[0002] 特征提取是计算机视觉和图像处理中的一个概念。是指对某一模式的组测量值进 行变换，以突出该模式具有代表性特征的一种方法。通过影像分析和变换，以提取所需特征 的方法。
[0003] 在Heisenberg测不准原理下，Gabor变换已被证明具有最优的联合时频分辨率。 在图像处理中，Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似，它对图像 的边缘敏感，能够提供良好的方向选择和尺度选择特性，此外，它对于光照变化不敏感，能 够提供对光照变化良好的适应性。研宄发现，Gabor滤波器十分适合纹理表达和分离。
[0004]HOG(HistogramsofOrientedGradients，梯度方向直方图）的核心思想是让所 检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。与其他描述子相比，它通 过方向直方图有效的描述了图像区域的局部形状特征信息，此外通过采用区域的梯度方向 量化，使得特征描述算子具有一些平移旋转不变性，其中可以通过改变直方图的bin数目 以及区域的大小来控制图像局部区域特征信息的精度和保持特征具有不变性。因此H0G描 述子尤其适合人的检测。
[0005]目前基于Gabor变换的特征提取方法广泛应用于人脸识别中的特征提取阶段，包 括直接应用Gabor小波作用人脸图像后的GaborMagnitudePicture(GMP)作为提取的 特征（1.ChengjunLiu,Harryffechsler.GaborFeatureBasedClassificationUsing theEnhancedFisherLinearDiscriminantModelforFaceRecognition,ImagePr ocessing，2002,vol. 11，pp. 467-476.)，将GMP再经过LBP算子作用得到有效特征更为 明显的LGBP(LocalGaborBinaryPattern)特征，体现了GMP的梯度信息（2.Wenchao Zhang,ShiguangShan,WenGao,XilinChen,HongmingZhang.LocalGaborBinary PatternHistogramSequence(LGBPHS):ANovelNon-StatisticalModelforFace RepresentationandRecognition,IEEEComputerSocietyPress, 2005. 3.Wenchao Zhang,ShiguangShan,WenGao,XilinChen,HongmingZhang.EnsembleofPiecewise FDABasedonSpatialHistogramsofLocal(Gabor)BinaryPatternsforFace Recognition，PatternRecognition，2006.)，还有将GMP经过求梯度和二阶求偏导后 经过多种多项式组合得到图像的多种特征信息（4.KeYan，YoubinChen，DavidZhang. GaborSurfaceFeatureforFaceRecognition,AsiaCommunicationsandPhotonics conferenceandExhibition，2011.)D但是上述方法得到的特征向量并不能对Gabor滤 波结果的方向上滤波增强，使充分利用Gabor特征的梯度方向信息。并且LBP算子可能 会对原有特征信息造成误解，在识别阶段直接使用会造成一定的困难。H0G特征具有计算 量小和体现多方向特征的优点，可以通过三线性插值法进行描述（5.X.Wang，X.Han，and S.Yan.AHOG-LBPhumandetectorwithpartialocclu-sionhandling[A].InProc.of ICCV[C], 2009.)。
【发明内容】
[0006] 本发明的目的在于提供一种将Gabor变换与HOG纹理特征提取方法融合的人脸识 别特征提取方法，能够达到有效特征明显保留以及Gabor特征充分利用的效果。
[0007] 实现本发明目的的技术解决方案为：
[0008] -种基于Gabor变换与H0G的人脸识别特征提取方法，步骤如下：
[0009] 第一步，将含有人脸的图片通过人脸定位和光照处理，即输入图像为含有人脸的 图片，通过人脸定位找到图片中人脸的位置，将其裁切成68*84的人脸图像，再经过Y校正 和高斯差分滤波对裁切的人脸图像进行光照处理，使其去除一定的光照的影响，最终得到 归一化的人脸图像。
[0010] 第二步，对归一化人脸图像进行Gabor变换。将Gabor母小波生成5个大小和8 个方向的Gabor小波组合，分别对第一步得到的归一化人脸图像进行卷积运算。这一步可 以得到40个不同方向和大小的Gabor特征。
[0011] 第三步，对第二步得到的Gabor特征作方向梯度直方图H0G纹理特征提取操作。得 到更高Gabor滤波精度的特征。
[0012] 本发明与现有技术相比，其显著优点为：（1)两种方法的结合充分利用Gabor特征 的梯度方向信息；（2)与其他方法和Gabor特征融合相比较，H0G特征具有计算量小和体现 多方向特征的优点。
【附图说明】
[0013] 图1是本发明基于Gabor变换和H0G的人脸识别特征提取方法的流程图。
[0014] 图2是40个不同方向大小的Gabor滤波器图。
[0015] 图3是滤波器对一图像的滤波示意图。
[0016] 图4是H0G特征提取中三线性插值示意图。
【具体实施方式】
[0017] 下面结合附图对本发明作进一步详细描述。
[0018] 结合图1，本发明基于Gabor变换和H0G的人脸识别特征提取方法，步骤如下：
[0019] 第一步是将含有人脸的图片通过人脸定位和光照处理，即输入图像为含有人脸的 图片，通过Adaboost人脸定位找到图片中人脸的位置，将其裁切成68*84的人脸图像，再经 过Y校正和高斯差分滤波对裁切的人脸图像进行光照处理，使其去除一定的光照的影响， 最终得到归一化的人脸图像。
[0020] 第二步是提取图像的Gabor特征。在空间域中，一个二维Gabor滤波器是一个由 正弦平面波调制的高斯核函数，一般公式为：
[0022] 其中xr=xcos9+ysin9， yr=-xsin9+ycos9
[0023] 需要传进去的4个参数：x、y、0、f。x1?和y1?为二维坐标（x，y)旋转后的坐标。因 有elx=cosx+isinx，则可以得到：
[0024] 该Gabor函数的实数部分（偶部分、余弦部分）：
[0026] 虚数部分（奇部分、正弦部分）：
[0028] 需要得到的特征，可以看作是实部和虚部与图像分别做卷积之后结果的模：
[0030]
(%:表示X轴上的高斯窗宽）
（y#表示y轴上的高斯窗宽）。当 Y和P为定值的时候，Gabor过滤器的形状就只和中心频率f有关了，相同方向下，每个过 滤器看起来只是彼此的缩放版本。此时令
[0031] 定义一个小波向量
表示频率中的中心频率部分，并令
[0032] 则公式可变换为
。我们取y和p为 令Gabor组中的f?和0满足：
[0035] 其中fmax为f?的最大值。
[0036] 如图2,是通过小波向量的0和f改变得到8个方向和5个大小的小波组合，共40 个Gabor滤波器。将其分别与图片作卷积，组合起来得到图像的Gabor特征，即GMP(Gabor MagnitudePicture)如图 3〇
[0037] 第三步是对第二步得到的GMP进行HOG过程。
[0038] (1)用水平梯度算子[_1，0, 1]以及垂直梯度算子[_1，0，1]T来计算GMP水平方向 的梯度分量I(X+l，Y)-I(X-l，Y)以及竖直方向上的梯度分量I(X，Y-l)-I(X，Y+1)，使得到 GMP中边缘、轮廓等纹理信息。
[0039] 梯度的大小计算公式为：
[0041] 梯度的方向计算公式为：
[0043] (2)对梯度图像进行取梯度方向直方图：将其分为多个区域，区域大小为8*8,每 个区域计算一个加权梯度方向直方图，直方图中包含9个bin，划分的区间为0° -180°。 在加权投影上可以采用三线性插值方法来实现，具体插值方法如下：
[0052] 其中：(Xpyj、（x^y2)、（x2,y)、（x2,y2)为像素点（x，y)所在区域相邻的四个区 域的中心像素点坐标，9 0 2为该像素点的梯度方向大小在梯度方向直方图中最相近的 bin值，(^和dy是（x，y)距离各中心点的x轴方向的距离以及y方向上的距离，de为该像 素点梯度方向大小距离相邻bin的大小。插值操作如图4所示。
[0053] 这样可以避免梯度方向直方图在区域边界和梯度方向量化的直方图边界突然变 化。通过对其进行量化，可以得到局部图像区域的特征描述向量。该特征描述向量能够描 述局部图像的内容，且能对其外观少量的变化具有忽视作用。
[0054] (3)将多个区域并为块，并对块进行对比度归一化。每个区域被多个块共享。采 用L2范式对块的直方图进行归一化，将所有bin值中的最大值控制在0. 2以内，再重新归 一化一次。这样能够对阴影和边缘对比度等有更好的不变性。块取2*2区域，一个块的特 征数有2*2*9个，其中块每次滑动一个区域。
[0055] (4)将所有重叠块的梯度方向直方图描述组合在一起，便形成了最终的特征向量， 得到的特征维数为7*9* (2*2*9) = 2268维。
[0056] 综上所述，本发明通过将Gabor滤波和H0G两种方法的结合，使得能够充分利用图 像的Gabor特征的梯度方向信息；并且与其他特征和Gabor特征融合相比较，H0G特征具有 计算量小和体现多方向特征的优点，因此本发明在保证特征信息量的前提下仍能保证图像 处理的效率。
【主权项】
1. 一种基于Gabor变换与HOG的人脸识别特征提取方法，其特征在于步骤如下： 第一步，对含有人脸的图片进行人脸定位和光照处理；输入图像为含有人脸的图片，通 过人脸定位找到图片中人脸的位置，并将人脸部分裁切出来，再经过γ校正及高斯差分滤 波对裁切的人脸图像进行光照处理，得到归一化的人脸图像； 第二步，对归一化人脸图像进行Gabor变换得到Gabor特征； 第三步，对第二步得到的Gabor特征作方向梯度直方图HOG纹理特征提取操作，得到更 高Gabor滤波精度的特征。2. 根据权利要求1所述的基于Gabor变换和HOG的人脸识别特征提取方法，其特征在 于步骤三所述的具体方法为： 2. 1提取出图像的Gabor特征，得到GMP ; 2. 2基于Gabor特征对GMP进行HOG变换。3. 根据权利要求2所述的基于Gabor变换和HOG的人脸识别特征提取方法，其特征在 于步骤2. 2所述的具体方法为： 采用水平梯度算子[_1，〇，1]以及垂直梯度算子[_1，〇，1]τ计算GMP水平方向的梯度 分量I (χ+1，Υ)-I (χ-1，Υ)以及竖直方向上的梯度分量I (X，Υ-1)-I (X，Υ+1)，得到GMP中边 缘、轮廓纹理信息； GMP中的点（X，Y)梯度的大小R(X，Y)计算公式为：梯度的方向Ang (X，Y)计算公式为：对梯度图像进行取梯度方向直方图：将其分为多个区域，每个区域计算一个加权梯度 方向直方图，直方图中包含9个bin，划分的区间为0° -180°，在加权投影上采用三线性插 值方法来实现，具体插值方法如下：其中：(X1, y)、（X1, y2)、（x2, y)、（x2, y2)为像素点（X，y)所在区域相邻的四个区域的 中心像素点坐标，Θ JP Θ 2为该像素点的梯度方向大小在梯度方向直方图中最相近的bin 值，4和屯是（x，y)距离各中心点的X轴方向的距离以及y方向上的距离，d 0为该像素点 梯度方向大小距离相邻bin的大小； 将多个区域并为块，并对块进行对比度归一化，每个区域被多个块共享，并对块的直方 图的bin作最大值的控制，进行归一化；最后将所有重叠块的梯度方向直方图描述组合在 一起，形成最终的特征向量。
【专利摘要】本发明公开了一种基于Gabor变换和HOG的人脸识别特征提取方法。该方法首先对含人脸图像进行提取并归一化，通过生成40个不同方向大小的Gabor滤波器对归一化人脸进行分别滤波，得到多个方向和大小的Gabor特征，随后对得到的Gabor特征进行HOG处理，进一步得到Gabor特征的梯度直方图信息，使得Gabor滤波结果增强。
【IPC分类】G06K9/00
【公开号】CN104899576
【申请号】CN201510350083
【发明人】李千目, 陈晗婧, 许小强, 李德强, 侯君
【申请人】南京理工大学
【公开日】2015年9月9日
【申请日】2015年6月23日
最新回复(0)