一种基于保局映射与主成分分析的图像分类方法

一种基于保局映射与主成分分析的图像分类方法
【技术领域】
[0001] 本发明设及数字图像领域，具体设及一种基于保局映射与主成分分析结合的图像 分类方法。
【背景技术】
[0002] 对于图像的分类问题，由于图像本身存在的维数高的问题，通常需要对初步提取 到的图像特征进行降维处理。在本方法中，主要使用的是两种降维方法；1、保局映射2、主 成分分析。保局映射是一种提取能够保持图像空间局部流形结构的性质的降维方法，主成 分分析法能够使用较少的矩阵维度保持原始图像最大限度的信息。两者用于深度学习都是 属于无监督的降维方法。
[000引 1、主成分分析（PCA)
[0004] PCA是一种线性降维方法，它通过找出样本空间变化较大的一些正交的坐标方向， 可认为就是样本的主成分，然后将样本投影到该些坐标从而降维到一个线性子空间。
[000引假设有N个样本Xi，i= 1，2，...，N，义,e化。，/ = 1，2，...，N，
是去 均值后的样本列向量。
表示去均值后的所有样本的协方差矩阵。
[0006] 则按照最大化投影后方差的原则，PCA的优化目标是：
[0007] maxw'^Sws.t.wV= (1)
[000引其中w表示投影方向，d表示降维后的样本的维数。
[0009] 具体算法为；
[0010] (a)对样本中每一个维度去均值。即
[0011] 化）求样本的协方差矩阵。印
[0012] (C)对S作奇异值分解，求得它的特征值与特征向量，选取最大的前d个特征值所 对应的特征向量作为新的样本空间的基向量。
[0013] 2、保局映射（LocalityPreservingProjection,LPF〇
[0014] 保局映射的一个直接出发点是用于图像的降维，直接考虑了图像流形结构，也就 是说通过构造一个图像的近邻图作为图像的流形结构，该个流形结构能够保持图像中的局 部特征。
[00巧]该里假设原始的样本向量为X=[Xl，X2，...，x。]，x,e吸n，!? =l，2，..，H，降维后的向 量为Y= [y。72, . . .，y。]，e化''。LPP的目标函数是；
[0016]
[0017] 其中是Xi的低维表示，而Su是一个相似性矩阵，其中的矩阵元素可W看做是流 形结构中节点Xi和节点XJ的之间的权值。它的定义如下；
[0018]
[001引该里e>0足够小，它决定了流形结构中的的局部性质，在实际应用中我们人为 的选用的是K順的构造方法，使得每个图像空间中的点都有K个邻居点。
[0020] 进一步地，（2)式的优化问题经过等价的代数推导可变为：
[0021]
[002引其中D"=E&,，是一个对角矩阵；L=D-S被成为拉普拉斯矩阵，W是投影向量。 通过求解如下广义特征值问题，可W得到W向量：
[0023]XLXW=AXDXV妨
[0024] 该里，我们选取的特征向量是前k个最小的特征值对应的特征向量作为整个投影 矩阵Wup。
[0025] 该里要注意的是矩阵XDXT可能是奇异的，该是由于训练的样本数小于图像的维数 导致的，为了避免该个问题，我们确保训练的样本数大于等于图像维数。事实上，在我们该 个深度学习的框架中，我们输入到LPP算法中的是一个方阵（协方差矩阵）。

【发明内容】

[0026]为了克服现有技术中存在的不足，利用深度学习与流形学习在图像分类中的优 势，提高图像分类识别的准确率与鲁椿性，本发明提出了一种基于保局映射与主成分分析 的图像分类方法。
[0027]为实现上述目的，本发明采用的技术方案为：
[0028]-种基于保局映射与主成分分析的图像分类方法，包括W下步骤：
[002引步骤1 ;对N幅大小均为mXn像素的输入图像/f巧行预处理，得到输入图像特征 矩阵X，其中N、m、n为正整数，i= 1,2. ..，N;
[0030] 步骤2;建立一层或两层的流形学习网络，得到每一层网络中训练图像卷积所用 的滤波器，其中第一层的滤波器用保局映射降维方法构造，如果有第二层网络，第二层的 滤波器V2可选用主成分分析法或者继续选用保局映射降维方法构造，将输入图像片'与第 一层的滤波器进行卷积，得到第一层输出图像4 =片"4巧；/ =i，2，...，Zi，其中Vii表示第 一层中的第1个滤波器，Li表示第一层的滤波器的个数；如果有第二层网络，再将第一层输 出图像与第二层的滤波器V2进行卷积，得到第二层输出图像〇,'=与*^3，/ = 1，2，~，4， 其中V/表示第二层中的第1个滤波器，L,表示第二层的滤波器的个数；得到的最终输出图 像为最后一层网络的输出图像；
[0031]步骤3;建立流形学习网络的输出层；即将步骤2得到的最终输出图像进行二值化 操作，并对二值化后的图像分块并统计每一块图像上的直方图，将此直方图作为特征向量 fi，i = 1,2. ,.,N；
[0032] 步骤4;将步骤4中最终得到的所有的特征向量输入支持向量机分类器进行训 练；
[0033] 步骤5 ;用校验图像集进行校验，调整到最佳网络参数；
[0034] 步骤6 ;对测试图像进行测试，统计分类结果，计算识别率。
[00巧]进一步地，步骤1中所述的预处理操作具体为：
[0036] 对于每一幅输入图像使用大小为kiXks像素的滑块遍历其每个像素，每个像素所 在的滑块区域重新排列成一个列向量，其中ki，k,均为奇数，该样每一幅图像都能得到一个 行数为kik2,列数为m'n'的重采样矩阵，其中
代表大小为kiXks像素的滑块W 行间隔为bi进行取样所能得到的行数，
代表大小为kiXks像素的滑块W列间隔 为b2进行取样所能得到的列数，b1，b2分别表示的是滑块每次滑动的行间隔和列间隔，默认 设置都为 1;此采样矩阵记为
[0037] 然后对采样矩阵的每个元素都减去其行均值，得到去均值化重采样矩阵 X=氏.1，交。，…，玄,,",,。']€吸^:<'"'"'，其中
[0038] 将N幅输入图像所得到的去均值化采样矩阵放置在一起得到输入图像特征矩阵 乂=[疋，马,...，文Vje化'-。
[0039] 进一步地，步骤2所述的中使用保局映射降维方法得到第一层的滤波器的操作 具体为：
[0040] 首先，求出输入图像特征矩阵X的协方差矩阵
[0041] 其次，根据保局映射的算法求出保局映射中协方差矩阵C的投影向量矩阵 WipeRW-，Li表示第一层中滤波器的个数；
[0042] 再次将的PP中的第1个列向量重新排列成一个kiXk2的矩阵作为第一层第1个滤 波器V;第一层的滤波器^"1={巧，]=1，2，...，与}。
[0043] 进一步地，采用两层的流形学习网络，所述步骤2中第二层选用主成分分析法构 造第二层滤波器V2,其具体操作为：
[0044]首先，对于每一幅第一层输出图像/,<，再进行步骤1所述的相同的预处理步 骤，得到第二层输入特征矩阵F =护，F2，...，户]6股'(心口"1'"'，其中护=巧书，…，巧]，而 f=氏.u，灭.u，…，yリ.m'n']e吸4lt^x'"v，/=]，2，…，4表示第i幅输入图像经过第l个第一层滤波 器卷积后再进行滑块预处理后的输入特征矩阵；灭,U表示在经过第1个滤波器滤波后的第 i幅输入图像中第j列去均值化后的列向量；
[0045]然后，求出第二层输入特征矩阵Y的协方差矩阵C'，并对其进行主成分分析，求出 L2个主特征向量，将该些主特征向量分别重新排列成L2个kiXks的小矩阵，得到第二层的 滤波器乂2。
[0046] 进一步地，采用两层的流形学习网络，所述步骤2中第二层继续选用保局映射降 维法构造第二层滤波器，则W第一层的输出图像//作为第二层的输入图像重复步骤1与步 骤2中的具体操作，得到第二层的滤波器V2。
[0047] 进一步地，步骤3中所述的二值化具体操作为；对于每一幅输入图像if，经过两 层网络后，都会产生出L1L2幅最终输出图像，每一幅最终输出图像的尺寸都是mXn;特别 地，对于第一层输出的图像/;，第二层网络就会有L2幅输出图像坏，1 = 1，2,…，L2,将图像 0/进行二值化操作，即该像素点灰度值若大于零则重置为1，否则重置为0 ;之后将该L2幅 图像对应像素点的值加权求和，合并为一张图像，即
其中函 数H( ?)表示二值化函数，表示将输入矩阵的元素大于零的值重置 为1，否则的话置为0 ;该 样对于每一幅输入图像li，就对应了Li幅输出图像，一共就有化1幅输出图像。
[0048] 进一步地，步骤3中所述的得到特征向量具体操作为；将每一幅Tfi分 成B块，B为正整数，每一块大小为化stBlockSize，块与块之间可W有重叠，重叠率为 OverlapRatio,OverlapRatio的值大于等于0小于1，分别统计该B块的直方图，并将其连 接成一个向量，记为化istOV)，则由输入图像片"的最终的得到的训练分类用的特征向量 可W表示为
[0049]
[0050] 进一步地，所述步骤4具体操作为；将所有N幅训练图像的特征向量连接成一 个特征向量矩阵，记为巧,。,.。=[乂，/。，...，/；]€化2￡心<^;将此特征向量矩阵加上原始图像类别 标记共同输入到支持向量机分类器中进行训练。
[0051] 进一步地，所述步骤5中调整到最佳网络参数的方法为；对于一个较大的数据集， 分割成=部分，一部分数据集为训练集，一部分为校验集，另一部分为测试集，当采用训练 集得到所构造的网络的滤波器后，再采用校验集进行参数的调优，获得最佳网络参数。
[0052] 进一步地，步骤6具体操作为；采用经过调优后的网络参数，输入测试集及其标签 信息，统计出识别率。
[0053] 本发明的基于保局映射与主成分分析的图像分类方法具有W下有益效果：
[0054] (1)本方法通过在第一层使用流形学习的方式，将重采样得到的数据映射到一个 较低维的子空间中进行分析，该个子空间并不是传统的欧式空间而是保持了图像本征的流 形结构的子空间。
[00巧](2)本方法构造了一个两层的或者仅使用流形方法的一层网络，利用深度学习的 优势，自动学习图像的有着更多语义更加抽象的高维特征，充分利用了原始图像的信息。
[0056] (3)本方法构造的网络对于光照、遮盖、形变都具有相当的鲁椿性，尤其是对于各 种情况下的人脸的识别特别有效。
【附图说明】
[0057] 图1为本发明基于保局映射与主成分分析（两层）的图像分类方法示意图；
[0058] 图2为本发明中仅有一层保局映射层网络的图像分类方法示意图；
[0059] 图3为本发明中基于保局映射与主成分分析的图像分类方法总体流程示意图；
[0060] 图4为本发明中训练滤波器与分类器的流程图；
[0061] 图5为4种子类型的AR数据集人脸示例图；
[0062] 图6为一幅人脸图像通过一层LPP网络和一层PCA网络后的效果图。
【具体实施方式】
[0063] 下面对本发明技术方案结合附图和实施例进行详细说明。
[0064] 本发明中基于保局映射与主成分分析的图像分类方法通过在两层或一层的网络 中训练图像卷积所用的滤波器来提取图像最终的特征向量，其中第一层使用保局映射降维 方法得到滤波器向量；第二层网络为可选层，也就是，可W构建具有两层的网络而第二层可 W继续选用保局映射降维方法构造滤波器，或者使用主成分分析法构造第二层的滤波器， 如图3所示，可W看出整体流程主要包含两个阶段；训练阶段和校验测试阶段。
[0065] (1)训练阶段：
[0066] 此阶段包含步骤1-4,具体如下：
[0067] 步骤1;输入N幅图像，每一幅图像的尺寸为mXn。首先进行图像的预处理，即使 用一个kiXk,的滑块对原图像重采样，之后去均值化得到初步的输入图像特征矩阵X。
[0068] 对于每一幅图像听，i= 1，2. . .，N，使用大小为kiXks的滑块遍历每一个像素，每 个像素所在的滑块区域重新排列成一个列向量，其中ki，k2均为奇数，该样每一幅图像都能 得到一个kik,行，
列的矩阵，其中bi，b,分别表示的是滑块每次 滑动的行间隔和列间隔，默认设置都为1。该个矩阵记为：
[0069]
[0070] 然后对该个矩阵的每个元素都减去其行均值，得到：
[0071]
[0073] 该样对所有的N幅图像都进行该样一种过程建立类似的矩阵，并将其放置在一起 得到所有输入图像特征矩阵：
[0074]
[0075] 步骤2;建立流形学习网络的的第一层，LPP层。根据输入特征矩阵X，求出协方差 矩阵，再根据保局映射的算法，对此协方差矩阵进行投影得到特征投影矩阵wip，从而构成 第一层LPP层的滤波器yi，将此滤波器与每一幅输入图像进行卷积得到第一层的输出图像。
[0076] 具体操作如下；
[0077] 首先求出所有输入图像特征矩阵的协方差矩阵C:
[0078]
[0079] 其次，根据保局映射的算法求出保局映射中的投影向量矩阵
[0080]
[008。 其中，Li表示第一层中的滤波器个数。
[0082] 再次将朽W中的第1个列向量重新排列成一个kiXk2的矩阵作为第一层第1个滤 波器。可W用如下式子表示为：
[0083]
[0084] 其中，屯（?）表示取第1个列向量。最后将原始输入的图像if与每一个滤波器进 行卷积注意卷积前要进行要对//零填充W保证卷积完后与输入图像的尺寸相同），得到第 一阶段的输出，即；
[0085]
[0086] 然后建立流形学习网络的第二层（可选），主成分分析层（PCA层）或LPP层。
[0087] (1)若第二层选用主成分分析，则把第一层训练输出的图像再次进行预处理，得到 新的输入图像特征矩阵Y，对Y计算出协方差矩阵，再进行主成分分析得到若干主特征向 量，构成第二层的滤波器V2,将该些滤波器与第一层的输出图像再次进行卷积得到第二层 的输出图像。
[0088] 其具体操作如下；
[0089] 对于第一层输出的每一幅图像//，再进行与权利要求2中所述的相同的预处理步 骤，得到第二层的初步的输入特征矩阵Y:
[0090] 令
表示第i幅原始输入图像经过 第1个第一层滤波器卷积后再进行滑块预处理后的输入特征矩阵。其中，5",,/.,表示在经过 第1个滤波器滤波后的第i幅图像中第j列去均值化后的列向量。于是，可W该样表示Y:
[0091]
[0092] 接下来，求出第二层输入特征矩阵的协方差矩阵C'，并对其进行主成分分析，求出 L2个主特征向量，将该些主特征向量再进行与权利要求3中所述（6)式的类似步骤，即重新 排列成L2个k1Xk2的小矩阵，于是得到第二层网络的滤波器V2。
[0093] 再将第一层中得到的输出图像//与进行卷积（注意卷积前要进行要对//零填 充W保证卷积完后与输入图像的尺寸相同），即：
[0094] 0; = /! =、，2，....L
[0095] 该里L2是第二层设置的滤波器个数。
[0096] (2)若第二层选用的是LPP层，则把第一层训练输出的图像再次进行预处理，得到 新的输入特征矩阵Y，再进行与步骤2同样的步骤，得到第二层的特征投影矩阵W立P，从而 构成第二层的滤波器V2,将该些滤波器与第一层的输出图像再次进行卷积得到第二层的输 出图像。
[0097] 步骤3;建立流形学习网络的输出层。也就是，将第二层中的所有输出图像二值 化，并对二值化后的图像分块并统计每一块上的直方图，将此直方图作为特征向量。其具体 操作如下：
[009引对于每一幅原始图像//"，经过两层网络后，都会产生出L山幅输出图像，每一幅 图像的尺寸都是mXn。特别地，对于第一层输出的图像//，第二层网络就会有L,幅输出图 像0/，1 = 1，2,…，L2,将图像坏进行二值化操作，即该像素点灰度值若大于零则重置为1， 否则重置为0。之后将该L,幅图像对应像素点的值加权求和，合并为一张图像，即；
[0099]
[0100] 其中H( ?)表示二值化函数，表示将输入矩阵的元素大于零的值重置为1，否则的 话置为0。该样对于每一幅原始图像li，就对应了Li幅输出图像，一共就有化1幅输出图像。
[0101] 接下来，将每一幅Tfi分成B块，每一块大小为化stBlockSize，块与块之间可W有 重叠，重叠率为OverlapRatio(0《OverlapRatio< 1)，分别统计该B块的直方图，并将其 连接成一个向量，记为Bhist化1)，则//"的最终的得到的训练分类用的特征向量可W表示 为：
[0102]
[0103] 步骤4;将步骤3中得到的最终的所有图像的特征向量输入支持向量机分类器进 行训练。具体为；将所有N幅训练图像的f特征连接成一个矩阵，即；[0104]
[0105] 将此特征向量矩阵加上原始图像类别标记共同输入到支持向量机分类器中进行 训练。
[010引如图4所示流程图，经过步骤1-4,得到关键的两个滤波器^1 ={巧，]'=1，2，...，马}和y2={Vi2, 1=1，2, . ..，LslW及一个分类器。
[0107] (2)校验测试阶段（包含w上步骤5-6):
[010引此阶段包含步骤5-6,具体操作如下：
[0109] 步骤5 ;对于一个较大的数据集，分割成S部分，一部分数据集为训练集，一部分 为校验集，另一部分为测试集，当采用训练集得到所构造的网络的滤波器后，再采用校验集 进行参数的调优，获得最佳网络参数。
[0110] :步骤6为；采用经过调优后的网络参数，输入测试集及其标签信息，统计出识别 率。
[0111] 考虑到本方法的第一层必须选用保局映射来构造滤波器，因此先在仅有一层LPP 的网络中进行参数的调优，首先是决定滑块尺寸化tchsize的尺寸，Patchsize的尺寸要求 为奇数，图像的大小也对最优化tchsize的尺寸有着影响，对于AR数据集，先固定其他参 数，我们分别测试了如下尺寸：
[0112] 5X5, 7X7, 9X9, 11X11, 13X13, 15X15, 17X17
[0113] 在得到最优的化tchsize后，我们就把整个网络的第一层的滑块固定为此尺 寸，接着我们仍对仅有LPP层的网络进行测试，调整分块统计直方图时的最佳分块大小 化tchsize，我们对相当于原始图像尺寸的1/2, 1/4, 1/8, 1/16,进行测试，并做了适当微 调。
[0114] 该样，经过W上两个阶段，能够进行图像分类识别的网络就已经构造完毕。两层 网络的识别过程如下：如图1所示，正方形方块表示一幅图像，若要进行任意一张图像片的 识别，则首先在LPP层中将//"与Vii，1 = 1，2,. . .，Li进行卷积操作，注意卷积前须对Ii图 像的四周进行零填充W保证卷积后的图像尺寸与原图保持一致；该样得到马，片，...，皆，进 入第二层，第二层的滤波器可W选用LPP滤波器或者PCA滤波器，经过Vi2, 1 = 1，2,. . .，L2 的卷积后，每一幅斬j= 1，2,. . .，Li都能得到L2幅输出图像，记为畔，k= 1，2,. . .，L2， 该样最原始的一幅I备过两层滤波后，变为L山幅图像；接着进入输出层，即将每L2幅图 像二值化为像素点的值只有〇和1的图像，加权求和（权值为20，21，...，2^)后成为1\1，1 = 1，2, ...，Li，此后需要对该Li幅图像进行分块，如图中虚线所示，实际情况中块与块之间可W有重叠，重叠率为OverlapRatio(0《OverlapRatio< 1)，最后在每一块中进行直方图统 计，得到直方图向量（如图中的小圆圈所示），需要将所有向量排成一个列向量，得到最终 的特征向量fi。在分类器训练阶段，只要将此向量输入支持向量机分类器即可输出预测的 图像类别。
[0115] 对于只有一层的图像分类网络的识别过程，如图2所示：
[0116] 相比于图1，第二层省略了，直接对第一层得到的/,.|，/,2，...，好进行加权求和（权值 为2°，21，...，24)，之后同样进行分块直方图统计的过程。
[0117] 实施例：下面WAR数据集为例来详细说明本发明的步骤。
[0118] 实验条件；现选取一台计算机进行图像分类，该计算机的配置有Intel(时处理器 (3. 2GHz)和20GB随机存取存储器（RAM)，64位操作系统，编程语言用的是Matl油巧2014b 版本）。
[0119] 实验对象；AR数据集是一个人脸数据集，包含了不同光照、表情W及遮挡条件下 的人脸图像，它一共含有126种人脸，包含男性70名，女性56名，共2600幅图像，每一幅图 像的尺寸为120X165,高165。现选取50名男性与50名女性，每人2幅图像用于训练，即 一共200幅图像用于训练，在表情、光照、戴眼镜，带围巾遮住脸该四种情况下每种情况都 选取600幅图像进行测试，并且在测试集中又选取300幅图像进行参数校验调优。
[0120] 本发明一共提出了 3种构造网络的方法，现仅W第一层设置为LPP层，第二层设置 为PCA层为例进行说明，其余两种类似。
[0121] 实验步骤：
[0122] 步骤1 ;提取所需的训练图像数据W及测试用图像数据矩阵，训练矩阵为 rra'-,?脚eIR2。"扁，标签为肝加塔'比/巨吸:朋、'，不同表情图像数据矩阵为邮ms,麵細E吸麵诵， 标签为&pm'.y!'(wgwrf e吸?，不同光照人脸图像的数据矩阵为///ww'H加'〇雌a e心〇">?"，标签为抓側加执W狎(/e吸，戴眼镜的人脸图像数据矩阵为佛W卸如6於'，标签为 彷似脚巧e化，带围巾的人脸数据图像矩阵为妃方eae化《-198?，标签为妃a喻K/e化2"心1。 然后将训练数据保存到一个165X120X200的一个元胞中，暂时化tchsize的尺寸设置为 7X7,用该小滑块遍历元胞内所有的图像，得到初步的特征矩阵式EJRWxism，再减去行均值 得到Se吸側8做。
[0123]步骤 2;
[0124] (a)求得X的协方差矩闻
[0125] 化）设置两层滤波器个数都是8,调用LPP降维算法，使用K順构造流形结构，K(也 就是周围点的个数）设置为12，t值设置为2，按照LPP算法，为了求解投影矩阵巧!W€吸49xs 对XLXTw=AXDXTW进行奇异值分解，该样将协方差矩阵C的维数降为了 8,同时也能得 到第一层LPP层的8个滤波器V/，1 = 1，2,. ..，8,滤波器的尺寸与滑块的尺寸化tchsize 一样，都是7X7。
[0126] (C)将原始输入图像严与该滤波器卷积，每一幅图像都可W得到8幅图像，该样 一共能得到1600幅图像，卷积后的结果//，i= 1，2,. . .，200, 1 = 1，2,. . .，8保存在一个 165X120X1600 的元胞中。
[0127](d)将上一步得到的输出图像每i= 1，2,. ..，200, 1 = 1，2,. ..，8作为第二层的 输入，同样的用相同大小的滑块遍历所有图像，得到去均值之后的特征矩阵巧￡?4^ 8126。
[012引 （e)求得f的协方差矩阵
[0129] (f)根据主成分分析，求出C'的前8个最大的特征值对应的特征向量作为第二层 的滤波器Vi2，l= 1，2，...，8,同样的，滤波器的大小为7X7。
[0130] (g)将步骤2中所得到的图像//，i= 1，2,. ..，200, 1 = 1，2, . . .，8与此滤波器卷 积，卷积后将会得到12800幅图像，0,' = /,M户/ = 1，2,…心=1，2，...，200 .
[0131]步骤 3;
[0132]将最终输出的图像0/ = = 1.2,…，8.Z= 1，2，...，2()()作二值化处理并且每8幅 图像加权求和，最后分块统计直方图向量，该里化stBlockSize暂时设置为巧6],重叠率设 置为0. 5,该样就能得到最终的特征向量Fe化swswxwa的稀疏表示。
[0133]步骤 4;
[0134] 将得到的训练数据的最终特征向量Fe吸jiM胃xwn W及7>油《各e吸代入支持 向量机分类器，得到支持向量机模型的参数。
[0135]步骤 5;
[0136] 根据经验，PCA层7X7的Patchsize和8X6的HistBlockSize比较合适。因此我 们该里仅校验一层LPP情况下的最优参数。将W上测试数据集例如如听aE化wuxigsw 降采样得到300个校验数据集，用于调整参数化tchsize与化stBlockSize。用于校验的数 据集只需要提取到最终的特征矩阵。正如图1所示的过程，只需要和两个滤波器层层卷积 得到最终的F向量即可。我们测试比较如下几对值：
[0137]Patchsize:5X5, 7X7, 9X9, 11X11, 13X13, 15X15, 17X17
[013引 HistBlockSize: 1/2, 1/4, 1/8, 1/16，W及适当的微调。
[0139] 在此例中，对于该个Expressionfea校验集，可W得到最优的化tchsize在LPP层 时是13X13,His巧lockSize取为原图像的1/8比较合适，也就是巧01引可W达到最优识 别率。全部的校验数据集的参数测试结果如表1和表2所示，可W对照此表选择网络的参 数进行测试集的测试。
[0140] 表1不同情况下小滑块（滤波器尺寸）的选择
[0141]
[0142] 表2不同情况下分块尺寸的选择
[0143]
[0144] 步骤 6;
[0145] 测试所有情况下的人脸的识别率，采用校验集验证得到的最优参数，每一小类测 试集都是600个样例。
[0146] 测试结果如下表3所示：
[0147] 表3AR数据集3种分类方法的测试结果 [014 引
[0149] 从表3的结果可W看到，提出的基于保局映射与主成分分析的图像分类方法在进 行人脸的识别时非常有效，对于不同情况下如不同表情的人脸，不同光照条件下的人脸W 及有遮挡的人脸的识别率都很高而且具有鲁椿性，因此也证明了本方法的有效性。
[0150] W上所述仅是本发明的优选实施方式，应当指出；对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可W做出若干改进和润饰，该些改进和润饰也应 视为本发明的保护范围。
【主权项】
1. 一种基于保局映射与主成分分析的图像分类方法，其特征在于：包括以下步骤 步骤1 :对N幅大小均为mXn像素的输入图像/f进行预处理，得到输入图像特征矩阵 X，其中 N、m、η 为正整数，i = 1，2. . .，N ; 步骤2 :建立一层或两层的流形学习网络，得到每一层网络中训练图像卷积所用的滤 波器，其中第一层的滤波器V1用保局映射降维方法构造，如果有第二层网络，第二层的滤波 器^可选用主成分分析法或者继续选用保局映射降维方法构造，将输入图像与第一层 的滤波器V1进行卷积，得到第一层输出图像/) =/f / = n.·，^，其中V11表示第一层 中的第1个滤波器，1^表示第一层的滤波器的个数；如果有第二层网络，再将第一层输出图 像/,1与第二层的滤波器^进行卷积，得到第二层输出图像O丨= …，Z2，其中 Vi2表示第二层中的第1个滤波器，1^2表示第二层的滤波器的个数；得到的最终输出图像为 最后一层网络的输出图像； 步骤3 :建立流形学习网络的输出层；即将步骤2得到的最终输出图像进行二值化操 作，并对二值化后的图像分块并统计每一块图像上的直方图，将此直方图作为特征向量4， i = I, 2. . . ,N ； 步骤4 :将步骤4中最终得到的所有的特征向量&输入支持向量机分类器进行训练； 步骤5 :用校验图像集进行校验，调整到最佳网络参数； 步骤6 :对测试图像进行测试，统计分类结果，计算识别率。2. 根据权利要求1所述的基于保局映射与主成分分析的图像分类方法，其特征在于， 步骤1中所述的预处理操作具体为： 对于每一幅输入图像使用大小为Ic1 Xk2像素的滑块遍历其每个像素，每个像素所在的 滑块区域重新排列成一个列向量，其中Ic1,1^2均为奇数，这样每一幅图像都能得到一个行数 ,IH 一Li 为kik2，列数为m' n'的重采样矩阵，其中代表大小为Ic1Xk2像素的滑块以行间 隔为h进行取样所能得到的行数，= 代表大小为Ic1Xk2像素的滑块以列间隔为b 2 进行取样所能得到的列数，bp b2分别表示的是滑块每次滑动的行间隔和列间隔，默认设置 都为1;此采样矩阵记为冬 然后对采样矩阵的每个元素都减去其行均值，得到去均值化重采样矩阵 ~ Pi,l 5 Xi,2 5' " > ^ K 1 -，其中 Xg = Xg ；~^ [ xi，k，/ = 1，2,…，讲"； m n k=l 将N幅输入图像所得到的去均值化采样矩阵放置在一起得到输入图像特征矩阵 X = [ H ? ] e 11 响 χ·ν,"v。3. 根据权利要求2所述的基于保局映射与主成分分析的图像分类方法，其特征在于， 步骤2所述的中使用保局映射降维方法得到第一层的滤波器V 1的操作具体为： 首先，求出输入图像特征矩阵X的协方差矩罔其次，根据保局映射的算法求出保局映射中协方差矩阵C的投影向量矩阵 ^1pp e ，1^表示第一层中滤波器的个数； 再次将中的第1个列向量重新排列成一个& X k2的矩阵作为第一层第1个滤波器 V11;第一层的滤波器穴。4. 根据权利要求3所述的基于保局映射与主成分分析的图像分类方法，其特征在于： 采用两层的流形学习网络，所述步骤2中第二层选用主成分分析法构造第二层滤波器V 2，其 具体操作为： 首先，对于每一幅第一层输出图像//，再进行步骤1所述的相同的预处理步骤， 得到第二层输入特征矩阵;T = 其中Iw =[1?，€，...，5]'而 P =l3Wy,.,W,UeMiAxMV，/ = l，2，···，L1表示第i幅输入图像经过第1个第一层滤 波器卷积后再进行滑块预处理后的输入特征矩阵；?υ ,表示在经过第1个滤波器滤波后的 第i幅输入图像中第j列去均值化后的列向量； 然后，求出第二层输入特征矩阵Y的协方差矩阵C'，并对其进行主成分分析，求出1^2个 主特征向量，将这些主特征向量分别重新排列成1^2个k 小矩阵，得到第二层的滤波 器v2。5. 根据权利要求3所述的基于保局映射与主成分分析的图像分类方法，其特征在于： 采用两层的流形学习网络，所述步骤2中第二层继续选用保局映射降维法构造第二层滤波 器，则以第一层的输出图像< 作为第二层的输入图像重复步骤1与步骤2中的具体操作，得 到第二层的滤波器V2。6. 根据权利要求4或5所述的基于保局映射与主成分分析的图像分类方法，其特征在 于，步骤3中所述的二值化具体操作为：对于每一幅输入图像// H，经过两层网络后，都会产 生出L1L2幅最终输出图像，每一幅最终输出图像的尺寸都是mXη ;特别地，对于第一层输出 的图像<，第二层网络就会有L2幅输出图像0/,/ = 1，2,…乂:，将图像O丨进行二值化操作，即 该像素点灰度值若大于零则重置为1，否则重置为〇 ;之后将这L2幅图像对应像素点的值加 权求和，合并为一张图像，I其中函数H( ·)表示二值化函 数，表示将输入矩阵的元素大于零的值重置为1，否则的话置为〇 ;这样对于每一幅输入图 像Ii，就对应了 L1幅输出图像，一共就有NL i幅输出图像。7. 根据权利要求6所述的基于保局映射与主成分分析的图像分类方法，其特征 在于，步骤3中所述的得到特征向量&具体操作为：将每一幅T i1分成B块，B为正整 数，每一块大小为HistBlockSize，块与块之间可以有重叠，重叠率为OverlapRatio， OverlapRatio的值大于等于0小于1，分别统计这B块的直方图，并将其连接成一个向 量，记为WhZ(Ty)，则由输入图像/产的最终的得到的训练分类用的特征向量可以表示为 f] = [Bhist{T'): BhistiTi2):...: BhistiT,1 )] e R2，： Ui, i = …，N。8. 根据权利要求1或7所述的基于保局映射与主成分分析的图像分类方法，其特征在 于，所述步骤4具体操作为：将所有N幅训练图像的特征向量&连接成一个特征向量矩阵， 记为/2,...,厶]€股2%5#;将此特征向量矩阵加上原始图像类别标记共同输入到 支持向量机分类器中进行训练。9. 根据权利要求1所述的基于保局映射与主成分分析的图像分类方法，其特征在于： 所述步骤5中调整到最佳网络参数的方法为：对于一个较大的数据集，分割成三部分，一部 分数据集为训练集，一部分为校验集，另一部分为测试集，当采用训练集得到所构造的网络 的滤波器后，再采用校验集进行参数的调优，获得最佳网络参数。10. 根据权利要求1所述的基于保局映射与主成分分析的图像分类方法，其特征在于， 步骤6具体操作为：采用经过调优后的网络参数，输入测试集及其标签信息，统计出识别 率。
【专利摘要】本发明公开了一种基于保局映射与主成分分析的图像分类方法，包括以下步骤：1、输入训练对象；2、建立一层或两层的流形学习网络，对于每一种具体的网络，学习得到每一层的滤波器；3、建立流形学习网络的输出层得到最终特征向量；4、将步骤3中最终得到的所有的特征向量输入支持向量机分类器进行训练；5、用校验图像集进行校验，调整到最佳网络参数；6、对测试图像进行测试，统计分类结果，计算识别率。本发明通过构造三种结构相似但不同网络层的网络，应用一种流形方法即保局映射获得图像更加本质的局部结构，使得在各种分类任务中，构造的网络更加具有分辨力，获得更高的图像的分类准确率。
【IPC分类】G06K9/62
【公开号】CN104881682
【申请号】CN201510274498
【发明人】达臻, 伍家松, 姜龙玉, 孔佑勇, 杨淳沨, 舒华忠
【申请人】东南大学
【公开日】2015年9月2日
【申请日】2015年5月26日