一种基于数据集合并的特征级融合方法
一种基于数据集合并的特征级融合方法
【技术领域】
[0001] 本发明属于模式识别和数据融合领域，尤其涉及基于双模态的生物特征融合与识 别的，一种基于数据集合并的特征级融合方法。
【背景技术】
[0002] 在生物特征识别系统中，采用单一数据进行处理时，性能并不稳定，并且错误率 高，此时常用的解决方法是数据融合技术。目前在数据融合技术中，特征级融合是研宄的热 点。特征级融合首先对预处理后的原始数据进行特征提取，再将提取到的特征进行融合，得 到相对稳定的特征从而完成所需的识别目的。例如，上海交通大学的发明专利一一基于目 标检测的红外与可见光序列图像特征级融合方法，专利公开号CN1932882A，对红外与可见 光两种图像提取的小波系数进行加权平均得到融合特征。
[0003] 常规的特征级融合存在诸多不足，主要表现在两个方面：一方面在特征提取过程 中，大多数方法只能对两个数据集合分别进行处理，最终得到的两组特征矢量是完全独立 的，仍然是两种不同的特征，将这样的特征进行融合仅仅是增加了特征所包含的信息量，从 理论上并不能保证所得特征具有更好的分类效果；另一方面常规的特征级融合方法在应用 时都必须要求测试数据包含两个集合的数据，然而在实际应用中，这一点并不一定能够满 足，例如有时测试数据只有一种，或者虽然有两种，但其中一种数据由于信息采集错误等原 因无法正常使用，因此限制了特征级融合的应用范围。
【发明内容】
[0004] 本发明的目的是针对常规特征级融合方法在实际应用中的不足，提出一种能够扩 大应用范围、识别率高的，基于数据集合并的特征级融合方法。
[0005] 本发明是通过以下技术方案实现的：
[0006] 一种基于数据集合并的特征级融合方法，包括训练过程和识别过程，利用两个视 频传感器采集数据，
[0007] 所述的训练过程包括以下几个步骤：
[0008] al两个视频传感器采集的原始数据分别为数据集
，采用耦合 映射方法将数据集;rc= 和rcRDy投影到一个公共的耦合空间，求得数据集x的耦合特 征厶和数据集y的耦合特征zy;
[0009]a2将上一步得到的所有耦合特征合并成一个数据集Z= [Zx，Zy]，该数据集容量为 数据集X和数据集Y的样本数之和；
[0010] a3对数据集Z进行二次特征提取，得到一个融合的特征集Z' =<z:
[0011]a4对步骤a3中得到的特征集Z'进行特征级融合，得到最终特征集合Z";
[0012] 所述的识别过程包括以下几个步骤：
[0013] bl对任意测试对象进行变换得到最终特征，
[0014] 当测试对象只有单一集合的数据时，通过二次特征提取，得到的当前测试对象的 融合的特征Z/为最终特征；
[0015] 当测试对象为两个集合的数据时，先分别对两个集合的数据进行二次特征提取， 然后进行特征级融合，得到最终特征A";
[0016] 所述的二次特征提取的方法与步骤a3中的一致，所述的特征级融合与步骤a3中 的一致；b2将得到的最终特征V与训练过程得到的融合的特征集Z'里的特征进行匹 配，采用最近邻分类器得到识别结果；
[0017] 将得到的最终特征4"与训练过程得到的融合的特征集Z"里的特征进行匹配， 采用最近邻分类器得到识别结果。
[0018] 本发明一种基于数据集合并的特征级融合方法还可以包括：
[0019] 1、求得数据集X的耦合特征厶和数据集Y的耦合特征Zy的方法为：
[0020] cl、两个数据集
，分别来自两个视频传感器，样本数分别为义和 Ny，利用非线性映射
，将原始数据映射到 高维的Hilbert空间F中，并定义两个核函数
则耦合映射的目标函数为：
[0022] 其中，Tr( ?)表示求矩阵的迹，A#Ay为耦合变换矩阵对，1*和^为中心化后的 核矩阵，C为集合X和Y之间的相关关系矩阵，矩阵&和Gy都是对角阵，其对角线元素分别 为矩阵C的对应行的累加和，对应列的累加和，
[0023] 求得数据集X的变换矩阵Ax，其大小为NxXD。，数据集Y的变换矩阵Ay，其大小为 NyXDc;
[0024] c2、利用变换矩阵A，Ay，求得数据集X的耦合特征ZT=<￡T，其大小为DeXNx，数 据集Y的耦合特征；，其大小为Dc;XNy。
[0025] 2、二次特征提取方法包括主成分分析PCA和线性判别分析LDA。
[0026] 3、特征级融合方法包含特征串联、特征并联和特征加权平均。
[0027] 有益效果
[0028] 本发明提供一种基于数据集合并的特征级融合方法，该方法中的数据集从两个传 感器中分别获取（如从两个视频传感器中获取的不同视角的行人视频数据），本发明可广 泛应用于模式识别领域，以得到稳定的特征进行分类识别。
[0029] 采用耦合映射同时处理两个数据集合，所得到的特征具有较强的相关性，将两个 集合的特征很好地统一到一起，对这样的特征进行融合，从理论上讲更为合理。
[0030] 在识别时，测试数据既可以包含两个集合的数据，也可以只有单一集合的数据， 即：可对任意测试对象进行处理，从而大大扩展了特征级融合的应用范围。
[0031]在处理多视角的步态识别时，传统方法（传统处理单集合的PCA、KPCA方法以及常 规特征级融合方法）与本专利所提方法的识别率比较如图4所示，从图中可以看出本发明 所提方法的识别性能优于传统方法，尤其是在步态特征较差的视角下，识别率有了较大提 升，其中采用LDA进行二次特征提取取得了最为优越的效果。由此可见，相对于传统方法， 本发明所提方法在识别性能方面具有较好的优越性。
[0032] 基于数据集合并的特征级融合方法的测试数据既可以包含两个集合的数据，也可 以只有单一集合的数据，即：可对任意形式的测试对象进行变换得到最终特征，并采用这一 特征与训练特征集合里的特征进行匹配，得到识别结果。
【附图说明】
[0033] 图1基于数据集合并的特征级融合方法流程图；
[0034] 图2耦合映射示意图；
[0035] 图3同一行人不同视角下的步态能量图；
[0036] 图4在处理多视角的步态识别时传统方法与本专利所提方法的识别率（％ )比较 图，图4(a)为视角分别为0°和18°的识别率比较图；图4(b)视角分别为36°和54°的 识别率比较图；图4(c)视角分别为72°和90°的识别率比较图；
[0037] 图5为0°和18°两种步态视角时，二次特征提取与直接匹配的性能比较图，图 5(a)为识别率的比较图；图5(b)为识别时间的比较图。
【具体实施方式】
[0038] 下面将结合附图对本发明做进一步详细说明。
[0039] 本发明包括训练过程和识别过程如下：
[0040] 训练过程S1为：采用耦合映射方法将训练集中不同的数据集投影到一个公共的 耦合空间，基于耦合映射方法的特性将耦合空间里的所有数据合并为同一个数据集，其数 据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到一个最终所需的特征 集合，而后加入常规特征级融合方法得到另一个更具分类判别能力的特征集合，从而提高 模式识别系统的识别率。
[0041] 识别过程S2为：对任意形式的测试对象进行变换得到最终特征，并采用这一特征 与训练特征集合里的特征进行匹配，得到识别结果。
[0042] 本发明基于数据集合并的特征级融合方法，如图1所示，本发明中的数据集从两 个传感器中分别获取（如从两个视频传感器中获取的不同视角的行人视频数据），本发明 具体包括训练过程和测试过程，具体描述如下：
[0043] 训练过程：
[0044] 步骤S11，采用耦合映射方法将训练集中不同的数据集投影到一个公共的耦合空 间，从而得到原始数据所对应的耦合特征。
[0045] 耦合映射是一种为直接处理来自不同集合间的元素之间的距离测度问题所提出 的方法。其核心思想是在使不同集合间具有关联性的元素投影后尽可能接近的约束下，将 来自两个不同集合的数据投影到同一个耦合空间，而后在这个公共的耦合空间中引入传统 的度量学习。图2为耦合映射示意图，其中左图为原始数据分布，右图为耦合空间数据分 布，实心与空心表示不同集合，相同形状的数据具有相关关系，不同形状的数据不具有相关 关系。
[0046] 由此可见，这种方法能够很好地将两个集合统一到一起，这里采用核耦合映射，其 算法步骤为：
[0047] 对于两个集合；TcrRD、和，样本数分别为NjPNy，利用非线性映射
，将原始数据映射到高维的Hilbert空间 F中，并定义两个核函数
则根据耦合映射的定 义，核耦合映射的目标函数为：
[0049] 其中，S为集合X和Y之间的相关关系集合，WaS传统度量学习的变换矩阵。
[0050] 令
，则经过 等价操作上式可变换为：
[0052] 其中，Tr( ?)表示求矩阵的迹，C为集合X和Y之间的相关关系矩阵，矩阵&和Gy 都是对角阵，其对角线元素分别为矩阵C的对应行的累加和，对应列的累加和。进一步变换 得到：
[0054] 由核空间理论可知，Wa可由集合①X(x)或①y(y)张成，因此令Wa=①x(x)Ax，Wa =①y(y)Ay，则：
[0056] 由于在高维的特征空间F中很难进行常规的运算，需要利用核函数隐含地描述非 线性变换。定义两个核函数
，这里采用高斯核函 数，即：
。原始数据映射到高维空间后首先需要进行中心化处理， 而这一过程可以通过对核矩阵Kx和Ky的中心化来完成。
[0058] 其中，n为核矩阵K的维数，lm为元素全为1大小为nXn的矩阵。利用上式对Kx 和Ky中心化，得到史和"则核耦合映射的目标函数最终可变换为：
[0061] 所述的耦合变换矩阵对AjPAy，可以通过求解广义特征值问题：Ea=AFa来求 解，其中E=KQKT，F=KKT，a为对应于特征值A的变换向量。A为对应D。个最小特征值的 特征向 量组成的变换矩阵，D。为耦合特征空间的维数。按照A的定义，能够得到对应于数据 集合X的变换矩阵Ax，其大小为NxXD。，对应于数据集合Y的变换矩阵Ay，其大小为NyXD。。
[0062] 步骤S12,将步骤S11提取的所有耦合特征合并成一个数据集，其数据容量为原始 两个集合的样本数之和。
[0063] 数据集X和Y经过\和Ay进行非线性耦合变换得到耦合空间里的特征矩阵为
其大小分别为IXNJPDeXNy。将整个耦合空间里的数据合并为一 个集合，则该集合拥有Nx+Ny个D。维的特征向量，组成矩阵Z=[Zx，Zy]。由于耦合变换是在 监督信息的指导下进行，因此得到的特征集合具有较好的可分性。
[0064] 步骤S13,对步骤S12得到的数据集采用常规方法进行二次特征提取，最终得到一 个融合的特征集合。这里的常规方法可以选择主成分分析（PCA)、线性判别分析（LDA)或者 其他方法。令变换矩阵为Pd，其大小为D。Xd(d<D。)，则经过Z' = 提取到的最终特征集 合为Nx+Ny个d维的特征向量。最终所得到的特征将原始两个集合的特征统一到一起，因此 实质上进行了隐含的特征级融合。
[0065] 步骤S14,采用常规特征级融合方法对步骤S13得到的特征集合里的特征进行融 合，得到另一个最终所需的特征集合。这里的常规特征级融合方法包含特征串联、特征并 联、特征加权平均等。将Z'中具有对应关系的特征进行融合得到最终特征集合Z"。
[0066] 对于特征空间WJPW2中的两个特征WlGWjPw2GW2，特征串联的表达式为 w二Of，特征并联的表达式为W=Wi+iw2 (i为虚数单位），特征加权平均的表达式为 w=aWi+Q-cOwJaG[0，1])〇
[0067] 识别过程：
[0068] 步骤S21，对任意测试对象进行变换得到最终特征。
[0069] 假设测试样本只存在对应于数据集X的测试数据Xi，则可以通过变换
得到一个维数为d的特征向量，显然该特征可直接与集合Z'中的特征进行匹配，获得分类 结果。而当测试样本包含两个集合的数据Xi、yjt，采用步骤S14中的常规特征级融合方法 对\和71进行融合，得到融合特征z/，显然该特征可直接与集合Z"中的特征进行匹配， 获得分类结果。
[0070] 步骤S22,采用步骤S21得到的最终特征与训练特征集合里的特征进行匹配，采用 最近邻分类器得到识别结果。该方法采用特征空间中与测试样本最邻近（距离最小）的注 册样本所属的类别作为测试样本的归类，也就是说每个测试样本与离它最近的注册样本归 为了一类。
[0071] 应用本发明提出的特征级融合方法在中科院自动化所提供的CASIA(B)步态数据 库上进行试验。CASIA(B)步态数据库包含124个人在0°、18°、36°…180° 11个视角 下行走的视频序列，其中每个人包含6个正常行走视频序列，2个背包视频序列，2个穿外套 视频序列。这里采用正常行走状态下不同视角的步态图像来测试所提特征级融合方法的性 能，对视频序列提取步态能量图特征，得到不同视角下的步态能量图，如图3。
[0072] 本实验选取CASIA(B)步态数据库中的0°和18。、36°和54。、72°和90。三组 视角进行融合。训练集和注册集选取每个视角的前三组图像，测试集则为后三组图像，采用 最近邻分类器分类识别。实验中PCA和KPCA(KernelPCA)仅对单一视角下的数据集合分别 进行训练，在测试视角只有一种时采用单一视角进行识别，而在测试视角有两种时，对PCA 和KPCA所得特征采用常规特征级融合方法进行融合。耦合映射对两种视角的训练数据集 合进行训练，识别时分别采用三种测试数据集合，以0°和18°为例测试视角分别为0°、 18°、0° +18°视角。实验中高斯核函数的参数c= 0.02,二次特征提取方法分别选取PCA 和LDA算法，常规特征级融合方法采用加权平均的方法，发明专利CN1932882A中所提方法， 其中的权值为a= 0.5。
[0073] 在处理多视角的步态识别时，传统方法，传统处理单集合的PCA、KPCA方法以及常 规特征级融合方法，与本专利所提方法的识别率比较如图4所示，从图中可以看出本发明 所提方法的识别性能优于传统方法，尤其是在步态特征较差的视角下，识别率有了较大提 升，其中采用LDA进行二次特征提取取得了最为优越的效果。由此可见，相对于传统方法， 本发明所提方法在识别性能方面具有较好的优越性。由于本发明所提方法需要进行二次特 征提取，从理论上讲其识别速度会受到影响，因此这里对进行二次特征提取与直接匹配的 性能做了对比，如图5所示，该数据是在CPU2. 93GHz，2GB内存，MATLAB7. 1环境下得到的， 从图中可以看出经过二次特征提取后，识别性能有了一定提升，而所需的识别时间并未大 幅增加。这是由于一方面二次特征提取的处理对象是低维特征向量，所需时间较少；另一方 面经过二次特征提取得到的特征维数也会低于原特征，从而降低特征匹配所需时间。因此， 本发明所提方法能够满足实时性需求。
[0074] 本发明提出一种新颖的特征级融合方法。与传统方法相比，由于本发明所提方法 采用耦合映射方法将两个集合的特征进行了统一，从理论上得到了更适合融合的特征；同 时在应用时，本发明所提方法既可以对两个集合的数据进行测试，也可以只对单一集合的 数据进行测试，因此比常规特征级融合方法有更加广泛的应用空间。
[0075] 本发明从两个传感器分别获取数据集，在训练时，采用耦合映射方法将不同的数 据集投影到一个公共的耦合空间，基于耦合映射方法的特性将耦合空间里的所有数据合并 为同一个数据集，其数据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到 一个最终所需的特征集合，而后加入常规特征级融合方法得到另一个最终所需的特征集 合。而在识别时，与常规特征级融合方法要求测试数据必须包含两个集合的数据不同，基于 数据集合并的特征级融合方法的测试数据既可以包含两个集合的数据，也可以只有单一集 合的数据，即：可对任意形式的测试对象进行变换得到最终特征，并采用这一特征与训练特 征集合（单一数据采用前一种特征集合，两种数据采用后一种特征集合）里的特征进行匹 配，得到识别结果。该方法可广泛应用于模式识别领域，以得到稳定的特征进行分类识别。 本发明提出的特征级融合方法可以广泛应用于模式识别领域，尤其是基于双模态的生物特 征融合与识别。
【主权项】
1. 一种基于数据集合并的特征级融合方法，其特征在于：包括训练过程和识别过程， 利用两个视频传感器采集数据， 所述的训练过程包括以下几个步骤： al两个视频传感器采集的原始数据分别为数据集XczRA和FczlDy，采用耦合映射 方法将数据集JT e RA和Γ <ζ Rb:投影到一个公共的耦合空间，求得数据集X的耦合特征Zx和数据集Y的耦合特征Zy; a2将上一步得到的所有耦合特征合并成一个数据集Z = [Zx，Zy]，该数据集容量为数据 集X和数据集Y的样本数之和； a3对数据集Z进行二次特征提取，得到一个融合的特征集Z'= <Ζ ; a4对步骤a3中得到的特征集Z'进行特征级融合，得到最终特征集合Ζ"; 所述的识别过程包括以下几个步骤： bl对任意测试对象进行变换得到最终特征， 当测试对象只有单一集合的数据时，通过二次特征提取，得到的当前测试对象的融合 的特征Z' ^为最终特征； 当测试对象为两个集合的数据时，先分别对两个集合的数据进行二次特征提取，然后 进行特征级融合，得到最终特征Z" ^ 所述的二次特征提取的方法与步骤a3中的一致，所述的特征级融合与步骤a3中的一 致；b2将得到的最终特征Z' ^与训练过程得到的融合的特征集Z'里的特征进行匹配，采 用最近邻分类器得到识别结果； 将得到的最终特征Z" ^与训练过程得到的融合的特征集Z"里的特征进行匹配，采用 最近邻分类器得到识别结果。2. 根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述 求得数据集X的耦合特征4和数据集Y的耦合特征Z 7的方法为： c 1、两个数据集JT C= RD\和;T RD>，分别来自两个视频传感器，样本数分别为队和N y， 利用非线性映射也：R' - -AOO ,将原始数据映射到高维 的Hilbert空间F中，并定义两个核函数/C/ =(武(.γ,)·从\))，=(也(乃）·也(_>',))，则耦 合映射的目标函数为：其中，Tr( ·)表示求矩阵的迹，AdPAy为耦合变换矩阵对，左T和皮ν为中心化后的核 矩阵，C为集合X和Y之间的相关关系矩阵，矩阵&和G y都是对角阵，其对角线元素分别为 矩阵C的对应行的累加和，对应列的累加和， 求得数据集X的变换矩阵Ax，其大小为NxXD。，数据集Y的变换矩阵Ay，其大小为 NyXDc; c2、利用变换矩阵\和A y，求得数据集X的耦合特征Zt ，其大小为DeXNx，数据 集Y的耦合特征v，其大小为DeXNy。3. 根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述 的二次特征提取方法包括主成分分析PCA和线性判别分析LDA。4. 根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述 的特征级融合方法包含特征串联、特征并联和特征加权平均。
【专利摘要】本发明公开了一种基于数据集合并的特征级融合方法。包括训练过程和识别过程，从两个传感器分别获取数据集，基于耦合映射方法的特性将耦合空间里的所有数据合并为同一个数据集，其数据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到一个最终所需的特征集合，而后加入常规特征级融合方法得到另一个更具分类判别能力的特征集合，从而提高模式识别系统的识别率。对任意形式的测试对象进行变换得到最终特征，并采用这一特征与训练特征集合里的特征进行匹配，得到识别结果。本发明能够扩大特征级融合的应用范围，提高识别率。
【IPC分类】G06K9/62
【公开号】CN104899604
【申请号】CN201510306292
【发明人】邢向磊, 阎涛, 王科俊, 吕卓纹
【申请人】哈尔滨工程大学
【公开日】2015年9月9日
【申请日】2015年6月8日
【技术领域】
[0001] 本发明属于模式识别和数据融合领域，尤其涉及基于双模态的生物特征融合与识 别的，一种基于数据集合并的特征级融合方法。
【背景技术】
[0002] 在生物特征识别系统中，采用单一数据进行处理时，性能并不稳定，并且错误率 高，此时常用的解决方法是数据融合技术。目前在数据融合技术中，特征级融合是研宄的热 点。特征级融合首先对预处理后的原始数据进行特征提取，再将提取到的特征进行融合，得 到相对稳定的特征从而完成所需的识别目的。例如，上海交通大学的发明专利一一基于目 标检测的红外与可见光序列图像特征级融合方法，专利公开号CN1932882A，对红外与可见 光两种图像提取的小波系数进行加权平均得到融合特征。
[0003] 常规的特征级融合存在诸多不足，主要表现在两个方面：一方面在特征提取过程 中，大多数方法只能对两个数据集合分别进行处理，最终得到的两组特征矢量是完全独立 的，仍然是两种不同的特征，将这样的特征进行融合仅仅是增加了特征所包含的信息量，从 理论上并不能保证所得特征具有更好的分类效果；另一方面常规的特征级融合方法在应用 时都必须要求测试数据包含两个集合的数据，然而在实际应用中，这一点并不一定能够满 足，例如有时测试数据只有一种，或者虽然有两种，但其中一种数据由于信息采集错误等原 因无法正常使用，因此限制了特征级融合的应用范围。
【发明内容】
[0004] 本发明的目的是针对常规特征级融合方法在实际应用中的不足，提出一种能够扩 大应用范围、识别率高的，基于数据集合并的特征级融合方法。
[0005] 本发明是通过以下技术方案实现的：
[0006] 一种基于数据集合并的特征级融合方法，包括训练过程和识别过程，利用两个视 频传感器采集数据，
[0007] 所述的训练过程包括以下几个步骤：
[0008] al两个视频传感器采集的原始数据分别为数据集
，采用耦合 映射方法将数据集;rc= 和rcRDy投影到一个公共的耦合空间，求得数据集x的耦合特 征厶和数据集y的耦合特征zy;
[0009]a2将上一步得到的所有耦合特征合并成一个数据集Z= [Zx，Zy]，该数据集容量为 数据集X和数据集Y的样本数之和；
[0010] a3对数据集Z进行二次特征提取，得到一个融合的特征集Z' =<z:
[0011]a4对步骤a3中得到的特征集Z'进行特征级融合，得到最终特征集合Z";
[0012] 所述的识别过程包括以下几个步骤：
[0013] bl对任意测试对象进行变换得到最终特征，
[0014] 当测试对象只有单一集合的数据时，通过二次特征提取，得到的当前测试对象的 融合的特征Z/为最终特征；
[0015] 当测试对象为两个集合的数据时，先分别对两个集合的数据进行二次特征提取， 然后进行特征级融合，得到最终特征A";
[0016] 所述的二次特征提取的方法与步骤a3中的一致，所述的特征级融合与步骤a3中 的一致；b2将得到的最终特征V与训练过程得到的融合的特征集Z'里的特征进行匹 配，采用最近邻分类器得到识别结果；
[0017] 将得到的最终特征4"与训练过程得到的融合的特征集Z"里的特征进行匹配， 采用最近邻分类器得到识别结果。
[0018] 本发明一种基于数据集合并的特征级融合方法还可以包括：
[0019] 1、求得数据集X的耦合特征厶和数据集Y的耦合特征Zy的方法为：
[0020] cl、两个数据集
，分别来自两个视频传感器，样本数分别为义和 Ny，利用非线性映射
，将原始数据映射到 高维的Hilbert空间F中，并定义两个核函数
则耦合映射的目标函数为：
[0022] 其中，Tr( ?)表示求矩阵的迹，A#Ay为耦合变换矩阵对，1*和^为中心化后的 核矩阵，C为集合X和Y之间的相关关系矩阵，矩阵&和Gy都是对角阵，其对角线元素分别 为矩阵C的对应行的累加和，对应列的累加和，
[0023] 求得数据集X的变换矩阵Ax，其大小为NxXD。，数据集Y的变换矩阵Ay，其大小为 NyXDc;
[0024] c2、利用变换矩阵A，Ay，求得数据集X的耦合特征ZT=<￡T，其大小为DeXNx，数 据集Y的耦合特征；，其大小为Dc;XNy。
[0025] 2、二次特征提取方法包括主成分分析PCA和线性判别分析LDA。
[0026] 3、特征级融合方法包含特征串联、特征并联和特征加权平均。
[0027] 有益效果
[0028] 本发明提供一种基于数据集合并的特征级融合方法，该方法中的数据集从两个传 感器中分别获取（如从两个视频传感器中获取的不同视角的行人视频数据），本发明可广 泛应用于模式识别领域，以得到稳定的特征进行分类识别。
[0029] 采用耦合映射同时处理两个数据集合，所得到的特征具有较强的相关性，将两个 集合的特征很好地统一到一起，对这样的特征进行融合，从理论上讲更为合理。
[0030] 在识别时，测试数据既可以包含两个集合的数据，也可以只有单一集合的数据， 即：可对任意测试对象进行处理，从而大大扩展了特征级融合的应用范围。
[0031]在处理多视角的步态识别时，传统方法（传统处理单集合的PCA、KPCA方法以及常 规特征级融合方法）与本专利所提方法的识别率比较如图4所示，从图中可以看出本发明 所提方法的识别性能优于传统方法，尤其是在步态特征较差的视角下，识别率有了较大提 升，其中采用LDA进行二次特征提取取得了最为优越的效果。由此可见，相对于传统方法， 本发明所提方法在识别性能方面具有较好的优越性。
[0032] 基于数据集合并的特征级融合方法的测试数据既可以包含两个集合的数据，也可 以只有单一集合的数据，即：可对任意形式的测试对象进行变换得到最终特征，并采用这一 特征与训练特征集合里的特征进行匹配，得到识别结果。
【附图说明】
[0033] 图1基于数据集合并的特征级融合方法流程图；
[0034] 图2耦合映射示意图；
[0035] 图3同一行人不同视角下的步态能量图；
[0036] 图4在处理多视角的步态识别时传统方法与本专利所提方法的识别率（％ )比较 图，图4(a)为视角分别为0°和18°的识别率比较图；图4(b)视角分别为36°和54°的 识别率比较图；图4(c)视角分别为72°和90°的识别率比较图；
[0037] 图5为0°和18°两种步态视角时，二次特征提取与直接匹配的性能比较图，图 5(a)为识别率的比较图；图5(b)为识别时间的比较图。
【具体实施方式】
[0038] 下面将结合附图对本发明做进一步详细说明。
[0039] 本发明包括训练过程和识别过程如下：
[0040] 训练过程S1为：采用耦合映射方法将训练集中不同的数据集投影到一个公共的 耦合空间，基于耦合映射方法的特性将耦合空间里的所有数据合并为同一个数据集，其数 据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到一个最终所需的特征 集合，而后加入常规特征级融合方法得到另一个更具分类判别能力的特征集合，从而提高 模式识别系统的识别率。
[0041] 识别过程S2为：对任意形式的测试对象进行变换得到最终特征，并采用这一特征 与训练特征集合里的特征进行匹配，得到识别结果。
[0042] 本发明基于数据集合并的特征级融合方法，如图1所示，本发明中的数据集从两 个传感器中分别获取（如从两个视频传感器中获取的不同视角的行人视频数据），本发明 具体包括训练过程和测试过程，具体描述如下：
[0043] 训练过程：
[0044] 步骤S11，采用耦合映射方法将训练集中不同的数据集投影到一个公共的耦合空 间，从而得到原始数据所对应的耦合特征。
[0045] 耦合映射是一种为直接处理来自不同集合间的元素之间的距离测度问题所提出 的方法。其核心思想是在使不同集合间具有关联性的元素投影后尽可能接近的约束下，将 来自两个不同集合的数据投影到同一个耦合空间，而后在这个公共的耦合空间中引入传统 的度量学习。图2为耦合映射示意图，其中左图为原始数据分布，右图为耦合空间数据分 布，实心与空心表示不同集合，相同形状的数据具有相关关系，不同形状的数据不具有相关 关系。
[0046] 由此可见，这种方法能够很好地将两个集合统一到一起，这里采用核耦合映射，其 算法步骤为：
[0047] 对于两个集合；TcrRD、和，样本数分别为NjPNy，利用非线性映射
，将原始数据映射到高维的Hilbert空间 F中，并定义两个核函数
则根据耦合映射的定 义，核耦合映射的目标函数为：
[0049] 其中，S为集合X和Y之间的相关关系集合，WaS传统度量学习的变换矩阵。
[0050] 令
，则经过 等价操作上式可变换为：
[0052] 其中，Tr( ?)表示求矩阵的迹，C为集合X和Y之间的相关关系矩阵，矩阵&和Gy 都是对角阵，其对角线元素分别为矩阵C的对应行的累加和，对应列的累加和。进一步变换 得到：
[0054] 由核空间理论可知，Wa可由集合①X(x)或①y(y)张成，因此令Wa=①x(x)Ax，Wa =①y(y)Ay，则：
[0056] 由于在高维的特征空间F中很难进行常规的运算，需要利用核函数隐含地描述非 线性变换。定义两个核函数
，这里采用高斯核函 数，即：
。原始数据映射到高维空间后首先需要进行中心化处理， 而这一过程可以通过对核矩阵Kx和Ky的中心化来完成。
[0058] 其中，n为核矩阵K的维数，lm为元素全为1大小为nXn的矩阵。利用上式对Kx 和Ky中心化，得到史和"则核耦合映射的目标函数最终可变换为：
[0061] 所述的耦合变换矩阵对AjPAy，可以通过求解广义特征值问题：Ea=AFa来求 解，其中E=KQKT，F=KKT，a为对应于特征值A的变换向量。A为对应D。个最小特征值的 特征向 量组成的变换矩阵，D。为耦合特征空间的维数。按照A的定义，能够得到对应于数据 集合X的变换矩阵Ax，其大小为NxXD。，对应于数据集合Y的变换矩阵Ay，其大小为NyXD。。
[0062] 步骤S12,将步骤S11提取的所有耦合特征合并成一个数据集，其数据容量为原始 两个集合的样本数之和。
[0063] 数据集X和Y经过\和Ay进行非线性耦合变换得到耦合空间里的特征矩阵为
其大小分别为IXNJPDeXNy。将整个耦合空间里的数据合并为一 个集合，则该集合拥有Nx+Ny个D。维的特征向量，组成矩阵Z=[Zx，Zy]。由于耦合变换是在 监督信息的指导下进行，因此得到的特征集合具有较好的可分性。
[0064] 步骤S13,对步骤S12得到的数据集采用常规方法进行二次特征提取，最终得到一 个融合的特征集合。这里的常规方法可以选择主成分分析（PCA)、线性判别分析（LDA)或者 其他方法。令变换矩阵为Pd，其大小为D。Xd(d<D。)，则经过Z' = 提取到的最终特征集 合为Nx+Ny个d维的特征向量。最终所得到的特征将原始两个集合的特征统一到一起，因此 实质上进行了隐含的特征级融合。
[0065] 步骤S14,采用常规特征级融合方法对步骤S13得到的特征集合里的特征进行融 合，得到另一个最终所需的特征集合。这里的常规特征级融合方法包含特征串联、特征并 联、特征加权平均等。将Z'中具有对应关系的特征进行融合得到最终特征集合Z"。
[0066] 对于特征空间WJPW2中的两个特征WlGWjPw2GW2，特征串联的表达式为 w二Of，特征并联的表达式为W=Wi+iw2 (i为虚数单位），特征加权平均的表达式为 w=aWi+Q-cOwJaG[0，1])〇
[0067] 识别过程：
[0068] 步骤S21，对任意测试对象进行变换得到最终特征。
[0069] 假设测试样本只存在对应于数据集X的测试数据Xi，则可以通过变换
得到一个维数为d的特征向量，显然该特征可直接与集合Z'中的特征进行匹配，获得分类 结果。而当测试样本包含两个集合的数据Xi、yjt，采用步骤S14中的常规特征级融合方法 对\和71进行融合，得到融合特征z/，显然该特征可直接与集合Z"中的特征进行匹配， 获得分类结果。
[0070] 步骤S22,采用步骤S21得到的最终特征与训练特征集合里的特征进行匹配，采用 最近邻分类器得到识别结果。该方法采用特征空间中与测试样本最邻近（距离最小）的注 册样本所属的类别作为测试样本的归类，也就是说每个测试样本与离它最近的注册样本归 为了一类。
[0071] 应用本发明提出的特征级融合方法在中科院自动化所提供的CASIA(B)步态数据 库上进行试验。CASIA(B)步态数据库包含124个人在0°、18°、36°…180° 11个视角 下行走的视频序列，其中每个人包含6个正常行走视频序列，2个背包视频序列，2个穿外套 视频序列。这里采用正常行走状态下不同视角的步态图像来测试所提特征级融合方法的性 能，对视频序列提取步态能量图特征，得到不同视角下的步态能量图，如图3。
[0072] 本实验选取CASIA(B)步态数据库中的0°和18。、36°和54。、72°和90。三组 视角进行融合。训练集和注册集选取每个视角的前三组图像，测试集则为后三组图像，采用 最近邻分类器分类识别。实验中PCA和KPCA(KernelPCA)仅对单一视角下的数据集合分别 进行训练，在测试视角只有一种时采用单一视角进行识别，而在测试视角有两种时，对PCA 和KPCA所得特征采用常规特征级融合方法进行融合。耦合映射对两种视角的训练数据集 合进行训练，识别时分别采用三种测试数据集合，以0°和18°为例测试视角分别为0°、 18°、0° +18°视角。实验中高斯核函数的参数c= 0.02,二次特征提取方法分别选取PCA 和LDA算法，常规特征级融合方法采用加权平均的方法，发明专利CN1932882A中所提方法， 其中的权值为a= 0.5。
[0073] 在处理多视角的步态识别时，传统方法，传统处理单集合的PCA、KPCA方法以及常 规特征级融合方法，与本专利所提方法的识别率比较如图4所示，从图中可以看出本发明 所提方法的识别性能优于传统方法，尤其是在步态特征较差的视角下，识别率有了较大提 升，其中采用LDA进行二次特征提取取得了最为优越的效果。由此可见，相对于传统方法， 本发明所提方法在识别性能方面具有较好的优越性。由于本发明所提方法需要进行二次特 征提取，从理论上讲其识别速度会受到影响，因此这里对进行二次特征提取与直接匹配的 性能做了对比，如图5所示，该数据是在CPU2. 93GHz，2GB内存，MATLAB7. 1环境下得到的， 从图中可以看出经过二次特征提取后，识别性能有了一定提升，而所需的识别时间并未大 幅增加。这是由于一方面二次特征提取的处理对象是低维特征向量，所需时间较少；另一方 面经过二次特征提取得到的特征维数也会低于原特征，从而降低特征匹配所需时间。因此， 本发明所提方法能够满足实时性需求。
[0074] 本发明提出一种新颖的特征级融合方法。与传统方法相比，由于本发明所提方法 采用耦合映射方法将两个集合的特征进行了统一，从理论上得到了更适合融合的特征；同 时在应用时，本发明所提方法既可以对两个集合的数据进行测试，也可以只对单一集合的 数据进行测试，因此比常规特征级融合方法有更加广泛的应用空间。
[0075] 本发明从两个传感器分别获取数据集，在训练时，采用耦合映射方法将不同的数 据集投影到一个公共的耦合空间，基于耦合映射方法的特性将耦合空间里的所有数据合并 为同一个数据集，其数据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到 一个最终所需的特征集合，而后加入常规特征级融合方法得到另一个最终所需的特征集 合。而在识别时，与常规特征级融合方法要求测试数据必须包含两个集合的数据不同，基于 数据集合并的特征级融合方法的测试数据既可以包含两个集合的数据，也可以只有单一集 合的数据，即：可对任意形式的测试对象进行变换得到最终特征，并采用这一特征与训练特 征集合（单一数据采用前一种特征集合，两种数据采用后一种特征集合）里的特征进行匹 配，得到识别结果。该方法可广泛应用于模式识别领域，以得到稳定的特征进行分类识别。 本发明提出的特征级融合方法可以广泛应用于模式识别领域，尤其是基于双模态的生物特 征融合与识别。
【主权项】
1. 一种基于数据集合并的特征级融合方法，其特征在于：包括训练过程和识别过程， 利用两个视频传感器采集数据， 所述的训练过程包括以下几个步骤： al两个视频传感器采集的原始数据分别为数据集XczRA和FczlDy，采用耦合映射 方法将数据集JT e RA和Γ <ζ Rb:投影到一个公共的耦合空间，求得数据集X的耦合特征Zx和数据集Y的耦合特征Zy; a2将上一步得到的所有耦合特征合并成一个数据集Z = [Zx，Zy]，该数据集容量为数据 集X和数据集Y的样本数之和； a3对数据集Z进行二次特征提取，得到一个融合的特征集Z'= <Ζ ; a4对步骤a3中得到的特征集Z'进行特征级融合，得到最终特征集合Ζ"; 所述的识别过程包括以下几个步骤： bl对任意测试对象进行变换得到最终特征， 当测试对象只有单一集合的数据时，通过二次特征提取，得到的当前测试对象的融合 的特征Z' ^为最终特征； 当测试对象为两个集合的数据时，先分别对两个集合的数据进行二次特征提取，然后 进行特征级融合，得到最终特征Z" ^ 所述的二次特征提取的方法与步骤a3中的一致，所述的特征级融合与步骤a3中的一 致；b2将得到的最终特征Z' ^与训练过程得到的融合的特征集Z'里的特征进行匹配，采 用最近邻分类器得到识别结果； 将得到的最终特征Z" ^与训练过程得到的融合的特征集Z"里的特征进行匹配，采用 最近邻分类器得到识别结果。2. 根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述 求得数据集X的耦合特征4和数据集Y的耦合特征Z 7的方法为： c 1、两个数据集JT C= RD\和;T RD>，分别来自两个视频传感器，样本数分别为队和N y， 利用非线性映射也：R' - -AOO ,将原始数据映射到高维 的Hilbert空间F中，并定义两个核函数/C/ =(武(.γ,)·从\))，=(也(乃）·也(_>',))，则耦 合映射的目标函数为：其中，Tr( ·)表示求矩阵的迹，AdPAy为耦合变换矩阵对，左T和皮ν为中心化后的核 矩阵，C为集合X和Y之间的相关关系矩阵，矩阵&和G y都是对角阵，其对角线元素分别为 矩阵C的对应行的累加和，对应列的累加和， 求得数据集X的变换矩阵Ax，其大小为NxXD。，数据集Y的变换矩阵Ay，其大小为 NyXDc; c2、利用变换矩阵\和A y，求得数据集X的耦合特征Zt ，其大小为DeXNx，数据 集Y的耦合特征v，其大小为DeXNy。3. 根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述 的二次特征提取方法包括主成分分析PCA和线性判别分析LDA。4. 根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述 的特征级融合方法包含特征串联、特征并联和特征加权平均。
【专利摘要】本发明公开了一种基于数据集合并的特征级融合方法。包括训练过程和识别过程，从两个传感器分别获取数据集，基于耦合映射方法的特性将耦合空间里的所有数据合并为同一个数据集，其数据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到一个最终所需的特征集合，而后加入常规特征级融合方法得到另一个更具分类判别能力的特征集合，从而提高模式识别系统的识别率。对任意形式的测试对象进行变换得到最终特征，并采用这一特征与训练特征集合里的特征进行匹配，得到识别结果。本发明能够扩大特征级融合的应用范围，提高识别率。
【IPC分类】G06K9/62
【公开号】CN104899604
【申请号】CN201510306292
【发明人】邢向磊, 阎涛, 王科俊, 吕卓纹
【申请人】哈尔滨工程大学
【公开日】2015年9月9日
【申请日】2015年6月8日
最新回复(0)