图像检索系统及其相关方法和装置制造方法
图像检索系统及其相关方法和装置制造方法
【专利摘要】本发明公开了一种图像检索数据库生成方法、图像检索方法及对应的图像检索数据库生成器、图像检索装置和图像检索系统；在生成数据库时，对样本图像特征描述信息进行分类并降维，为每个特征点形成一个标签数据；在数据库中将样本图像内容数据和标签数据分类存储；在图像检索时，用类似方法对待检索的目标图像进行处理，为其每个特征点形成多个标签；匹配时，将目标图像的标签与数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值。本发明实现了对描述内容的压缩，能有效提高数据传输效率。另外将样本图像内容数据和标签数据分类存储，能有效减少图像检索等待时间，使在大数据库中实现实时检索，成为可能。
【专利说明】图像检索系统及其相关方法和装置
【技术领域】
[0001]本发明涉及基于内容的图像检索【技术领域】，尤其涉及图像检索系统及其相关方法和装置。
【背景技术】
[0002]在计算机视觉领域中，图像中的特征可以通过识别并描述一个或一个以上关键点的方式来表征。关键点可以通过各种描述内容来描述，例如，关键点的描述内容可以用图像内容的视觉特征(形状、色彩、纹理、旋转及其它图像特性)来表示。图像识别时，将目标图像中的特征与样本图像数据库中的特征进行匹配，在对象的关键点检测的计算速度和图像特征数据库大小一定的情况下，时间消耗主要取决于图像特征的传输和存储，因此关键点描述内容的构造复杂性和维数直接影响特征匹配系统的性能。
[0003]在常规图像识别技术中，均直接采用关键点描述内容来进行特征匹配，在图像特征数据库特别大时(单个数据库由100万张以上的图像数据组成)，检索速度会非常慢，几乎很难实现实时检索。
【发明内容】
[0004]本发明的目的是提供一种图像检索系统及其相关方法和装置，解决在大数据库中进行图像识别时速度较慢问题。
[0005]为了实现上述发明目的，本发明提供了一种图像检索数据库生成方法，包括:对样本图像或经预处理后的样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0006]利用分类器对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据；将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合。
[0007]其中，所述经预处理后的样本图像指经统一尺寸处理、冗余区域剔除、高斯模糊处理、仿射变换中的一种或多种方式预处理后的样本图像。
[0008]其中，在利用分类器对样本图像的特征描述信息进行分类之前，还包括:判断是否已有分类器；若是，则根据已有分类器对样本图像的特征描述信息进行分类；若否，则对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。
[0009]优选的，对特征描述信息所组成的数据集合进行训练，生成分类器，具体为:采用K均值聚类算法生成若干个聚类中心，然后用近邻法根据聚类中心的分布情况对描述数据进行分类。[0010]优选的，所述对特征描述信息进行降维是采用主成分分析PCA方法生成降维矩阵。
[0011]优选的，所述样本图像的内容数据还包括:样本图像原图数据、样本图像对应的虚拟信息数据。
[0012]相应的，本发明还提供了一种图像检索方法，包括:
[0013]获取目标图像；
[0014]对目标图像或经预处理后的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0015]利用分类器对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；
[0016]在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；
[0017]将得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；
[0018]返回匹配分值最高的样本图像的索引值；或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
[0019]优选的，返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
[0020]优选的，所述计算目标图像与数据库中各样本图像的匹配分值，进一步包括:将得到的标签数据与检索数据库中的对应分类索引中的所有标签进行遍历匹配；遍历匹配时，分别计算两标签对应字节位之间的海明距离，将各字节之间的海明距离累加得到距离和，以距离和为索引值在海明距离权重表中查得目标图像特征点与检索数据库中对应特征点的匹配权值；以样本图像索引为标记，找出与目标图像中的点标签之间的匹配权值最大的样本图像，记该样本图像中的对应点与目标图像对应点标签之间的匹配权值为目标图像中的对应点与该样本图像之间的检索分值；将检索分值小于阈值的匹配点剔除；再次按样本图像索引进行分类，将目标图像中的所有对应于同一张样本图像的点集标签数据归为一类，剔除其中小于三个匹配点的点集匹配对，累加剩余匹配集合中其点与样本图像之间的检索分值，累加结果为目标图像与样本图像之间的匹配分值。
[0021]相应的，本发明还提供了一种图像检索数据库生成系统，所述系统包括:特征提取模块、特征处理模块和数据库存储模块，其中:
[0022]所述特征提取模块，用于对样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0023]所述特征处理模块，包括分类器和降维单元，分类器用于对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；降维单元用于结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据；
[0024]所述数据库存储模块，用于将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；且将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合。
[0025]优选的，所述系统还包括:分类器训练模块，用于在特征处理模块中未检测到分类器时，对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。
[0026]优选的，所述系统还包括与特征提取模块相连的样本图像预处理模块，所述样本图像预处理模块包括尺寸统一处理单元、冗余区域剔除单元、高斯模糊处理单元、仿射变换处理单元中的一个或多个子单元。
[0027]相应的，本发明还提供了一种图像检索装置，安装于客户端，所述图像检索装置包括目标图像获取模块，特征提取模块、特征处理模块、检索请求发送模块和检索结果接收模块，其中:
[0028]所述图像获取模块，用于获取目标图像；
[0029]所述特征提取模块，用于对目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0030]所述特征处理模块包括分类器和降维单元，分类器用于对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；
[0031]所述检索请求发送模块，用于将得到的标签数据封装到检索请求中发送到后端检索服务器进行检索；
[0032]所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
[0033]相应的，本发明还提供了一种后端检索服务器，所述后端检索服务器包括检索数据库、匹配模块和信息返回模块，其中:检索数据库是上述图像检索数据库生成系统所生成的数据库；所述匹配模块，用于接收来自客户端的检索请求，并将检索请求内包含的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
[0034]优选的，所述信息返回模块还可以根据检索请求，在返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
[0035]相应的，本发明还提供了一种图像检索系统，包括图像检索客户端和后端检索服务器，所述图像检索客户端内安装有上述图像检索装置；所述后端检索服务器为上述后端检索服务器。
[0036]相应的，本发明还提供了另一种后端检索服务器，所述后端检索服务器包括检索数据库、特征提取模块、特征处理模块、匹配模块和信息返回模块，其中:检索数据库是由上述的图像检索数据库生成系统所生成的数据库；
[0037]所述特征提取模块，用于接收来自客户端的检索请求,并将检索请求内包含的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0038]所述特征处理模块包括分类器和降维单元，分类器用于目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；
[0039]所述匹配模块，用于将降维单元得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；
[0040]所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
[0041]相应的，本发明还提供了一种图像检索系统，包括图像检索客户端和后端检索服务器，其特征在于，所述图像检索客户端内安装图像检索装置，所述后端检索服务器为上述第二种后端检索服务器；所述图像检索装置包括图像获取模块、检索请求发送模块和检索结果接收模块，所述图像获取模块用于获取目标图像；所述检索请求发送模块，用于将图像获取模块获取的目标图像封装到检索请求中发送到后端检索服务器进行检索；所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
[0042]与现有技术相比，本发明具有如下有益效果:
[0043]本发明通过对特征点描述内容进行分类并降维，实现了对描述内容的压缩，能有效提高数据传输效率。另外数据库在进行数据存储时候，将样本图像内容数据和标签数据分类存储，能有效减少图像检索等待时间，使在大数据库中实现实时检索，成为可能。
【专利附图】
【附图说明】
[0044]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图:
[0045]图1为采用本发明实施例中图像检索数据库生成方法所生成的检索数据库；
[0046]图2为本发明实施例中图像检索方法的流程示意图。
【具体实施方式】
[0047]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]本发明方案需要专用方法生成专用检索数据库，再用对应的检索方法在专用数据库中进行检索。
[0049]下面首先介绍本发明实施例中图像检索数据库生成方法，其包括如下步骤:
[0050]SlOl:特征提取:对样本图像或经预处理后的样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息。本步骤特征提取方法，可以采用基于尺度不变的特征提取方法，如ORB，SIFT, SURF等。所述经预处理后的样本图像指经统一尺寸处理、冗余区域剔除、高斯模糊处理、仿射变换中的一种或多种方式预处理后的样本图像，预处理是为了提高检索精度。
[0051]S102:对特征描述进行分类:利用分类器对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；
[0052]在步骤S102之前，还需要判断是否已有现成分类器；若是，则根据已有分类器对样本图像的特征描述信息进行分类；若否，则对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。一般来说在一个检索数据库建立之初，需要对已有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器，在后续增加样本图像的过程中，即可直接用最初已经生成的分类器对添加的样本图像的特征描述数据进行分类。分类器生成可以采用现有技术，如:采用K均值聚类算法生成若干个聚类中心，然后用近邻法根据聚类中心的分布情况对描述数据进行分类。
[0053]S103:对特征描述进行降维:结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据。对特征描述信息进行降维可以采用主成分分析(Principal ComponentAnalysis, PCA)方法生成降维矩阵。
[0054]S104:数据存储:将样本图像内容数据以样本图像索引为单位,顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；且将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合，每个标签数据包括标签、该标签对应的特征点所属样本图像的索引、该标签对应的特征点的位置信息或该标签对应的特征点在样本图像内容数据中存储的序列号。根据不同检索系统需求不同，所述样本图像的内容数据还可以包括:样本图像原图数据、样本图像对应的虚拟信息数据(AR数据)等。
[0055]检索数据库将样本图像内容数据和标签数据分类存储，其存储结构可参见图1。检索数据库中，样本图像内容数据以样本图像索引为单位顺序存储，样本图像索引可以为一个对应的数字或者图像名字，如图1中用0000001至1000000分别表示100万张样本图像的索引值，可以根据该值在检索数据库中得到对应的图像数据，包括原图、特征点数量，每个特征点的位置信息、尺度、方向、特征描述，及该样本图像对应的AR数据等。同样，检索数据库中，标签数据按分类索引值在各分类中以标签为单位顺序存储，如图1，假设分类数为10000，分类索引可以用00001至10000表示，每个标签对应一个分类索引，每个分类索引对应一组同类的标签集合。
[0056]为了更详细说明上述过程，我们假设步骤SlOl采用SIFT算法提取图像特征，提取出来的特征数据包括特征点在图像区域内的位置信息(X和y，各占4字节，为节省数据库存储空间,本系统在生成检索数据库时,可以将入库样本图像统一到较大边为480像素宽度的图像(可以根据实际需要进行调整)，而检索时优选采用960?2560之间的图像(可以根据实际需要进行调整)，所以X和y的数据长度可以采用short型，各占2字节)，尺度(scale, 一个符点型数据,8字节)，方向(orientation, —个符点型数据,8字节),特征描述信息(一组128维的符点数据，即128*8字节)
[0057]对应的分类器生成方法:假定样本图像有η张，每张图像平均提取出m个特征点，则对应的描述数据集大小为n*m*128个8字节符点数据(n*m必须大于分类数，这里分类数可取10000的值)，对该描述数据集进行分类，以K均值算法为例，根据描述数据集计算得到10000个聚类中心，然后根据描述数据集将距离各中心最近的点记为该类的点，更新聚类中心的数据，进行循环迭代产生新的分类结果，直至新产生的分类结果与上一次的结果一致，结束循环迭代的过程，这时得到的分类结果即为分类器的最终分类结果。
[0058]利用上述方法产生的分类器，对所有样本图像中特征点的特征描述信息进行分类，找出一个最优分类结果。结合每个所属分类的索引值，采用PCA方法对特征描述信息进行降维处理(根据分类索引值得到对应的1*64维矩阵)，将128*8字节的数据降维成64*8字节(即64个符点值)的一组数据，利用上述得到的1*64维矩阵与该64个符点值进行比较，根据对应位置的两个符点值的大小关系将一组8字节的初始值为O的8字节数据中的对应字节分别与两组8字节的经验数据中的对应字节进行或等和与等操作，最终得到8个字节的数据(每8对符点数生成一个字节的结果，所以只有8个)，即8字节(8个unsignedchar型数据)，以该结果数据作为对应的特征点的标签，每个特征点对应I个标签数据，，每个标签对应一个分类索引，在检索数据库中每个分类索引对应一组同类的标签集合(以100万样本图像的检索库为例，每类中包括5?10万个标签)。
[0059]本实施例图像检索数据库生成方法，既可以在服务器端对大量样本图像(以100万样本图像为例)进行处理生成对应的检索数据库，也能以添加的模式单张或成组地将新的样本图像数据添加进已有的检索数据库。针对不同应用需求，为了提高检索精度，可以对样本图像进行多种方式的预处理，包括统一尺寸处理、冗余区域剔除、高斯模糊处理、仿射变换等。
[0060]以移动设备平台为添加单张新样本图像为例，通过摄像头获取当前场景图像，由于用户在用手点击按键抓取图像时，会使手机产生较大的抖动，以至于可能使检索结果产生较大的误差，这里我们可以采用延时操作的方式，比如移动设备接收到按键响应后，延时300ms?500ms进行摄像头的图像采集操作，同时在这一延时间歇中对摄像头进行对焦，使摄像头场景中心区域的图像更加清晰。根据摄像头的参数，采集到的图像可能为多个不同的尺寸，我们可以将之统一为较大边为480像素长度(可以根据实际需要进行调整)的图像。因为生成检索数据库时需要保证样本图像尽量不含有过多的冗余数据，在通过摄像头采集图像时，样本图像目标图像区域可能为当前场景图像的子区域，存在较大的冗余区域，例如当对目标进行图像采集时，由于大多数目标都有明显的边界(图片目标一般具有四边形边界，实物目标也具有固定的边界)，可以先对前景图像做一次四边形区域提取或者独立目标区域提取的操作，剔除冗余数据。另外，为保证在极端条件下本系统仍然具备足够的检索精度(>98% )，需要对剔除冗余数据之后的图像进行进一步的预处理。由于在移动设备端利用本系统进行图像检索时，得到的待检索目标图像可能是焦外模糊的图像数据，本系统可以对原样本图像进行模拟焦外模糊的处理(高斯模糊处理)，使检索数据库中存在与待检索目标图像更相近的正确数据。另外，在极端拍摄角度下，得到的目标图像是原样本图像经过极端仿射变换后的结果，可以对原样本图像进行一定程度的仿射变换，产生N张不同视角的样本图像。将这些图像作为对应样本图像的图像集加入训练过程(总数为2N+2张图像，原图+4张仿射以及模糊图像+4张模糊图像的仿射图)。将预处理后的样本图像数据集传递给特征提取模块进行特征提取。
[0061]上面介绍了本发明实施例生成检索数据库的方法，下面结合图2介绍对应的图像检索方法，参见图2，所述图像检索方法包括如下步骤:
[0062]S201:获取目标图像；
[0063]S202:对目标图像或经预处理后的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；本步骤特征提取采用的方法需与生成检索数据库时选用的特征提取方法一致，例如生成检索数据库时选用的为SIFT算法，那么本步骤也需要用SIFT算法进行特征提取。
[0064]S203:利用分类器对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；本步骤采用的分类器必须与生成检索数据库时候的分类器一致。
[0065]S204:在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；本步骤对特征描述进行降维的方法也需要与生成检索数据库时候的方法—致。
[0066]S205:将得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；
[0067]S206:返回匹配分值最高的样本图像的索引值；或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值(存在多个大于一阀值的匹配分值结果，则待检索的目标图像中，极大可能存在多个与数据库中样本图像匹配的子区域)。根据不同检索需求，步骤S206在返回样本图像索引值的同时，还可以同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息(可根据匹配特征点在图像区域内的位置信息、尺度、方向信息进计算得到)，样本图像原图数据，样本图像对应的虚拟信息数据。
[0068]本图像检索方法可以在任意系统平台上使用，为了提高检索成功率，可以预先根据不同平台对S201步骤获取的目标图像进行预处理。以移动设备平台为例，通过摄像头获取当前场景图像，由于用户在用手点击按键抓取图像时，会使手机产生较大的抖动，以至于可能使检索结果产生较大的误差，因此可采用延时操作的方式，比如移动设备接收到按键响应后，延时300ms?500ms进行摄像头的图像采集操作，同时在这一延时间歇中对摄像头进行对焦，使摄像头场景中心区域的图像更加清晰。根据摄像头的参数，采集到的图像可能为多个不同的尺寸，我们可将之统一为较大边为960像素长度的图像(根据检索精度的需求不同，可以对应调整)。通常在生成检索数据库时是使用的样本图像原图，对数据库而言不存在冗余数据，而在通过摄像头采集待检索目标图像时，目标图像区域通常为当前场景图像的子区域，存在较大的冗余区域。实际使用中，可以根据实际的子图像区域和当前场景图像区域大小比例调整采集得到的图像数据大小。同时，对应于不同的检索需求，例如当对图片进行检索时，由于大多数图片都有明显的四边形边界，可以先对前景图像做一次四边形区域提取的操作，剔除冗余数据，将摄像头采集到的目标图像经上述预处理后传递给特征提取模块。[0069]步骤S205中，计算匹配分值的具体步骤包括:
[0070]A:将得到的标签数据与检索数据库中的对应分类索引中的所有标签进行遍历匹配；遍历匹配时，分别计算两标签对应字节位之间的海明距离，将各字节之间的海明距离累加得到距离和(按照生成检索数据库时的例举方法，每个特征点的标签对应一个8字节的二进制数据，直接计算两者中对应字节位之间的海明距离，将8个距离值累加，得到一个大于等于0，小于等于64的距离和)，以距离和为索引值在海明距离权重表中查得目标图像特征点与检索数据库中对应特征点的匹配权值。可根据经验建立海明距离权重表，海明距离权重表中:距离和越小，其对应的匹配权值越大，表示这两个特征点为同一个点的几机率越大；
[0071]B:以样本图像索引为标记，找出与目标图像中的点标签之间的匹配权值最大的样本图像，记该样本图像中的对应点与目标图像对应点标签之间的匹配权值为目标图像中的对应点与该样本图像之间的检索分值；将检索分值小于阈值(如18)的匹配点剔除；
[0072]C:再次按样本图像索引进行分类，将目标图像中的所有对应于同一张样本图像的点集标签数据归为一类，剔除其中小于三个匹配点的点集匹配对，累加剩余匹配集合中其点与样本图像之间的检索分值，累加结果为目标图像与样本图像之间的匹配分值。
[0073]上面介绍的是本发明实施例图像检索数据库生成方法及对应的图像检索方法，下面，结合介绍本发明实施例相关装置和系统。
[0074]本发明实施例一种图像检索数据库生成系统，包括:特征提取模块、特征处理模块和数据库存储模块，其中:
[0075]所述特征提取模块，用于对样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0076]所述特征处理模块，包括分类器和降维单元，分类器用于对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；降维单元用于结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据；具体的分类方法及降维方法参见前面图像检索数据库生成方法实施例，在此不赘述。
[0077]所述数据库存储模块，用于将样本图像内容数据和标签数据分类存储，参见图1存储结构，样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向、特征描述信息及样本图像对应的AR数据、原图像数据等；且将标签数据按分类索引值在各分类中以标签为单位,顺序存储到检索数据库,每个标签数据对应一个分类索引值,每个分类索引值对应一组同类的标签数据集合。
[0078]优选的，所述图像检索数据库生成系统还包括分类器训练模块，用于在特征处理模块中未检测到分类器时，对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器，分类器生成方法参见前面图像检索数据库生成方法实施例，在此不赘述。
[0079]优选的，所述图像检索数据库生成系统还包括与特征提取模块相连的样本图像预处理模块，所述样本图像预处理模块包括尺寸统一处理单元、冗余区域剔除单元、高斯模糊处理单元、仿射变换处理单元中的一个或多个子单元。
[0080]本发明实施例图像检索系统，包括图像检索客户端和后端检索服务器，图像检索客户端内安装有图像检索装置。一种实施例中，图像检索装置对待检索的目标图像进行一系列处理后，仅将标签数据封装到检索请求中发送到后端检索服务器进行检索；另一种实施例中，图像检索装置直接将图像获取模块获取的目标图像封装到检索请求中发送到后端检索服务器进行检索。这两种实施例采用的检索方法和检索数据库相同，区别在于图像检索客户端和后端检索服务器两边分工不同。
[0081]本发明图像检索系统第一实施例中，安装于客户端内的图像检索装置包括目标图像获取模块，特征提取模块、特征处理模块、检索请求发送模块和检索结果接收模块，其中:所述图像获取模块，用于获取目标图像；所述特征提取模块，用于对目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；所述特征处理模块包括分类器和降维单元，分类器用于对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；所述检索请求发送模块，用于将得到的标签数据封装到检索请求中发送到后端检索服务器进行检索；所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
[0082]图像检索系统第一实施例中后端检索服务器包括检索数据库、匹配模块和信息返回模块，其中:检索数据库是由前述的图像检索数据库生成系统所生成的数据库，图像检索数据库结构参见图1 ;所述匹配模块，用于接收来自客户端的检索请求，并将检索请求内包含的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。优选的，所述信息返回模块还可以根据检索请求，在返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
[0083]本发明图像检索系统第二实施例中，图像检索装置包括图像获取模块、检索请求发送模块和检索结果接收模块，所述图像获取模块用于获取目标图像；所述检索请求发送模块，用于将图像获取模块获取的目标图像封装到检索请求中发送到后端检索服务器进行检索；所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
[0084]图像检索系统第二实施例中，后端检索服务器包括检索数据库、特征提取模块、特征处理模块、匹配模块和信息返回模块，其中:检索数据库是前述的图像检索数据库生成系统所生成的数据库，图像检索数据库结构参见图1 ;所述特征提取模块，用于接收来自客户端的检索请求，并将检索请求内包含的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；所述特征处理模块包括分类器和降维单元，分类器用于目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；所述匹配模块，用于将降维单元得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
[0085]本发明通过对特征点描述内容进行分类并降维，实现了对描述内容的压缩，能有效提高数据传输效率。另外数据库在进行数据存储时候，将样本图像内容数据和标签数据分类存储，能有效减少图像检索等待时间，使在大数据库中实现实时检索，成为可能。
[0086]本发明实施例中所述模块或单元，可以通过通用集成电路，例如CPU (CentralProcessing Unit,中央处理器)，或通过 ASIC (Application SpecificIntegratedCircuit,专用集成电路)来实现。
[0087]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。
[0088]以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
【权利要求】
1.一种图像检索数据库生成方法，其特征在于，包括: 对样本图像或经预处理后的样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 利用分类器对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引； 结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据； 将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息； 将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合。
2.如权利要求1所述的方法，其特征在于，所述经预处理后的样本图像指经统一尺寸处理、冗余区域剔除、高斯模糊处理、仿射变换中的一种或多种方式预处理后的样本图像。
3.如权利要求1或2所述的方法，其特征在于，在利用分类器对样本图像的特征描述信息进行分类之前，还包括:判断是否已有分类器； 若是，则根据已有分类器对样本图像的特征描述信息进行分类； 若否，则对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。
4.如权利要求3所述的方法，其特征在于，所述对特征描述信息所组成的数据集合进行训练，生成分类器，具体为:采用K均值聚类算法生成若干个聚类中心，然后用近邻法根据聚类中心的分布情况对描述数据进行分类。
5.如权利要求3所述的方法，其特征在于，所述对特征描述信息进行降维是采用主成分分析PCA方法生成降维矩阵。
6.如权利要求3所述的方法，其特征在于，所述样本图像的内容数据还包括:样本图像原图数据、样本图像对应的虚拟信息数据。
7.一种图像检索方法，其特征在于，包括: 获取目标图像； 对目标图像或经预处理后的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 利用分类器对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3~15范围内的自然数； 在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据； 将得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值； 返回匹配分值最高的样本图像的索引值；或 返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
8.如权利要求7所述的方法，其特征在于，返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
9.如权利要求7或8所述的方法，其特征在于，所述计算目标图像与数据库中各样本图像的匹配分值，进一步包括: 将得到的标签数据与检索数据库中的对应分类索引中的所有标签进行遍历匹配；遍历匹配时，分别计算两标签对应字节位之间的海明距离，将各字节之间的海明距离累加得到距离和，以距离和为索引值在海明距离权重表中查得目标图像特征点与检索数据库中对应特征点的匹配权值； 以样本图像索引为标记，找出与目标图像中的点标签之间的匹配权值最大的样本图像，记该样本图像中的对应点与目标图像对应点标签之间的匹配权值为目标图像中的对应点与该样本图像之间的检索分值；将检索分值小于阈值的匹配点剔除； 再次按样本图像索引进行分类，将目标图像中的所有对应于同一张样本图像的点集标签数据归为一类，剔除其中小于三个匹配点的点集匹配对，累加剩余匹配集合中其点与样本图像之间的检索分值，累加结果为目标图像与样本图像之间的匹配分值。
10.一种图像检索数据库生成系统，其特征在于，所述系统包括:特征提取模块、特征处理模块和数据库存储模 块，其中: 所述特征提取模块，用于对样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 所述特征处理模块，包括分类器和降维单元，分类器用于对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；降维单元用于结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据； 所述数据库存储模块，用于将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；且将标签数据按分类索引值在各分类中以标签为单位,顺序存储到检索数据库,每个标签数据对应一个分类索引值,每个分类索引值对应一组同类的标签数据集合。
11.如权利要求10所述的系统，其特征在于，所述系统还包括:分类器训练模块，用于在特征处理模块中未检测到分类器时，对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。
12.如权利要求10或11所述的系统，其特征在于，所述系统还包括与特征提取模块相连的样本图像预处理模块，所述样本图像预处理模块包括尺寸统一处理单元、冗余区域剔除单元、高斯模糊处理单元、仿射变换处理单元中的一个或多个子单元。
13.一种图像检索装置，安装于客户端，其特征在于，所述图像检索装置包括目标图像获取模块，特征提取模块、特征处理模块、检索请求发送模块和检索结果接收模块，其中: 所述图像获取模块，用于获取目标图像； 所述特征提取模块，用于对目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 所述特征处理模块包括分类器和降维单元，分类器用于对目标图像的特征描述信息进行分类， 找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3~15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签,每个特征点对应η个标签数据； 所述检索请求发送模块，用于将得到的标签数据封装到检索请求中发送到后端检索服务器进行检索； 所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
14.一种后端检索服务器，其特征在于，所述后端检索服务器包括检索数据库、匹配模块和信息返回模块，其中:检索数据库是由权利要求10至12任一项所述的图像检索数据库生成系统所生成的数据库； 所述匹配模块，用于接收来自客户端的检索请求，并将检索请求内包含的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值； 所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
15.如权利要求14所述的后端检索服务器，其特征在于，所述信息返回模块还可以根据检索请求，在返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
16.一种图像检索系统，包括图像检索客户端和后端检索服务器，其特征在于，所述图像检索客户端内安装有权利要求13所述的图像检索装置；所述后端检索服务器为权利要求14或15所述的后端检索服务器。
17.一种后端检索服务器，其特征在于，所述后端检索服务器包括检索数据库、特征提取模块、特征处理模块、匹配模块和信息返回模块，其中:检索数据库是由权利要求10至12任一项所述的图像检索数据库生成系统所生成的数据库； 所述特征提取模块，用于接收来自客户端的检索请求，并将检索请求内包含的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 所述特征处理模块包括分类器和降维单元，分类器用于目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3~15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签,每个特征点对应η个标签数据； 所述匹配模块，用于将降维单元得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值； 所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
18.一种图像检索系统，包括图像检索客户端和后端检索服务器，其特征在于，所述图像检索客户端内安装图像检索装置，所述后端检索服务器为权利要求17所述的后端检索服务器； 所述图像检索装置包括图像获取模块、检索请求发送模块和检索结果接收模块，所述图像获取模块用于获取目标图像；所述检索请求发送模块，用于将图像获取模块获取的目标图像封装到检索请求中发送到后端检索服务器进行检索；所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
【文档编号】G06F17/30GK103927387SQ201410180882
【公开日】2014年7月16日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】陈卓, 李薪宇 申请人:成都理想境界科技有限公司
【专利摘要】本发明公开了一种图像检索数据库生成方法、图像检索方法及对应的图像检索数据库生成器、图像检索装置和图像检索系统；在生成数据库时，对样本图像特征描述信息进行分类并降维，为每个特征点形成一个标签数据；在数据库中将样本图像内容数据和标签数据分类存储；在图像检索时，用类似方法对待检索的目标图像进行处理，为其每个特征点形成多个标签；匹配时，将目标图像的标签与数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值。本发明实现了对描述内容的压缩，能有效提高数据传输效率。另外将样本图像内容数据和标签数据分类存储，能有效减少图像检索等待时间，使在大数据库中实现实时检索，成为可能。
【专利说明】图像检索系统及其相关方法和装置
【技术领域】
[0001]本发明涉及基于内容的图像检索【技术领域】，尤其涉及图像检索系统及其相关方法和装置。
【背景技术】
[0002]在计算机视觉领域中，图像中的特征可以通过识别并描述一个或一个以上关键点的方式来表征。关键点可以通过各种描述内容来描述，例如，关键点的描述内容可以用图像内容的视觉特征(形状、色彩、纹理、旋转及其它图像特性)来表示。图像识别时，将目标图像中的特征与样本图像数据库中的特征进行匹配，在对象的关键点检测的计算速度和图像特征数据库大小一定的情况下，时间消耗主要取决于图像特征的传输和存储，因此关键点描述内容的构造复杂性和维数直接影响特征匹配系统的性能。
[0003]在常规图像识别技术中，均直接采用关键点描述内容来进行特征匹配，在图像特征数据库特别大时(单个数据库由100万张以上的图像数据组成)，检索速度会非常慢，几乎很难实现实时检索。
【发明内容】
[0004]本发明的目的是提供一种图像检索系统及其相关方法和装置，解决在大数据库中进行图像识别时速度较慢问题。
[0005]为了实现上述发明目的，本发明提供了一种图像检索数据库生成方法，包括:对样本图像或经预处理后的样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0006]利用分类器对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据；将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合。
[0007]其中，所述经预处理后的样本图像指经统一尺寸处理、冗余区域剔除、高斯模糊处理、仿射变换中的一种或多种方式预处理后的样本图像。
[0008]其中，在利用分类器对样本图像的特征描述信息进行分类之前，还包括:判断是否已有分类器；若是，则根据已有分类器对样本图像的特征描述信息进行分类；若否，则对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。
[0009]优选的，对特征描述信息所组成的数据集合进行训练，生成分类器，具体为:采用K均值聚类算法生成若干个聚类中心，然后用近邻法根据聚类中心的分布情况对描述数据进行分类。[0010]优选的，所述对特征描述信息进行降维是采用主成分分析PCA方法生成降维矩阵。
[0011]优选的，所述样本图像的内容数据还包括:样本图像原图数据、样本图像对应的虚拟信息数据。
[0012]相应的，本发明还提供了一种图像检索方法，包括:
[0013]获取目标图像；
[0014]对目标图像或经预处理后的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0015]利用分类器对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；
[0016]在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；
[0017]将得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；
[0018]返回匹配分值最高的样本图像的索引值；或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
[0019]优选的，返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
[0020]优选的，所述计算目标图像与数据库中各样本图像的匹配分值，进一步包括:将得到的标签数据与检索数据库中的对应分类索引中的所有标签进行遍历匹配；遍历匹配时，分别计算两标签对应字节位之间的海明距离，将各字节之间的海明距离累加得到距离和，以距离和为索引值在海明距离权重表中查得目标图像特征点与检索数据库中对应特征点的匹配权值；以样本图像索引为标记，找出与目标图像中的点标签之间的匹配权值最大的样本图像，记该样本图像中的对应点与目标图像对应点标签之间的匹配权值为目标图像中的对应点与该样本图像之间的检索分值；将检索分值小于阈值的匹配点剔除；再次按样本图像索引进行分类，将目标图像中的所有对应于同一张样本图像的点集标签数据归为一类，剔除其中小于三个匹配点的点集匹配对，累加剩余匹配集合中其点与样本图像之间的检索分值，累加结果为目标图像与样本图像之间的匹配分值。
[0021]相应的，本发明还提供了一种图像检索数据库生成系统，所述系统包括:特征提取模块、特征处理模块和数据库存储模块，其中:
[0022]所述特征提取模块，用于对样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0023]所述特征处理模块，包括分类器和降维单元，分类器用于对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；降维单元用于结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据；
[0024]所述数据库存储模块，用于将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；且将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合。
[0025]优选的，所述系统还包括:分类器训练模块，用于在特征处理模块中未检测到分类器时，对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。
[0026]优选的，所述系统还包括与特征提取模块相连的样本图像预处理模块，所述样本图像预处理模块包括尺寸统一处理单元、冗余区域剔除单元、高斯模糊处理单元、仿射变换处理单元中的一个或多个子单元。
[0027]相应的，本发明还提供了一种图像检索装置，安装于客户端，所述图像检索装置包括目标图像获取模块，特征提取模块、特征处理模块、检索请求发送模块和检索结果接收模块，其中:
[0028]所述图像获取模块，用于获取目标图像；
[0029]所述特征提取模块，用于对目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0030]所述特征处理模块包括分类器和降维单元，分类器用于对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；
[0031]所述检索请求发送模块，用于将得到的标签数据封装到检索请求中发送到后端检索服务器进行检索；
[0032]所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
[0033]相应的，本发明还提供了一种后端检索服务器，所述后端检索服务器包括检索数据库、匹配模块和信息返回模块，其中:检索数据库是上述图像检索数据库生成系统所生成的数据库；所述匹配模块，用于接收来自客户端的检索请求，并将检索请求内包含的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
[0034]优选的，所述信息返回模块还可以根据检索请求，在返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
[0035]相应的，本发明还提供了一种图像检索系统，包括图像检索客户端和后端检索服务器，所述图像检索客户端内安装有上述图像检索装置；所述后端检索服务器为上述后端检索服务器。
[0036]相应的，本发明还提供了另一种后端检索服务器，所述后端检索服务器包括检索数据库、特征提取模块、特征处理模块、匹配模块和信息返回模块，其中:检索数据库是由上述的图像检索数据库生成系统所生成的数据库；
[0037]所述特征提取模块，用于接收来自客户端的检索请求,并将检索请求内包含的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0038]所述特征处理模块包括分类器和降维单元，分类器用于目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；
[0039]所述匹配模块，用于将降维单元得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；
[0040]所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
[0041]相应的，本发明还提供了一种图像检索系统，包括图像检索客户端和后端检索服务器，其特征在于，所述图像检索客户端内安装图像检索装置，所述后端检索服务器为上述第二种后端检索服务器；所述图像检索装置包括图像获取模块、检索请求发送模块和检索结果接收模块，所述图像获取模块用于获取目标图像；所述检索请求发送模块，用于将图像获取模块获取的目标图像封装到检索请求中发送到后端检索服务器进行检索；所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
[0042]与现有技术相比，本发明具有如下有益效果:
[0043]本发明通过对特征点描述内容进行分类并降维，实现了对描述内容的压缩，能有效提高数据传输效率。另外数据库在进行数据存储时候，将样本图像内容数据和标签数据分类存储，能有效减少图像检索等待时间，使在大数据库中实现实时检索，成为可能。
【专利附图】
【附图说明】
[0044]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图:
[0045]图1为采用本发明实施例中图像检索数据库生成方法所生成的检索数据库；
[0046]图2为本发明实施例中图像检索方法的流程示意图。
【具体实施方式】
[0047]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]本发明方案需要专用方法生成专用检索数据库，再用对应的检索方法在专用数据库中进行检索。
[0049]下面首先介绍本发明实施例中图像检索数据库生成方法，其包括如下步骤:
[0050]SlOl:特征提取:对样本图像或经预处理后的样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息。本步骤特征提取方法，可以采用基于尺度不变的特征提取方法，如ORB，SIFT, SURF等。所述经预处理后的样本图像指经统一尺寸处理、冗余区域剔除、高斯模糊处理、仿射变换中的一种或多种方式预处理后的样本图像，预处理是为了提高检索精度。
[0051]S102:对特征描述进行分类:利用分类器对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；
[0052]在步骤S102之前，还需要判断是否已有现成分类器；若是，则根据已有分类器对样本图像的特征描述信息进行分类；若否，则对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。一般来说在一个检索数据库建立之初，需要对已有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器，在后续增加样本图像的过程中，即可直接用最初已经生成的分类器对添加的样本图像的特征描述数据进行分类。分类器生成可以采用现有技术，如:采用K均值聚类算法生成若干个聚类中心，然后用近邻法根据聚类中心的分布情况对描述数据进行分类。
[0053]S103:对特征描述进行降维:结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据。对特征描述信息进行降维可以采用主成分分析(Principal ComponentAnalysis, PCA)方法生成降维矩阵。
[0054]S104:数据存储:将样本图像内容数据以样本图像索引为单位,顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；且将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合，每个标签数据包括标签、该标签对应的特征点所属样本图像的索引、该标签对应的特征点的位置信息或该标签对应的特征点在样本图像内容数据中存储的序列号。根据不同检索系统需求不同，所述样本图像的内容数据还可以包括:样本图像原图数据、样本图像对应的虚拟信息数据(AR数据)等。
[0055]检索数据库将样本图像内容数据和标签数据分类存储，其存储结构可参见图1。检索数据库中，样本图像内容数据以样本图像索引为单位顺序存储，样本图像索引可以为一个对应的数字或者图像名字，如图1中用0000001至1000000分别表示100万张样本图像的索引值，可以根据该值在检索数据库中得到对应的图像数据，包括原图、特征点数量，每个特征点的位置信息、尺度、方向、特征描述，及该样本图像对应的AR数据等。同样，检索数据库中，标签数据按分类索引值在各分类中以标签为单位顺序存储，如图1，假设分类数为10000，分类索引可以用00001至10000表示，每个标签对应一个分类索引，每个分类索引对应一组同类的标签集合。
[0056]为了更详细说明上述过程，我们假设步骤SlOl采用SIFT算法提取图像特征，提取出来的特征数据包括特征点在图像区域内的位置信息(X和y，各占4字节，为节省数据库存储空间,本系统在生成检索数据库时,可以将入库样本图像统一到较大边为480像素宽度的图像(可以根据实际需要进行调整)，而检索时优选采用960?2560之间的图像(可以根据实际需要进行调整)，所以X和y的数据长度可以采用short型，各占2字节)，尺度(scale, 一个符点型数据,8字节)，方向(orientation, —个符点型数据,8字节),特征描述信息(一组128维的符点数据，即128*8字节)
[0057]对应的分类器生成方法:假定样本图像有η张，每张图像平均提取出m个特征点，则对应的描述数据集大小为n*m*128个8字节符点数据(n*m必须大于分类数，这里分类数可取10000的值)，对该描述数据集进行分类，以K均值算法为例，根据描述数据集计算得到10000个聚类中心，然后根据描述数据集将距离各中心最近的点记为该类的点，更新聚类中心的数据，进行循环迭代产生新的分类结果，直至新产生的分类结果与上一次的结果一致，结束循环迭代的过程，这时得到的分类结果即为分类器的最终分类结果。
[0058]利用上述方法产生的分类器，对所有样本图像中特征点的特征描述信息进行分类，找出一个最优分类结果。结合每个所属分类的索引值，采用PCA方法对特征描述信息进行降维处理(根据分类索引值得到对应的1*64维矩阵)，将128*8字节的数据降维成64*8字节(即64个符点值)的一组数据，利用上述得到的1*64维矩阵与该64个符点值进行比较，根据对应位置的两个符点值的大小关系将一组8字节的初始值为O的8字节数据中的对应字节分别与两组8字节的经验数据中的对应字节进行或等和与等操作，最终得到8个字节的数据(每8对符点数生成一个字节的结果，所以只有8个)，即8字节(8个unsignedchar型数据)，以该结果数据作为对应的特征点的标签，每个特征点对应I个标签数据，，每个标签对应一个分类索引，在检索数据库中每个分类索引对应一组同类的标签集合(以100万样本图像的检索库为例，每类中包括5?10万个标签)。
[0059]本实施例图像检索数据库生成方法，既可以在服务器端对大量样本图像(以100万样本图像为例)进行处理生成对应的检索数据库，也能以添加的模式单张或成组地将新的样本图像数据添加进已有的检索数据库。针对不同应用需求，为了提高检索精度，可以对样本图像进行多种方式的预处理，包括统一尺寸处理、冗余区域剔除、高斯模糊处理、仿射变换等。
[0060]以移动设备平台为添加单张新样本图像为例，通过摄像头获取当前场景图像，由于用户在用手点击按键抓取图像时，会使手机产生较大的抖动，以至于可能使检索结果产生较大的误差，这里我们可以采用延时操作的方式，比如移动设备接收到按键响应后，延时300ms?500ms进行摄像头的图像采集操作，同时在这一延时间歇中对摄像头进行对焦，使摄像头场景中心区域的图像更加清晰。根据摄像头的参数，采集到的图像可能为多个不同的尺寸，我们可以将之统一为较大边为480像素长度(可以根据实际需要进行调整)的图像。因为生成检索数据库时需要保证样本图像尽量不含有过多的冗余数据，在通过摄像头采集图像时，样本图像目标图像区域可能为当前场景图像的子区域，存在较大的冗余区域，例如当对目标进行图像采集时，由于大多数目标都有明显的边界(图片目标一般具有四边形边界，实物目标也具有固定的边界)，可以先对前景图像做一次四边形区域提取或者独立目标区域提取的操作，剔除冗余数据。另外，为保证在极端条件下本系统仍然具备足够的检索精度(>98% )，需要对剔除冗余数据之后的图像进行进一步的预处理。由于在移动设备端利用本系统进行图像检索时，得到的待检索目标图像可能是焦外模糊的图像数据，本系统可以对原样本图像进行模拟焦外模糊的处理(高斯模糊处理)，使检索数据库中存在与待检索目标图像更相近的正确数据。另外，在极端拍摄角度下，得到的目标图像是原样本图像经过极端仿射变换后的结果，可以对原样本图像进行一定程度的仿射变换，产生N张不同视角的样本图像。将这些图像作为对应样本图像的图像集加入训练过程(总数为2N+2张图像，原图+4张仿射以及模糊图像+4张模糊图像的仿射图)。将预处理后的样本图像数据集传递给特征提取模块进行特征提取。
[0061]上面介绍了本发明实施例生成检索数据库的方法，下面结合图2介绍对应的图像检索方法，参见图2，所述图像检索方法包括如下步骤:
[0062]S201:获取目标图像；
[0063]S202:对目标图像或经预处理后的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；本步骤特征提取采用的方法需与生成检索数据库时选用的特征提取方法一致，例如生成检索数据库时选用的为SIFT算法，那么本步骤也需要用SIFT算法进行特征提取。
[0064]S203:利用分类器对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；本步骤采用的分类器必须与生成检索数据库时候的分类器一致。
[0065]S204:在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；本步骤对特征描述进行降维的方法也需要与生成检索数据库时候的方法—致。
[0066]S205:将得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；
[0067]S206:返回匹配分值最高的样本图像的索引值；或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值(存在多个大于一阀值的匹配分值结果，则待检索的目标图像中，极大可能存在多个与数据库中样本图像匹配的子区域)。根据不同检索需求，步骤S206在返回样本图像索引值的同时，还可以同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息(可根据匹配特征点在图像区域内的位置信息、尺度、方向信息进计算得到)，样本图像原图数据，样本图像对应的虚拟信息数据。
[0068]本图像检索方法可以在任意系统平台上使用，为了提高检索成功率，可以预先根据不同平台对S201步骤获取的目标图像进行预处理。以移动设备平台为例，通过摄像头获取当前场景图像，由于用户在用手点击按键抓取图像时，会使手机产生较大的抖动，以至于可能使检索结果产生较大的误差，因此可采用延时操作的方式，比如移动设备接收到按键响应后，延时300ms?500ms进行摄像头的图像采集操作，同时在这一延时间歇中对摄像头进行对焦，使摄像头场景中心区域的图像更加清晰。根据摄像头的参数，采集到的图像可能为多个不同的尺寸，我们可将之统一为较大边为960像素长度的图像(根据检索精度的需求不同，可以对应调整)。通常在生成检索数据库时是使用的样本图像原图，对数据库而言不存在冗余数据，而在通过摄像头采集待检索目标图像时，目标图像区域通常为当前场景图像的子区域，存在较大的冗余区域。实际使用中，可以根据实际的子图像区域和当前场景图像区域大小比例调整采集得到的图像数据大小。同时，对应于不同的检索需求，例如当对图片进行检索时，由于大多数图片都有明显的四边形边界，可以先对前景图像做一次四边形区域提取的操作，剔除冗余数据，将摄像头采集到的目标图像经上述预处理后传递给特征提取模块。[0069]步骤S205中，计算匹配分值的具体步骤包括:
[0070]A:将得到的标签数据与检索数据库中的对应分类索引中的所有标签进行遍历匹配；遍历匹配时，分别计算两标签对应字节位之间的海明距离，将各字节之间的海明距离累加得到距离和(按照生成检索数据库时的例举方法，每个特征点的标签对应一个8字节的二进制数据，直接计算两者中对应字节位之间的海明距离，将8个距离值累加，得到一个大于等于0，小于等于64的距离和)，以距离和为索引值在海明距离权重表中查得目标图像特征点与检索数据库中对应特征点的匹配权值。可根据经验建立海明距离权重表，海明距离权重表中:距离和越小，其对应的匹配权值越大，表示这两个特征点为同一个点的几机率越大；
[0071]B:以样本图像索引为标记，找出与目标图像中的点标签之间的匹配权值最大的样本图像，记该样本图像中的对应点与目标图像对应点标签之间的匹配权值为目标图像中的对应点与该样本图像之间的检索分值；将检索分值小于阈值(如18)的匹配点剔除；
[0072]C:再次按样本图像索引进行分类，将目标图像中的所有对应于同一张样本图像的点集标签数据归为一类，剔除其中小于三个匹配点的点集匹配对，累加剩余匹配集合中其点与样本图像之间的检索分值，累加结果为目标图像与样本图像之间的匹配分值。
[0073]上面介绍的是本发明实施例图像检索数据库生成方法及对应的图像检索方法，下面，结合介绍本发明实施例相关装置和系统。
[0074]本发明实施例一种图像检索数据库生成系统，包括:特征提取模块、特征处理模块和数据库存储模块，其中:
[0075]所述特征提取模块，用于对样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
[0076]所述特征处理模块，包括分类器和降维单元，分类器用于对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；降维单元用于结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据；具体的分类方法及降维方法参见前面图像检索数据库生成方法实施例，在此不赘述。
[0077]所述数据库存储模块，用于将样本图像内容数据和标签数据分类存储，参见图1存储结构，样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向、特征描述信息及样本图像对应的AR数据、原图像数据等；且将标签数据按分类索引值在各分类中以标签为单位,顺序存储到检索数据库,每个标签数据对应一个分类索引值,每个分类索引值对应一组同类的标签数据集合。
[0078]优选的，所述图像检索数据库生成系统还包括分类器训练模块，用于在特征处理模块中未检测到分类器时，对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器，分类器生成方法参见前面图像检索数据库生成方法实施例，在此不赘述。
[0079]优选的，所述图像检索数据库生成系统还包括与特征提取模块相连的样本图像预处理模块，所述样本图像预处理模块包括尺寸统一处理单元、冗余区域剔除单元、高斯模糊处理单元、仿射变换处理单元中的一个或多个子单元。
[0080]本发明实施例图像检索系统，包括图像检索客户端和后端检索服务器，图像检索客户端内安装有图像检索装置。一种实施例中，图像检索装置对待检索的目标图像进行一系列处理后，仅将标签数据封装到检索请求中发送到后端检索服务器进行检索；另一种实施例中，图像检索装置直接将图像获取模块获取的目标图像封装到检索请求中发送到后端检索服务器进行检索。这两种实施例采用的检索方法和检索数据库相同，区别在于图像检索客户端和后端检索服务器两边分工不同。
[0081]本发明图像检索系统第一实施例中，安装于客户端内的图像检索装置包括目标图像获取模块，特征提取模块、特征处理模块、检索请求发送模块和检索结果接收模块，其中:所述图像获取模块，用于获取目标图像；所述特征提取模块，用于对目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；所述特征处理模块包括分类器和降维单元，分类器用于对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；所述检索请求发送模块，用于将得到的标签数据封装到检索请求中发送到后端检索服务器进行检索；所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
[0082]图像检索系统第一实施例中后端检索服务器包括检索数据库、匹配模块和信息返回模块，其中:检索数据库是由前述的图像检索数据库生成系统所生成的数据库，图像检索数据库结构参见图1 ;所述匹配模块，用于接收来自客户端的检索请求，并将检索请求内包含的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。优选的，所述信息返回模块还可以根据检索请求，在返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
[0083]本发明图像检索系统第二实施例中，图像检索装置包括图像获取模块、检索请求发送模块和检索结果接收模块，所述图像获取模块用于获取目标图像；所述检索请求发送模块，用于将图像获取模块获取的目标图像封装到检索请求中发送到后端检索服务器进行检索；所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
[0084]图像检索系统第二实施例中，后端检索服务器包括检索数据库、特征提取模块、特征处理模块、匹配模块和信息返回模块，其中:检索数据库是前述的图像检索数据库生成系统所生成的数据库，图像检索数据库结构参见图1 ;所述特征提取模块，用于接收来自客户端的检索请求，并将检索请求内包含的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；所述特征处理模块包括分类器和降维单元，分类器用于目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3?15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据；所述匹配模块，用于将降维单元得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值；所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
[0085]本发明通过对特征点描述内容进行分类并降维，实现了对描述内容的压缩，能有效提高数据传输效率。另外数据库在进行数据存储时候，将样本图像内容数据和标签数据分类存储，能有效减少图像检索等待时间，使在大数据库中实现实时检索，成为可能。
[0086]本发明实施例中所述模块或单元，可以通过通用集成电路，例如CPU (CentralProcessing Unit,中央处理器)，或通过 ASIC (Application SpecificIntegratedCircuit,专用集成电路)来实现。
[0087]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。
[0088]以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
【权利要求】
1.一种图像检索数据库生成方法，其特征在于，包括: 对样本图像或经预处理后的样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 利用分类器对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引； 结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据； 将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息； 将标签数据按分类索引值在各分类中以标签为单位，顺序存储到检索数据库，每个标签数据对应一个分类索引值，每个分类索引值对应一组同类的标签数据集合。
2.如权利要求1所述的方法，其特征在于，所述经预处理后的样本图像指经统一尺寸处理、冗余区域剔除、高斯模糊处理、仿射变换中的一种或多种方式预处理后的样本图像。
3.如权利要求1或2所述的方法，其特征在于，在利用分类器对样本图像的特征描述信息进行分类之前，还包括:判断是否已有分类器； 若是，则根据已有分类器对样本图像的特征描述信息进行分类； 若否，则对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。
4.如权利要求3所述的方法，其特征在于，所述对特征描述信息所组成的数据集合进行训练，生成分类器，具体为:采用K均值聚类算法生成若干个聚类中心，然后用近邻法根据聚类中心的分布情况对描述数据进行分类。
5.如权利要求3所述的方法，其特征在于，所述对特征描述信息进行降维是采用主成分分析PCA方法生成降维矩阵。
6.如权利要求3所述的方法，其特征在于，所述样本图像的内容数据还包括:样本图像原图数据、样本图像对应的虚拟信息数据。
7.一种图像检索方法，其特征在于，包括: 获取目标图像； 对目标图像或经预处理后的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 利用分类器对目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3~15范围内的自然数； 在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应η个标签数据； 将得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值； 返回匹配分值最高的样本图像的索引值；或 返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
8.如权利要求7所述的方法，其特征在于，返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
9.如权利要求7或8所述的方法，其特征在于，所述计算目标图像与数据库中各样本图像的匹配分值，进一步包括: 将得到的标签数据与检索数据库中的对应分类索引中的所有标签进行遍历匹配；遍历匹配时，分别计算两标签对应字节位之间的海明距离，将各字节之间的海明距离累加得到距离和，以距离和为索引值在海明距离权重表中查得目标图像特征点与检索数据库中对应特征点的匹配权值； 以样本图像索引为标记，找出与目标图像中的点标签之间的匹配权值最大的样本图像，记该样本图像中的对应点与目标图像对应点标签之间的匹配权值为目标图像中的对应点与该样本图像之间的检索分值；将检索分值小于阈值的匹配点剔除； 再次按样本图像索引进行分类，将目标图像中的所有对应于同一张样本图像的点集标签数据归为一类，剔除其中小于三个匹配点的点集匹配对，累加剩余匹配集合中其点与样本图像之间的检索分值，累加结果为目标图像与样本图像之间的匹配分值。
10.一种图像检索数据库生成系统，其特征在于，所述系统包括:特征提取模块、特征处理模块和数据库存储模 块，其中: 所述特征提取模块，用于对样本图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 所述特征处理模块，包括分类器和降维单元，分类器用于对样本图像的特征描述信息进行分类，找出一个最优分类结果，分类后每个类别对应一个分类索引；降维单元用于结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应一个标签数据； 所述数据库存储模块，用于将样本图像内容数据以样本图像索引为单位，顺序存储到检索数据库，一个样本图像的内容数据包括:样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；且将标签数据按分类索引值在各分类中以标签为单位,顺序存储到检索数据库,每个标签数据对应一个分类索引值,每个分类索引值对应一组同类的标签数据集合。
11.如权利要求10所述的系统，其特征在于，所述系统还包括:分类器训练模块，用于在特征处理模块中未检测到分类器时，对所有样本图像的特征描述信息所组成的数据集合进行训练，生成分类器。
12.如权利要求10或11所述的系统，其特征在于，所述系统还包括与特征提取模块相连的样本图像预处理模块，所述样本图像预处理模块包括尺寸统一处理单元、冗余区域剔除单元、高斯模糊处理单元、仿射变换处理单元中的一个或多个子单元。
13.一种图像检索装置，安装于客户端，其特征在于，所述图像检索装置包括目标图像获取模块，特征提取模块、特征处理模块、检索请求发送模块和检索结果接收模块，其中: 所述图像获取模块，用于获取目标图像； 所述特征提取模块，用于对目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 所述特征处理模块包括分类器和降维单元，分类器用于对目标图像的特征描述信息进行分类， 找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3~15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签,每个特征点对应η个标签数据； 所述检索请求发送模块，用于将得到的标签数据封装到检索请求中发送到后端检索服务器进行检索； 所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
14.一种后端检索服务器，其特征在于，所述后端检索服务器包括检索数据库、匹配模块和信息返回模块，其中:检索数据库是由权利要求10至12任一项所述的图像检索数据库生成系统所生成的数据库； 所述匹配模块，用于接收来自客户端的检索请求，并将检索请求内包含的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值； 所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
15.如权利要求14所述的后端检索服务器，其特征在于，所述信息返回模块还可以根据检索请求，在返回样本图像索引值的同时，同时返回如下数据中的一种或多种:样本图像特征数据，该样本图像与目标图像匹配区域位置信息，样本图像原图数据，样本图像对应的虚拟信息数据。
16.一种图像检索系统，包括图像检索客户端和后端检索服务器，其特征在于，所述图像检索客户端内安装有权利要求13所述的图像检索装置；所述后端检索服务器为权利要求14或15所述的后端检索服务器。
17.一种后端检索服务器，其特征在于，所述后端检索服务器包括检索数据库、特征提取模块、特征处理模块、匹配模块和信息返回模块，其中:检索数据库是由权利要求10至12任一项所述的图像检索数据库生成系统所生成的数据库； 所述特征提取模块，用于接收来自客户端的检索请求，并将检索请求内包含的目标图像进行特征提取，提取出来的特征数据包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息； 所述特征处理模块包括分类器和降维单元，分类器用于目标图像的特征描述信息进行分类，找出前η种最优分类结果，每种分类结果中每个类别对应一个分类索引值，η为3~15范围内的自然数；将维单元用于在η种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签,每个特征点对应η个标签数据； 所述匹配模块，用于将降维单元得到的标签数据与检索数据库中对应分类索引中的所有标签进行遍历匹配，计算目标图像与数据库中各样本图像的匹配分值； 所述信息返回模块，用于根据检索请求返回匹配分值最高的样本图像的索引值，或返回匹配分值高于设定阈值的所有样本图像的索引值和匹配分值。
18.一种图像检索系统，包括图像检索客户端和后端检索服务器，其特征在于，所述图像检索客户端内安装图像检索装置，所述后端检索服务器为权利要求17所述的后端检索服务器； 所述图像检索装置包括图像获取模块、检索请求发送模块和检索结果接收模块，所述图像获取模块用于获取目标图像；所述检索请求发送模块，用于将图像获取模块获取的目标图像封装到检索请求中发送到后端检索服务器进行检索；所述检索结果接收模块，用于接收后端检索服务器返回的检索结果信息。
【文档编号】G06F17/30GK103927387SQ201410180882
【公开日】2014年7月16日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】陈卓, 李薪宇 申请人:成都理想境界科技有限公司
最新回复(0)