一种基于代表性局部模式的图像指纹提取方法及系统的制作方法

一种基于代表性局部模式的图像指纹提取方法及系统的制作方法
【技术领域】
[0001] 本发明设及图像处理领域，特别设及一种基于代表性局部模式的图像指纹提取方 法及系统。
【背景技术】
[0002] 图像拷贝检测一直W来是计算机视觉热点研究领域之一，其一般策略是从图像中 抽取少数的特征，并将其整合成一个能够反映图像内容的特征向量。从图像特征的构成方 式来说一般分为全局特征和局部特征，下面针对该两种特征的发展现状进行简要的论述。 早在1999年，Naphade第一个提取图像在LUV颜色空间的直方图作为图像签名的方法，随 后Mohan使用分块的方法，提取各个分块的平均灰度值，根据该些分块的灰度值大小排序 构建特征；一个比较有影响力的图像指纹特征是Oliva提出的GIST方法，该方法提取了图 像5种视觉感知特征；自然度、开放度、粗趟度、膨胀度和险峻度，该方法在常见的图像攻击 下体现出良好的准确性。在近些年来，为了应对图像局部区域改变场景下的图像检索，人们 提出了局部描述子。最为经典的方法是Lowe的SIFT,该方法首先在平面和尺度所构成的S 维空间中选取DoG最大响应作为关键点，然后W特征点为中屯、取一定大小的区域并进行分 块，最后将分块中提取的梯度方向直方图相连构成最终的描述子。最近，二进制的局部特征 得到了大家的广泛关注，Leutenegger通过高效的AGAST角点检测子提取关键点，然后在关 键点的周围进行采样，通过灰度值的比较构建二进制串BRISK,该方法在提取速度快，具有 一定的尺度不变性。
[0003] 现有的全局特征和局部特征应用到大规模的图像拷贝检测应用中主要有W下缺 点和不足；鲁椿性差；现有的全局特征是根据图像的整体信息如颜色直方图构建，因此在 图像发生部分遮挡、裁剪的情况下就会失效；特征提取速度慢；对于大规模图像检索来说， 图像特征的提取速度要求很高，尤其是新兴的手机平台，其硬件性能有限，所W要求特征提 取的复杂度不能太高。而目前主流全局描述子GIST需要计算5种特征描述，局部特征SIFT 需要计算耗时的DOG算子，该些算法都无法应用到大规模图像拷贝检测中去；内存消耗大： 特征匹配复杂度高，现有的特征描述为了保证其鲁椿性和区分性，往往维数都较高，WSIFT 描述子为例，该算法将特征点周围的区块分为16个区域，每个区域上计算8个方向的梯度 方向直方图，共128维浮点型特征，如果每个浮点型占4个字节，一个SIFT特征需消耗500 个字节内存，而一副图像会有成百上千的SIFT特征，如此高维的特征给存储和匹配都带来 了巨大的压力。
[0004] 发明"生成图像指纹及基于此进行相似图像检索的方法"，该发明提供了一种生成 图像指纹及基于该方法进行相似图像检索W用于图像盗用识别的方法，所述图像具有M行 N列像素，包括如下步骤；a)对所述图像中的每个像素点Xy，其中i= 2,3，......M，j= 2， 3，……N，比较所述像素点与其左像素及上像素的灰度值大小，其中，左像素表示在所述一 个像素的相邻的方位上下左右的四个像素中左边的像素，上像素表示在所述一个像素的相 邻的方位上下左右的四个像素中上边的像素；b)根据不同的比较结果为所述像素点Xu赋 予指纹值Zu;c)将所述每个像素点的指纹值Zu组合为序列得到长度为（M-l)X(N-l)的 所述图像的指纹。该发明采用对每个像素构造一个指纹值，其计算、存储和匹配代价大，而 本发明挖掘图像中的关键点的有代表性模式，每幅图像仅构造一个16个字节的二进制的 图像指纹，在计算、存储和匹配上要优于该发明。
[00化]发明"一种基于局部数字指纹的图像拷贝检测方法"，该发明公开了一种基于局部 数字指纹的图像拷贝检测方法。该方法对测试图像库中的每幅图像提取局部SIFT特征，并 将该些高维的SIFT特征向量进行局部数字指纹的转化W及统计指纹在每幅图像中出现的 频率，W建立数字指纹数据库；在图像进行查询时，首先对查询图像提取SIFT特征，然后转 化得到其数字指纹W及转化过程中不可靠位置的信息，再结合不可靠位置信息在测试指纹 库的倒排索引结构中进行查询，从而快速得到与查询图像的局部数字指纹相关联的测试图 像集合，为查询图像与相关联的测试图像进行相似性度量，W判断是否为拷贝。该发明采用 SIFT描述子作为图像指纹提取的方法，计算和内存开销较大，而本文采用FAST算法作为图 像关键点的检测子，并通过统计挖掘出代表性局部模式建立二进制图像指纹特征，使用优 化的机器指令进行匹配检索，大幅减少了内存开销，提高了图像匹配的速度。
[0006] 发明"图像指纹提取方法及其设备、信息过滤方法及其系统"，该发明提供一种图 像指纹提取方法W及基于图像指纹进行信息过滤的方法和系统。其中的图像指纹提取方 法包括如下步骤；S1 ;对原始图像进行插值处理；S2 ;将插值处理后的图像分块，并进行DCT 变换；S3 ;将变换后的图片进行RGB灰度处理；S4 ;对灰度处理的图像结果进行量化；S5 ;对 图像进行无损压缩，输出一个二进制序列；S6 ;将上述二进制序列进行序列化重组，得到图 像指纹。该发明采用DCT变换、并进一步使用了无损的图像压缩方式来获取图像指纹，而本 发明的方法采用高效的FAST算法，并直接构造二进制图像指纹特征，方法更加高效。

【发明内容】

[0007] 针对现有技术的不足，本发明提出一种基于代表性局部模式的图像指纹提取方法 及系统。
[000引本发明提出一种基于代表性局部模式的图像指纹提取方法，包括：
[0009] 步骤1，将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所 述新库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模 式并建立局部模式库，从所述局部模式库中获取代表性局部模式；
[0010] 步骤2,根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹， 并将所述图像指纹存入图像指纹库；
[0011] 步骤3,获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图 像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。
[0012] 所述的基于代表性局部模式的图像指纹提取方法，所述步骤1中所述代表性局部 模式满足W下条件：
[0013] 所述代表性局部模式中的信息量占图像中总信息量的80%W上；
[0014] 所述代表性局部模式经过图像变化后，具有高鲁椿性。
[0015] 所述的基于代表性局部模式的图像指纹提取方法，所述步骤1中局部模式P为：
[0016]
[0017]C为中屯呕域的平均灰度，V。为第n个局部区块的平均灰度，其中n= 1，2,…，7， b。为第n个局部区块与中屯、区块在灰度值上的比较标志位。
[001引所述的基于代表性局部模式的图像指纹提取方法，所述步骤2还包括对图像进行 预处理，并提取所述图像的关键点。
[0019] 所述的基于代表性局部模式的图像指纹提取方法，所述步骤3包括将所述新图像 指纹与所述图像指纹库的每一条图像指纹求取海明距离，对候选图像按照所述海明距离从 小到大排序，取前K个作为查询结果返回。
[0020] 本发明还提出一种基于代表性局部模式的图像指纹提取系统，包括：
[0021] 建立局部模式库并获取代表性局部模式模块，用于将库图像进行图像攻击模拟处 理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局 部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取 代表性局部模式；
[0022] 建立图像指纹库模块，用于根据所述代表性局部模式，建立所述库图像与所述新 库图像的图像指纹，并将所述图像指纹存入图像指纹库；
[0023] 指纹比对模块，用于获取新图像，提取所述新图像的新图像指纹，将所述新图像指 纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。
[0024] 所述的基于代表性局部模式的图像指纹提取系统，所述建立局部模式库并获取代 表性局部模式模块中所述代表性局部模式满足W下条件：
[0025] 所述代表性局部模式中的信息量占图像中总信息量的80%W上；
[0026] 所述代表性局部模式经过图像变化后，具有高鲁椿性。
[0027] 所述的基于代表性局部模式的图像指纹提取系统，所述建立局部模式库并获取代 表性局部模式模块中局部模式P为：
[002引
[0029] C为中屯呕域的平均灰度，V。为第n个局部区块的平均灰度，其中n= 1，2,…，7， b。为第n个局部区块与中屯、区块在灰度值上的比较标志位。
[0030] 所述的基于代表性局部模式的图像指纹提取系统，所述建立图像指纹库模块还包 括对图像进行预处理，并提取所述图像的关键点。
[0031] 所述的基于代表性局部模式的图像指纹提取系统，所述指纹比对模块包括将所述 新图像指纹与所述图像指纹库的每一条图像指纹求取海明距离，对候选图像按照所述海明 距离从小到大排序，取前K个作为查询结果返回。由W上方案可知，本发明的优点在于：
[0032] 本发明通过实验数据统计发现图像在经过拷贝攻击之后其特征点的局部模式分 布具有一定的稳定性，并通过统计分析挖掘出该些局部模式中最具有代表性、鲁椿性高的 模式作为图像指纹构造的基础；有机的将局部检测方法和全局的方法进行了融合；技术效 果；本方法具有全局特征占用内存小，匹配速度快的特点，同时又具备局部特征方法在一定 的裁剪、局部遮挡等情况下的鲁椿性；通过统计挖掘出的代表性局部模式在图像四个象限 中分布的关系构建二进制的特征。本发明的图像指纹特征占用内存少，可W使用优化的机 器指令进行加速匹配，适于大规模的图像拷贝检测。
【附图说明】
[0033] 图1为本发明总体流程图；
[0034] 图2a为实施例中原图像；
[0035] 图化为实施例中将原图像进行裁剪处理后的图像；
[0036] 图2c为实施例中将原图像进行亮度改变处理后的图像；
[0037] 图2d为实施例中将原图像进行尺度变化处理后的图像；
[003引图2e为实施例中将原图像进行logo及字幕嵌入处理后的图像；
[0039] 图2f为为实施例中前五个局部代表性模式；
[0040] 图3为局部模式图；
[0041] 图4为本发明效果图。< br>【具体实施方式】
[0042] 本发明提出了一种基于代表性局部模式的图像指纹提取方法，其具体的流程如图 1所示，本发明主要过程分为S个阶段：训练阶段、建库阶段W及在线查询阶段。其中S个 阶段都包含图像预处理主要是将原图像的大小统一化和平滑处理，下面分别介绍=个阶段 的主要步骤：
[0043] 训练阶段：该阶段主要是将库图像进行各种图像攻击模拟处理，主要包括比例变 化、字幕或者Logo嵌入，裁剪、模糊等，然后使用FAST算法提取图像中的关键点，（"关键 点"指的是图像中含有重要信息的局部结构，例如脸部的眼睛和鼻子等结构就比额头更显 著、含有更多信息，提取"关键点"的目的是从图像中抽取最能代表该图像视觉内容的信息 进行训练），根据原图和攻击后新的图像拷贝（本发明挑选的代表性的局部模式就是那些 既出现在图像的重要局部结构上，而且从中提取的视觉特征在攻击前后又能保持不变的， 将该些作为图像的基元）局部区块的模式建立局部模式库，挑选代表性局部模式主要考虑 到两点：一、所挑选的代表性局部模式种类所占新信息量要占总信息量的80%W上，二、所 挑选的代表性局部模式种类经过图像变化鲁椿性要高。根据该两个原则挑选出代表性局部 模式，并将其应用到建库阶段和在线查询阶段；
[0044] 建库阶段，库中每一个图像首先进行图像预处理（图像预处理包括；将输入图像 按照比例将较长边调整为320,然后使用5X5的高斯卷积进行图像平滑），然后使用FAST 算法提取图像中的关键点，根据该些关键点周围区块的代表性局部模式的分布建立图像指 纹（首先将图像均分为4个象限，然后在4个象限中分别统计训练阶段得出局部代表性模 式的直方图分布，最后根据局部代表模式直方图在空间上的数量比较关系建立图像指纹）， 并存入图像指纹库用于在线查询阶段进行匹配；
[0045] 在线查询阶段，该阶段接受一副样例图像，提取图像指纹特征的过程与建库阶段 相同，得到图像指纹特征的二进制串W后，使用机器优化的指令分别与库特征的每一条图 像指纹求取海明距离，海明距离越大说明图像相似度越小，因此候选图像按照海明距离从 小到大排序，取前K个作为查询结果返回。
[0046] W下为本发明的一实施例，如下所示：
[0047] 代表性局部模式的稳定性，如图2a、2b、2c、2e、2f所示，图2a为原图像，从原图 像分别模拟了 5种图像攻击，并在相应的图像上提取Top5的代表性局部模式的分布直方 图，发现尽管图像经过了各种攻击，其局部模式的直方图分布趋势基本不变。
[0048] 局部模式定义，假设图像中某个区块如图3所示，黑色的点是FAST算法检测出来 的关键点，其中绿色点代表用于检测FAST角点的采样点。本发明在该关键点周围取9X9 大小的区块，并将该区域均匀分成9个区块，令C代表中屯、区域的平均灰度，令V。代表第n 个区块的平均灰度，其中n= 1，2,…，7,b。为第n个局部区块与中屯、区块在灰度值上的比 较标志位，则该关键点的局部模式P定义为：
[0049]
[0化日]经过上述定义，局部模式P的范围为[0, 255]。
[0051] 本发明还提出一种基于代表性局部模式的图像指纹提取系统，包括：
[0052] 建立局部模式库并获取代表性局部模式模块，用于将库图像进行图像攻击模拟处 理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局 部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取 代表性局部模式，所述代表性局部模式满足W下条件；所述代表性局部模式中的信息量占 图像中总信息量的80%W上；所述代表性局部模式经过图像变化后，具有高鲁椿性；
[0053] 建立图像指纹库模块，用于根据所述代表性局部模式，建立所述库图像与所述新 库图像的图像指纹，并将所述图像指纹存入图像指纹库；
[0054] 指纹比对模块，用于获取新图像，提取所述新图像的新图像指纹，将所述新图像指 纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。
[0055]所述建立局部模式库并获取代表性局部模式模块中局部模式P为：
[0化6]
[0化7]C为中屯、区域的平均灰度，V。为第n个局部区块的平均灰度，其中n= 1，2,…，7，b。为第n个局部区块与中屯、区块在灰度值上的比较标志位。
[0化引所述建立图像指纹库模块还包括对图像进行预处理，并提取所述图像的关键点。
[0059]所述指纹比对模块包括将所述新图像指纹与所述图像指纹库的每一条图像指纹 求取海明距离，对候选图像按照所述海明距离从小到大排序，取前K个作为查询结果返回。
[0060] 本发明总的技术效果为；本发明提出了一种基于代表性局部模式的图像指纹提取 方法及系统，并在公开的数据集INRIA化liday的数据集上做测试，与GIST(代表性的全局 图像特征），SIFT(代表性的局部图像特征）和BRISK(近期提出的二进制特征）算法做了 对比，衡量的指标是mAP(平均准确率）。第一个实验测试本发明与其他=种方法在各种图 像攻击下的性能，如图4所示。
[0061] 第二个实验测试了本发明与其他=种方法在特征提取速度，内存占用W及匹配速 度间的对比，由于局部图像特征无法支持特别大的图像库，因此实验额外添加从Flickr上 下载的1万干扰图像，各个性能指标统计如表1所示：
[0062]
[0063]表1
[0064] 从表1中可W看出，本发明将所有图像指纹特征加载到内存中仅消耗0.16MB的内 存，而GIST、SIFT、BRISK分别消耗38. 4MB、1536MB和128MB，同时在图像指纹提取和匹配的 时间上，比最快的方法还要快2-3个数量级，因此证明本发明在准确上与目前最好的方法 相当，但是在内存使用和匹配速度方面有明显的而优势。
【主权项】
1. 一种基于代表性局部模式的图像指纹提取方法，其特征在于，包括： 步骤1，将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所述新 库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模式并 建立局部模式库，从所述局部模式库中获取代表性局部模式； 步骤2,根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹，并将 所述图像指纹存入图像指纹库； 步骤3,获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图像指 纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。2. 如权利要求1所述的基于代表性局部模式的图像指纹提取方法，其特征在于，所述 步骤1中所述代表性局部模式满足以下条件： 所述代表性局部模式中的信息量占图像中总信息量的80%以上； 所述代表性局部模式经过图像变化后，具有高鲁棒性。3. 如权利要求1所述的基于代表性局部模式的图像指纹提取方法，其特征在于，所述 步骤1中局部模式P为，C为中心区域的平均灰度，Vn为第η个局部区块的平均灰度，其中η = 1，2,…，7，b "为 第η个局部区块与中心区块在灰度值上的比较标志位。4. 如权利要求1所述的基于代表性局部模式的图像指纹提取方法，其特征在于，所述 步骤2还包括对图像进行预处理，并提取所述图像的关键点。5. 如权利要求1所述的基于代表性局部模式的图像指纹提取方法，其特征在于，所述 步骤3包括将所述新图像指纹与所述图像指纹库的每一条图像指纹求取海明距离，对候选 图像按照所述海明距离从小到大排序，取前K个作为查询结果返回。6. -种基于代表性局部模式的图像指纹提取系统，其特征在于，包括： 建立局部模式库并获取代表性局部模式模块，用于将库图像进行图像攻击模拟处理， 生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局部区 块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取代表 性局部模式； 建立图像指纹库模块，用于根据所述代表性局部模式，建立所述库图像与所述新库图 像的图像指纹，并将所述图像指纹存入图像指纹库； 指纹比对模块，用于获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与 所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。7. 如权利要求6所述的基于代表性局部模式的图像指纹提取系统，其特征在于，所述 建立局部模式库并获取代表性局部模式模块中所述代表性局部模式满足以下条件： 所述代表性局部模式中的信息量占图像中总信息量的80%以上； 所述代表性局部模式经过图像变化后，具有高鲁棒性。8. 如权利要求6所述的基于代表性局部模式的图像指纹提取系统，其特征在于，所述 建立局部模式库并获取代表性局部模式模块中局部模式P为： 7 Γ14it-t EB ΓΛ C为中心区域的平均灰度，Vn为第η个局部区块的平均灰度，其中η = 1，2,…，7，b "为 第η个局部区块与中心区块在灰度值上的比较标志位。9. 如权利要求6所述的基于代表性局部模式的图像指纹提取系统，其特征在于，所述 建立图像指纹库模块还包括对图像进行预处理，并提取所述图像的关键点。10. 如权利要求6所述的基于代表性局部模式的图像指纹提取系统，其特征在于，所述 指纹比对模块包括将所述新图像指纹与所述图像指纹库的每一条图像指纹求取海明距离， 对候选图像按照所述海明距离从小到大排序，取前K个作为查询结果返回。
【专利摘要】本发明公开了一种基于代表性局部模式的图像指纹提取方法及系统，涉及图像处理领域，该方法包括将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取代表性局部模式；根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹，并将所述图像指纹存入图像指纹库；获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。本发明占用内存少，可以使用优化的机器指令进行加速匹配，适于大规模的图像拷贝检测。
【IPC分类】G06K9/46
【公开号】CN104881668
【申请号】CN201510241287
【发明人】高科, 王刚, 张勇东, 李锦涛
【申请人】中国科学院计算技术研究所
【公开日】2015年9月2日
【申请日】2015年5月13日