基于彩色直方图和nsct的模糊相关异步图像检索方法
基于彩色直方图和nsct的模糊相关异步图像检索方法
【技术领域】
[0001] 本发明涉及图像检索方法，具体为一种利用彩色直方图提取的颜色特征和非下采 样轮廓波变换提取的纹理特征进行综合特征的图像检索方法。
【背景技术】
[0002] 一幅图像表述的内容是很丰富的，它包含了多个方面的特征，仅利用一种特征并 不能够描述图像的全部内容。另外，人们对图像的理解是建立在人眼所能识别的全部特征 之上的，对图像整体的理解，并不是只基于某一个特征，所以若仅从某一个方面来对图像进 行描述，往往得不到全面的描述，而且在图像发生较大变化（放大、缩小、平移或旋转等）时 常常不能取得理想的检索效果。
[0003] 目前，单一特征的图像检索方法已经不能满足用户的要求，综合特征检索得到了 广泛的应用。综合特征检索应用两个或多个特征对图像进行描述，要比单一的特征更能全 面地描述图像的内容，使得每幅图像的差异就愈加明显，区分信息增加，根据它们得出的检 索结果也更加准确。
【发明内容】
[0004] 颜色和纹理是图像检索中最常用的两种特征，图像库中的图像数目众多，内容更 是千差万别，颜色特征和纹理特征都仅能描述图像的部分属性，不同图像侧重的特征并不 一定相同，为了能更加客观全面的描述图像的属性，得到更好的检索效果，本发明的目的在 于提供一种综合彩色直方图提取的颜色特征和NSCT提取出的纹理特征进行综合特征图像 检索方法。
[0005] 本发明是采用如下技术方案实现的：
[0006] -种基于彩色直方图和NSCT的模糊相关异步图像检索方法，包括如下步骤：
[0007] (1)、对图像库中的任一幅图像D和待检索图像Q，将RGB图像的颜色量化为16维， 分别提取彩色直方图，具体方法如下：
[0008] 将三维色彩值（r，g，b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现 的像素数作为纵轴，制作出图像D的彩色直方图和图像Q的彩色直方图，然后利用彩色直方 图来提取颜色特征；
[0009] 在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定 每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相 似性度量；
[0010] 由于RGB空间色彩为三维，则假设图像D和图像Q的彩色直方图的对应某一级次 的一对色彩矢量分别为：q(1^，gi,bD及Cj(rj，gj,bj)，则其相似度用高斯隶属函数表不为：
[0012] 利用模糊隶属函数计算相似度，如下：
[0013] 将式（5)得到的e,)代入式9中，利用a廣关系模糊匹配得出检索结果，其 中，阈值的取值可以根据实验结果确定。
[0015] 当大于等于阈值ai时，取值为1，认为两特征相似，则进行下 一步；否则，停止，返回进行下一张图像与待检图像进行处理。
[0016] (2)、对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度匕和^的相似 度表示为：
[0018] 利用模糊隶属函数计算相似度，如下：
[0019] 将式（6)得到的//>,』,)代入式10中，利用a2级关系模糊匹配得出检索结果，其 中，阈值a2的取值可以根据实验结果确定。
[0021] 当大于等于阈值a2时，取值为1，认为两特征相似，则进行下 一步；否则，停止，返回进行下一张图像与待检图像进行处理。
[0022] (3)、将待检索图像Q和图库中的每一幅图像依次经过步骤⑴和（2)的处理后， 得出步骤⑴和⑵的输出检索结果都是1的所有图像，作为新的图像库；
[0023] (4)、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提 取，NSCT提取纹理特征方法如下：
[0024] 将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2, 3, 4}，子带数为4,8， 16的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值y,和标准方 差％，均值^和标准方差〇 计算公式如下：
[0027] 其中，Ck(i，j)是第k个NSCT方向子带的系数，MXN是该子带的大小，yk是第k 个方向子带的系数平均值，〇k是第k个方向子带的系数标准方差；得到每幅图像的纹理特 征向量为56维；M和N表不一帧图像的行列数；
[0028] 即图像P的纹理特征向量f= (y丨，〇丨，y2, 〇 2, ? ??，y28, 〇 28)，
[0029]图像Q的纹理特征向量f' = (y，" " y，2,〇，2，...，y，28,〇，28)〇
[0030] (5)、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征 向量分别进行高斯归一化处理，将所有特征值都归一化到[-1，1]区间内，具体方法如下：
[0031] 高斯归一化是在假定特征向量F的分布满足均值为y、标准方差为0的高斯分布 的条件下，采用下式对特征向量进行归一化，
[0033] 式（8)中，均值y和标准方差〇表示特征向量F这个集合的均值和标准方差；
[0034] 经过高斯归一化处理的图像P的纹理特征向量
[0035] f-( y1P，0IP,y2P，〇2P，? ? ?，P28P，〇28P)，其中，
等 等依次计算得到fp。
[0036] 经过高斯归一化处理的图像Q的纹理特征向量
[0037] f- (y 1Q) 0IQ)y2Q) 0 2Q，? ? ?，y28Q) 0 28Q);其中，
等等依次计算得到Q。
[0038] 对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：
[0040] 其中，//和/^分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理 后的第k个纹理特征分量值（包括均值yk和标准方差〇 k，那么式7中总共是56个数值 的加和）。
[0041] (6)、利用模糊隶属函数计算相似度，如下：
[0042] 将式（7)得到的代入式11中，利用a3级关系模糊匹配得出检索结果， 其中，阈值a3的取值可以根据实验结果确定。
[0044]当/^大于等于阈值％时，凡取为1，认为图像P和图像Q特征相 似；否则，凡,,（0，A取为〇,认为图像P和图像Q特征不相似。
[0045] (7)、将待检索图像Q和新图库中的每一幅图像均经过步骤⑷至步骤（6)的对比 后，输出检索结果为1的所有图像，异步综合检索结束。
[0046] 下面对本发明方法中用到的一些原理阐述如下。
[0047] 1、关于彩色直方图提取颜色特征的原理如下：
[0048] 彩色直方图的概念是在某一个颜色模型中，统计不同颜色在整幅图像中出现的频 率，常被用来描述图像颜色的统计特征。但是彩色直方图并没有考虑每种色彩所处的空间 位置，仅记录了各种色彩出现的像素个数，也就是说无法使用彩色直方图来描述图像中的 对象或物体。在该方法中将三维色彩值（r，g，b)作为彩色直方图的横轴，该三维色彩值在 整幅图像中出现的像素数作为纵轴，然后利用彩色直方图来提取颜色特征。
[0049] 2、关于NSCT提取纹理特征的原理如下：
[0050]基于NSCT的多尺度性和多方向性等特 点，采用如下算法。首先将彩色图像转化为 灰度图像，然后通过非下采样轮廓波变换（Non-SubsampledContourletTransform，NSCT) 变换对灰度图像进行分解，得到不同尺度下、不同方向上的子带系数Ck(i，j)，各子带的系 数代表了图像的能量，将均值^和标准方差〇i作为图像的纹理特征。实验过程中对灰度 图像进行三层NSCT分解。取分解系数为{2, 3, 4}，则各层方向子带数分别为4,8,16 ;计算 各子带的均值和标准方差作为图像NSCT变换得到的纹理特征，每幅图像的纹理特征向量 为 56( = (4+8+16)*2)维。纹理特征向量f\= (y丨，〇y2, 〇 2, ? ??，y28, 〇 28)，均值yi 和标准方差〇 计算公式如下：
[0053] 其中，Ck(i，j)是第k个NSCT方向子带的系数，MXN是该子带的大小，yk是第k 个方向子带的系数平均值，〇k是第k个方向子带的系数标准方差。
[0054] 3、关于图像特征的模糊相关的原理如下：
[0055] 假设集合X=R+，Y=R，则模糊关系xSy的模糊隶属函数用高斯型函数表示为：
[0057] 以上可以计算出两特征矢量的相似程度，在判定整幅图像的特征相似与否时，常 常需要简明的表示出"是"或"否"两个确定值，这时需要从图像的特征集中抽取一部分与 已知特征相似的特征，而去除不相似的特征，这个过程在模糊数学中被称为去模糊化或清 晰化过程。采用模糊关系中的a级关系可以实现这一目的，从而判定特征相似与否：
[0059] 其中cGC，C是图像特征集；a是阈值，用来判定两种特征相似与否。当yK(C，Q) 大于等于阈值a时，At(d,)取为1，认为两特征相似，否则，认为两特征不相似。
[0060] 3. 1、彩色直方图的模糊相关
[0061] 通常计算两个彩色直方图的相似程度，就是要计算每一对色彩柱的相似程度再进 行统计。不同彩色图像的彩色直方图不同，但是每一幅彩色图像的主色调会在彩色直方图 中有所体现。在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确 定每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行 相似性度量。
[0062] 这里由于不同图像的主色调并不一定相同，即不同彩色直方图对应级次的色彩柱 的色彩值（横坐标）不一定相互匹配，因此，对彩色直方图进行相似性度量时，就需要先判 断彩色直方图对应级次色彩柱的横坐标即色彩的对应关系，然后再判断对应色彩柱的高度 的相似程度。
[0063] 由于RGB空间色彩为三维，则假设两个彩色直方图的某一级次的一对色彩矢量分 别为：q(1^，gi,bj及Cj(rj，gj,bj)，则其相似度用高斯隶属函数表示为：
[0065] 上式的隶属函数将两个色彩矢量的相似程度映射到[0, 1]闭区间内。
[0066] 对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度匕和、的相似度表 示为：
[0068] 上式将色彩柱高度的相关性映射到[0,1]闭区间内，越接近1，两个对应 柱的高度越接近，当值为1时，高度相等，两色彩柱完全相同。
[0069] 若对上述颜色特征进行相似性判断，可利用模糊关系中的a级关系即式（4)，其中 a值由实验获得。
[0070] 3. 2、NSCT的模糊相关
[0071] 对图像进行NSCT变换，分解层数为3,各层分解系数分别为{2, 3, 4}，计算各子 带的均值和标准方差作为图像NSCT变换的纹理特征向量f= (yi，〇1，y2, 〇2，...，y28 ，〇 28)，对于图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：
[0073] 其中，//和//分别为图像库中图像P和待检索图像Q的第k个纹理特征分量值 (即每个k值均对应一个均值yk和一个标准方差〇 k)。通过计算待检索图像与图像库中图 像的模糊隶属函数得到其相似度，按照相似度从大到小的顺序对图像库中图像进行排序， 函数值越接近1，则图像越相似。
[0074]若对上述纹理特征进行相似性判断，可利用模糊关系中的a级关系即式（4)，其中 a值由实验获得。
[0075] 4、关于特征向量的归一化
[0076] 进行综合特征的检索时，由于要考虑到两个或两个以上数目的特征，就不得不注 意到不同特征在物理含义和数值上的差异。而这些差异常常会导致检索误差，为了避免这 方面的影响，就需要对特征向量进行归一化处理。特征向量的归一化一般分为两类：特征向 量的内部归一化和特征向量的外部归一化。
[0077] (1)、特征向量的内部归一化主要针对某一特征向量中的各个分量，通过将其归一 化到某一特定范围内来使得各个分量对最终检索结果的贡献相同。
[0078] 图像颜色特征提取的是图像的彩色直方图的色彩柱的色彩值及高度，它们分别作 为特征，各自代表的含义相同，取值范围变化也不大，因此不需要进行内部归一化。
[0079] 图像纹理特征提取的是通过NSCT变换得到的各子带系数的均值y和标准方差 〇，由于经NSCT变换所得的均值y和标准方差〇数量级的差距较大，这里需要用到特征 向量的内部归一化，由于这一特征满足高斯分布，因此用高斯归一化公式对其进行高斯归 一化，将所有特征值都归一化到[_1，1]区间内。高斯归一化是在假定特征向量F的分布满 足均值为U，标准方差为〇的高斯分布的条件下，由下式对特征向量进行的归一化；
[0081] (2)、特征向量的外部归一化主要针对多个特征向量，通过归一化来确保各个特征 向量的重要性，也可以通过改变权重来侧重某一特征。
[0082] 由于从X到Y的一个模糊关系S是XXY到[0, 1]的一个映射，所以基于彩色直方 图的相似度和基于NSCT的相似度都分布在[0, 1]区间内，它们的物理意义相同，取值范围 也确定在[0，1]区间内，所以均不需要进行特征向量的外部归一化。
[0083] 综上所述，本方法设计合理，利用彩色直方图来提取图像的颜色特征，将彩色直方 图的色彩矢量和色彩柱的高度这两个特征作为检索依据，利用模糊集理论中的模糊隶属函 数计算相似度、a级模糊关系判定相似性，同时引入非下采样轮廓波变换（Non-Subsampled ContourletTransform，NSCT)来提取图像的纹理特征，利用NSCT变换对图像进行分解， 提取不同层次多个方向上的子带系数的均值和标准方差为特征向量，作为图像库中图像的 索引，并利用模糊集理论中的模糊隶属函数计算图像之间的相似度，由于其多尺度性、多方 向性和平移不变性，分解后保留有强大的方向信息，可以更全面地描述图像的纹理特征，最 后，将上述两种算法相结合，运用综合特征对图像进行检索。这种基于综合特征的方法中对 权值的设定会影响图像检索的效果，使得颜色和纹理特征能够优势互补，提高图像的检索 精度。这种综合特征方法不仅比单一特征的检索方法有更好的检索精度，由于其在特征提 取和相似性度量方面的改进，使得其较之其它的综合特征方法也更有优势。
【附图说明】
[0084] 图1表示本发明方法的流程示意图。
[0085] 图2表示Corel图像库示例。
[0086] 图3表示待检索图像Q。
[0087] 图4表示 采用不设定阈值的颜色特征检索的返回30幅图像。
[0088] 图5表示采用不设定阈值的NSCT提取纹理特征检索的返回30幅图像。
[0089]图6表示采用不设定阈值的异步综合检索到的图像。
[0090] 图7表示设定阈值的颜色特征检索到的图像。
[0091] 图8表示设定阈值的NSCT提取纹理特征检索到的图像。
[0092] 图9表示采用发明方法检索到的图像。
【具体实施方式】
[0093] 下面结合附图对本发明的具体实施例进行详细说明。
[0094] -种基于彩色直方图和NSCT的模糊相关异步图像检索方法，如图1所示，包括如 下步骤：
[0095] (1)、对图像库中的任一幅图像D和待检索图像Q，将RGB图像的颜色量化为16维， 分别提取彩色直方图，具体方法如下：
[0096] 将三维色彩值（r，g，b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现 的像素数作为纵轴，制作出图像D的彩色直方图和图像Q的彩色直方图，然后利用彩色直方 图来提取颜色特征。
[0097] 在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定 每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相 似性度量。
[0098] 由于RGB空间色彩为三维，则假设图像D和图像Q的彩色直方图的对应某一级 次（优选为第一级次，即高度最高的级次，有利于计算的准确）的一对色彩矢量分别为： q(:^，gi,bj及Cj(rj，gj,bj)，则其相似度用高斯隶属函数表示为：
[0100] 上式的隶属函数将两个色彩矢量的相似程度映射到[0, 1]闭区间内。
[0101] 利用模糊隶属函数计算相似度，如下：
[0102] 将式（5)得到的代入式9中，利用a:级关系模糊匹配得出检索结果，其 中，通过多次实验确定阈值q取值为0. 95 ;
[0104] 当大于等于阈值〇1时，取值为1，认为两特征相似，则进行下 一步；否则，停止，返回进行下一张图像与待检图像进行处理。
[0105] (2)、对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度hJPhj的相似 度表示为：
[0107] 上式将色彩柱高度的相关性映射到[0, 1]闭区间内，h越接近1，两个对应 柱的高度越接近，当值为1时，高度相等，两色彩柱完全相同。
[0108] 利用模糊隶属函数计算相似度，如下：
[0109] 将式（6)得到的//、(/(./?,,)代入式10中，利用（12级关系模糊匹配得出检索结果，其 中，通过多次实验确定阈值a2取值为0. 90 ;
[0111] 当/大于等于阈值a2时，hj取值为1，认为两特征相似，则进行下 一步；否则，停止，返回进行下一张图像与待检图像进行处理。
[0112] (3)、将待检索图像Q和图库中的每一幅图像依次经过步骤⑴和（2)的处理后， 得出步骤⑴和⑵的输出检索结果都是1的所有图像，作为新的图像库；
[0113](4)、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提 取，NSCT提取纹理特征方法如下：
[0114] 将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2, 3, 4}，子带数为4,8， 16的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值y,和标准方 差〇i，均值yi和标准方差〇i的计算公式如下：
[0117] 其中，ck(i，j)是第k个NSCT方向子带的系数，MXN是该子带的大小，yk是第k 个方向子带的系数平均值，〇k是第k个方向子带的系数标准方差；得到每幅图像的纹理特 征向量为56维；M和N表不一帧图像的行列数；
[0118] 即图像P的纹理特征向量f= (h，〇丨，y2, 〇2，...，y28, 〇28)，
[0119]图像Q的纹理特征向量f' =(y' " "y' 2, 〇 ' 2, ? ??，y' 28, 〇 ' 28) 〇
[0120] (5)、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征 向量分别进行高斯归一化处理，将所有特征值都归一化到[-1，1]区间内，具体方法如下：
[0121] 高斯归一化是在假定特征向量F的分布满足均值为y、标准方差为〇的高斯分布 的条件下，采用下式对特征向量进行归一化，
[0123] 式（8)中，均值y和标准方差〇表示特征向量F这个集合的均值和标准方差；
[0124] 经过高斯归一化处理的图像P的纹理特征向量
[0125] f- (U1P，01P，U2P，0 2P，? ??，P28P，0 28P)，其中， 等
， 等依次计算得到fP。
[0126] 经过高斯归一化处理的图像Q的纹理特征向量
[0127]f- (y 1Q) 0IQ)y2Q) 0 2Q，? ??，y28Q) 0 28Q)，其中，
等等依次计算得到Q。 ，
[0128] 对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：
[0130] 其中，//和Ae分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理 后的第k个纹理特征分量值（包括均值yk和标准方差0 k)。
[0131] (6)、利用模糊隶属函数计算相似度，如下：
[0132] 将式（7)得到的代入式11中，利用a3级关系模糊匹配得出检索结果， 其中，通过多次实验确定阈值a3取值为0. 75;
[0134] 当大于等于阈值a3时，//na(0,P)取为1，认为图像P和图像Q特征相 似；否则，凡" (0，取为〇,认为图像P和图像Q特征不相似。
[0135] (7)、将待检索图像Q和新图库中的每一幅图像均经过步骤⑷至步骤（6)的处理 后，得出输出检索结果1的所有图像，异步综合检索结束。
[0136] 下面通过具体的实验结果来分析本发明方法的技术效果。
[0137] 如图2所示，实验所用的图像库是从美国斯坦福大学的Corel图库中的10类彩色 图像，每类1〇〇幅，共1000幅图像。
[0138] 检索系统为"基于NSCT&Color模糊相关的图像检索系统"，用上述图像库进行实 验，评价标准选择查准率，分别从每类图像中随机选出5幅图像作为待检索图像，分别计算 对每幅图像的查准率，然后计算对每一类图像的平均检索查准率。
[0139] 单一特征和综合特征对检索结果影响的对比实验
[0140] 实验中将①单一的颜色特征检索方式；②单一的纹理特征检索方式；③颜色特征 和纹理特征的异步综合检索组合；三种检索算法进行比较。
[0141] 该组实验检索结果如表1。
[0142] 表1检索算法性能比较（按阈值返回图像的平均查准率）
[0143]
[0144] 从表1可以看出，同步综合检索算法对所有类型图像的检索查准率都比较高。阈 值的设定使得系统更容易给出期望的结果。而异步综合检索算法的图像检索查准率更是高 达100%，这是由于整个检索过程考虑到了所有两种特征向量，当且仅当所有特征向量都匹 配时才返回结果，检索精度更高。
[0145] 总的来说，由于融合了彩色直方图和NSCT变换及模糊集理论三者的优点，本文的 综合特征算法对每一类图像的检索性能都比对比实验算法要好。
[0146]另外，结合附图3-9说明以马为待检索图像的基于不同特征的检索结果。
[0147] 图3是以绿色草地为背景的一大一小两匹棕红色马的图像；图4中有两幅是不相 关的大象图像，剩余28幅中有15幅是两匹棕红色马的图像；图5中有六幅是不相关的图 像，剩余24幅中几乎全是一大一小两匹马；图6中都是以绿色草地为背景的两匹马图像。
[0148] 当按照阈值返回结果时，图7检索到的就是待检索图像本身；图8中包括待检索图 像在内的5幅图像中全部为两匹马的图像，而且前三幅均为绿色草地背景的两匹棕红色马 的图像，前两幅图像更是相当相似；图9中检索到就是待检索图像本身。
[0149] 对比可知综合特征的算法是比单一特征算法更有效的一种算法，提高了图像检索 的准确率。当想要返回同一类图像时，可以直接按照相似度返回；若想要获得最相似的图 像，则可以设定阈值。
[0150] 本发明方法提出了综合彩色直方图颜色特征和NSCT纹理特征的模糊相关图像检 索方法，与单一的颜色特征检索和单一的纹理特征检索方式进行了比较，实验结果表明综 合特征检索方法优于单一特征检索方法；并将综合特征检索方法与基于轮廓波变换和累积 彩色直方图的欧氏距离相关图像检索方法进行了比较实验，由比较结果可知，综合特征的 算法比单一特征的算法的检索效果好。
[0151] 最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参 照本发明实施例进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案 进行修改或者等同替换，都不脱离本发明的技术方案的精神和范围，其均应涵盖本发明的 权利要求保护范围中。
【主权项】
1. 一种基于彩色直方图和NSCT的模糊相关异步图像检索方法，其特征在于：包括如下 步骤： (1) 、对图像库中的任一幅图像D和待检索图像Q，将RGB图像的颜色量化为16维，分别 提取彩色直方图，具体方法如下： 将三维色彩值（r，g，b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现的像 素数作为纵轴，制作出图像D的彩色直方图和图像Q的彩色直方图，然后利用彩色直方图来 提取颜色特征； 在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定每一 色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相似性 度量； 由于RGB空间色彩为三维，则假设图像D和图像Q的彩色直方图的对应某一级次的一 对色彩矢量分别为：Ci Cri, gi, IDi)及Cjj Crj, gj, bj)，则其相似度用高斯隶属函数表示为：利用模糊隶属函数计算相似度，如下： 将式（5)得到的代入式9中，利用a i级关系模糊匹配得出检索结果，当&^，4大于等于阈值〇1时，4幻,^^取值为1，认为两特征相似，则进行下一步； 否则，停止，返回进行下一张图像与待检图像进行处理； (2) 、对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度匕和^的相似度表 示为：利用模糊隶属函数计算相似度，如下： 将式（6)得到的代入式1〇中，利用α2级关系模糊匹配得出检索结果，当/大于等于阈值Q2时，取值为1，认为两特征相似，则进行下一步； 否则，停止，返回进行下一张图像与待检图像进行处理； (3) 、将待检索图像Q和图库中的每一幅图像依次经过步骤（1)和（2)的处理后，得出 步骤（1)和（2)的输出检索结果都是1的所有图像，作为新的图像库； (4) 、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提取， NSCT提取纹理特征方法如下： 将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2, 3, 4}，子带数为4,8,16 的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值μ i和标准方差 〇i，均值Ui和标准方差σ i的计算公式如下：其中，Ck(i，j)是第k个NSCT方向子带的系数，MXN是该子带的大小，Uk是第k个方 向子带的系数平均值，〇k是第k个方向子带的系数标准方差；得到每幅图像的纹理特征向 量为56维；M和N表不一帧图像的行列数； 即图像P的纹理特征向量f= O1, O1, μ2，σ2，···，"28，0 28)， 图像Q的纹理特征向量f' = ( μ ' " σ '丨，μ ' 2，0 ' 2,…，y ' 28，0 ' 28); (5) 、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征向量 分别进行高斯归一化处理，将所有特征值都归一化到[-1，1]区间内，具体方法如下： 高斯归一化是在假定特征向量F的分布满足均值为μ、标准方差为σ的高斯分布的条 件下，采用下式对特征向量进行归一化，式（8)中，均值μ和标准方差σ表示特征向量F这个集合的均值和标准方差； 经过高斯归一化处理的图像P的纹理特征向量 f - ( y IP) 0 IP) y 2P> σ 2P> · · · ) 28P) 0 28p), 经过高斯归一化处理的图像Q的纹理特征向量 -p' Q- ( n / π / n / π / η / π / 、 丄-、P IQ，υ 1Q，μ 2Q，u 2Q，· · ·，μ 28Q，υ 28Q/ * 对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：其中，//和Ae分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理后的 第k个纹理特征分量值； (6) 、利用模糊隶属函数计算相似度，如下： 将式⑵得到的/6(0,/5)代入式11中，利用α 3级关系模糊匹配得出检索结果，当大于等于阈值Q3时，(0，取为1，认为图像P和图像Q特征相似； 否则，Mlii (0，取为0,认为图像P和图像Q特征不相似； (7)、将待检索图像Q和新图库中的每一幅图像均经过步骤（4)至步骤（6)的处理后， 得出输出检索结果1的所有图像，异步综合检索结束。2.根据权利要求1所述的基于彩色直方图和NSCT的模糊相关异步图像检索方法，其特 征在于：步骤⑴中，阈值〇1为0. 95 ;步骤⑵中，阈值α 2为0. 90 ;步骤（6)中，阈值α 3为 0· 75。
【专利摘要】本发明涉及图像检索方法，利用彩色直方图来提取图像的颜色特征，将彩色直方图的色彩矢量和色彩柱的高度这两个特征作为检索依据，利用模糊集理论中的模糊隶属函数计算相似度、α级模糊关系判定相似性，同时引入非下采样轮廓波变换(NSCT)来提取图像的纹理特征，利用NSCT变换对图像进行分解，提取不同层次多个方向上的子带系数的均值和标准方差为特征向量，作为图像库中图像的索引，并利用模糊集理论中的模糊隶属函数计算图像之间的相似度，由于其多尺度性、多方向性和平移不变性，分解后保留有强大的方向信息，可以更全面地描述图像的纹理特征，最后，将上述两种算法相结合，运用综合特征对图像进行检索。
【IPC分类】G06T7/00, G06F17/30
【公开号】CN104899280
【申请号】CN201510291031
【发明人】张丽红, 张云霞
【申请人】山西大学
【公开日】2015年9月9日
【申请日】2015年5月29日
【技术领域】
[0001] 本发明涉及图像检索方法，具体为一种利用彩色直方图提取的颜色特征和非下采 样轮廓波变换提取的纹理特征进行综合特征的图像检索方法。
【背景技术】
[0002] 一幅图像表述的内容是很丰富的，它包含了多个方面的特征，仅利用一种特征并 不能够描述图像的全部内容。另外，人们对图像的理解是建立在人眼所能识别的全部特征 之上的，对图像整体的理解，并不是只基于某一个特征，所以若仅从某一个方面来对图像进 行描述，往往得不到全面的描述，而且在图像发生较大变化（放大、缩小、平移或旋转等）时 常常不能取得理想的检索效果。
[0003] 目前，单一特征的图像检索方法已经不能满足用户的要求，综合特征检索得到了 广泛的应用。综合特征检索应用两个或多个特征对图像进行描述，要比单一的特征更能全 面地描述图像的内容，使得每幅图像的差异就愈加明显，区分信息增加，根据它们得出的检 索结果也更加准确。
【发明内容】
[0004] 颜色和纹理是图像检索中最常用的两种特征，图像库中的图像数目众多，内容更 是千差万别，颜色特征和纹理特征都仅能描述图像的部分属性，不同图像侧重的特征并不 一定相同，为了能更加客观全面的描述图像的属性，得到更好的检索效果，本发明的目的在 于提供一种综合彩色直方图提取的颜色特征和NSCT提取出的纹理特征进行综合特征图像 检索方法。
[0005] 本发明是采用如下技术方案实现的：
[0006] -种基于彩色直方图和NSCT的模糊相关异步图像检索方法，包括如下步骤：
[0007] (1)、对图像库中的任一幅图像D和待检索图像Q，将RGB图像的颜色量化为16维， 分别提取彩色直方图，具体方法如下：
[0008] 将三维色彩值（r，g，b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现 的像素数作为纵轴，制作出图像D的彩色直方图和图像Q的彩色直方图，然后利用彩色直方 图来提取颜色特征；
[0009] 在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定 每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相 似性度量；
[0010] 由于RGB空间色彩为三维，则假设图像D和图像Q的彩色直方图的对应某一级次 的一对色彩矢量分别为：q(1^，gi,bD及Cj(rj，gj,bj)，则其相似度用高斯隶属函数表不为：
[0012] 利用模糊隶属函数计算相似度，如下：
[0013] 将式（5)得到的e,)代入式9中，利用a廣关系模糊匹配得出检索结果，其 中，阈值的取值可以根据实验结果确定。
[0015] 当大于等于阈值ai时，取值为1，认为两特征相似，则进行下 一步；否则，停止，返回进行下一张图像与待检图像进行处理。
[0016] (2)、对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度匕和^的相似 度表示为：
[0018] 利用模糊隶属函数计算相似度，如下：
[0019] 将式（6)得到的//>,』,)代入式10中，利用a2级关系模糊匹配得出检索结果，其 中，阈值a2的取值可以根据实验结果确定。
[0021] 当大于等于阈值a2时，取值为1，认为两特征相似，则进行下 一步；否则，停止，返回进行下一张图像与待检图像进行处理。
[0022] (3)、将待检索图像Q和图库中的每一幅图像依次经过步骤⑴和（2)的处理后， 得出步骤⑴和⑵的输出检索结果都是1的所有图像，作为新的图像库；
[0023] (4)、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提 取，NSCT提取纹理特征方法如下：
[0024] 将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2, 3, 4}，子带数为4,8， 16的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值y,和标准方 差％，均值^和标准方差〇 计算公式如下：
[0027] 其中，Ck(i，j)是第k个NSCT方向子带的系数，MXN是该子带的大小，yk是第k 个方向子带的系数平均值，〇k是第k个方向子带的系数标准方差；得到每幅图像的纹理特 征向量为56维；M和N表不一帧图像的行列数；
[0028] 即图像P的纹理特征向量f= (y丨，〇丨，y2, 〇 2, ? ??，y28, 〇 28)，
[0029]图像Q的纹理特征向量f' = (y，" " y，2,〇，2，...，y，28,〇，28)〇
[0030] (5)、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征 向量分别进行高斯归一化处理，将所有特征值都归一化到[-1，1]区间内，具体方法如下：
[0031] 高斯归一化是在假定特征向量F的分布满足均值为y、标准方差为0的高斯分布 的条件下，采用下式对特征向量进行归一化，
[0033] 式（8)中，均值y和标准方差〇表示特征向量F这个集合的均值和标准方差；
[0034] 经过高斯归一化处理的图像P的纹理特征向量
[0035] f-( y1P，0IP,y2P，〇2P，? ? ?，P28P，〇28P)，其中，
等 等依次计算得到fp。
[0036] 经过高斯归一化处理的图像Q的纹理特征向量
[0037] f- (y 1Q) 0IQ)y2Q) 0 2Q，? ? ?，y28Q) 0 28Q);其中，
等等依次计算得到Q。
[0038] 对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：
[0040] 其中，//和/^分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理 后的第k个纹理特征分量值（包括均值yk和标准方差〇 k，那么式7中总共是56个数值 的加和）。
[0041] (6)、利用模糊隶属函数计算相似度，如下：
[0042] 将式（7)得到的代入式11中，利用a3级关系模糊匹配得出检索结果， 其中，阈值a3的取值可以根据实验结果确定。
[0044]当/^大于等于阈值％时，凡取为1，认为图像P和图像Q特征相 似；否则，凡,,（0，A取为〇,认为图像P和图像Q特征不相似。
[0045] (7)、将待检索图像Q和新图库中的每一幅图像均经过步骤⑷至步骤（6)的对比 后，输出检索结果为1的所有图像，异步综合检索结束。
[0046] 下面对本发明方法中用到的一些原理阐述如下。
[0047] 1、关于彩色直方图提取颜色特征的原理如下：
[0048] 彩色直方图的概念是在某一个颜色模型中，统计不同颜色在整幅图像中出现的频 率，常被用来描述图像颜色的统计特征。但是彩色直方图并没有考虑每种色彩所处的空间 位置，仅记录了各种色彩出现的像素个数，也就是说无法使用彩色直方图来描述图像中的 对象或物体。在该方法中将三维色彩值（r，g，b)作为彩色直方图的横轴，该三维色彩值在 整幅图像中出现的像素数作为纵轴，然后利用彩色直方图来提取颜色特征。
[0049] 2、关于NSCT提取纹理特征的原理如下：
[0050]基于NSCT的多尺度性和多方向性等特 点，采用如下算法。首先将彩色图像转化为 灰度图像，然后通过非下采样轮廓波变换（Non-SubsampledContourletTransform，NSCT) 变换对灰度图像进行分解，得到不同尺度下、不同方向上的子带系数Ck(i，j)，各子带的系 数代表了图像的能量，将均值^和标准方差〇i作为图像的纹理特征。实验过程中对灰度 图像进行三层NSCT分解。取分解系数为{2, 3, 4}，则各层方向子带数分别为4,8,16 ;计算 各子带的均值和标准方差作为图像NSCT变换得到的纹理特征，每幅图像的纹理特征向量 为 56( = (4+8+16)*2)维。纹理特征向量f\= (y丨，〇y2, 〇 2, ? ??，y28, 〇 28)，均值yi 和标准方差〇 计算公式如下：
[0053] 其中，Ck(i，j)是第k个NSCT方向子带的系数，MXN是该子带的大小，yk是第k 个方向子带的系数平均值，〇k是第k个方向子带的系数标准方差。
[0054] 3、关于图像特征的模糊相关的原理如下：
[0055] 假设集合X=R+，Y=R，则模糊关系xSy的模糊隶属函数用高斯型函数表示为：
[0057] 以上可以计算出两特征矢量的相似程度，在判定整幅图像的特征相似与否时，常 常需要简明的表示出"是"或"否"两个确定值，这时需要从图像的特征集中抽取一部分与 已知特征相似的特征，而去除不相似的特征，这个过程在模糊数学中被称为去模糊化或清 晰化过程。采用模糊关系中的a级关系可以实现这一目的，从而判定特征相似与否：
[0059] 其中cGC，C是图像特征集；a是阈值，用来判定两种特征相似与否。当yK(C，Q) 大于等于阈值a时，At(d,)取为1，认为两特征相似，否则，认为两特征不相似。
[0060] 3. 1、彩色直方图的模糊相关
[0061] 通常计算两个彩色直方图的相似程度，就是要计算每一对色彩柱的相似程度再进 行统计。不同彩色图像的彩色直方图不同，但是每一幅彩色图像的主色调会在彩色直方图 中有所体现。在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确 定每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行 相似性度量。
[0062] 这里由于不同图像的主色调并不一定相同，即不同彩色直方图对应级次的色彩柱 的色彩值（横坐标）不一定相互匹配，因此，对彩色直方图进行相似性度量时，就需要先判 断彩色直方图对应级次色彩柱的横坐标即色彩的对应关系，然后再判断对应色彩柱的高度 的相似程度。
[0063] 由于RGB空间色彩为三维，则假设两个彩色直方图的某一级次的一对色彩矢量分 别为：q(1^，gi,bj及Cj(rj，gj,bj)，则其相似度用高斯隶属函数表示为：
[0065] 上式的隶属函数将两个色彩矢量的相似程度映射到[0, 1]闭区间内。
[0066] 对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度匕和、的相似度表 示为：
[0068] 上式将色彩柱高度的相关性映射到[0,1]闭区间内，越接近1，两个对应 柱的高度越接近，当值为1时，高度相等，两色彩柱完全相同。
[0069] 若对上述颜色特征进行相似性判断，可利用模糊关系中的a级关系即式（4)，其中 a值由实验获得。
[0070] 3. 2、NSCT的模糊相关
[0071] 对图像进行NSCT变换，分解层数为3,各层分解系数分别为{2, 3, 4}，计算各子 带的均值和标准方差作为图像NSCT变换的纹理特征向量f= (yi，〇1，y2, 〇2，...，y28 ，〇 28)，对于图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：
[0073] 其中，//和//分别为图像库中图像P和待检索图像Q的第k个纹理特征分量值 (即每个k值均对应一个均值yk和一个标准方差〇 k)。通过计算待检索图像与图像库中图 像的模糊隶属函数得到其相似度，按照相似度从大到小的顺序对图像库中图像进行排序， 函数值越接近1，则图像越相似。
[0074]若对上述纹理特征进行相似性判断，可利用模糊关系中的a级关系即式（4)，其中 a值由实验获得。
[0075] 4、关于特征向量的归一化
[0076] 进行综合特征的检索时，由于要考虑到两个或两个以上数目的特征，就不得不注 意到不同特征在物理含义和数值上的差异。而这些差异常常会导致检索误差，为了避免这 方面的影响，就需要对特征向量进行归一化处理。特征向量的归一化一般分为两类：特征向 量的内部归一化和特征向量的外部归一化。
[0077] (1)、特征向量的内部归一化主要针对某一特征向量中的各个分量，通过将其归一 化到某一特定范围内来使得各个分量对最终检索结果的贡献相同。
[0078] 图像颜色特征提取的是图像的彩色直方图的色彩柱的色彩值及高度，它们分别作 为特征，各自代表的含义相同，取值范围变化也不大，因此不需要进行内部归一化。
[0079] 图像纹理特征提取的是通过NSCT变换得到的各子带系数的均值y和标准方差 〇，由于经NSCT变换所得的均值y和标准方差〇数量级的差距较大，这里需要用到特征 向量的内部归一化，由于这一特征满足高斯分布，因此用高斯归一化公式对其进行高斯归 一化，将所有特征值都归一化到[_1，1]区间内。高斯归一化是在假定特征向量F的分布满 足均值为U，标准方差为〇的高斯分布的条件下，由下式对特征向量进行的归一化；
[0081] (2)、特征向量的外部归一化主要针对多个特征向量，通过归一化来确保各个特征 向量的重要性，也可以通过改变权重来侧重某一特征。
[0082] 由于从X到Y的一个模糊关系S是XXY到[0, 1]的一个映射，所以基于彩色直方 图的相似度和基于NSCT的相似度都分布在[0, 1]区间内，它们的物理意义相同，取值范围 也确定在[0，1]区间内，所以均不需要进行特征向量的外部归一化。
[0083] 综上所述，本方法设计合理，利用彩色直方图来提取图像的颜色特征，将彩色直方 图的色彩矢量和色彩柱的高度这两个特征作为检索依据，利用模糊集理论中的模糊隶属函 数计算相似度、a级模糊关系判定相似性，同时引入非下采样轮廓波变换（Non-Subsampled ContourletTransform，NSCT)来提取图像的纹理特征，利用NSCT变换对图像进行分解， 提取不同层次多个方向上的子带系数的均值和标准方差为特征向量，作为图像库中图像的 索引，并利用模糊集理论中的模糊隶属函数计算图像之间的相似度，由于其多尺度性、多方 向性和平移不变性，分解后保留有强大的方向信息，可以更全面地描述图像的纹理特征，最 后，将上述两种算法相结合，运用综合特征对图像进行检索。这种基于综合特征的方法中对 权值的设定会影响图像检索的效果，使得颜色和纹理特征能够优势互补，提高图像的检索 精度。这种综合特征方法不仅比单一特征的检索方法有更好的检索精度，由于其在特征提 取和相似性度量方面的改进，使得其较之其它的综合特征方法也更有优势。
【附图说明】
[0084] 图1表示本发明方法的流程示意图。
[0085] 图2表示Corel图像库示例。
[0086] 图3表示待检索图像Q。
[0087] 图4表示 采用不设定阈值的颜色特征检索的返回30幅图像。
[0088] 图5表示采用不设定阈值的NSCT提取纹理特征检索的返回30幅图像。
[0089]图6表示采用不设定阈值的异步综合检索到的图像。
[0090] 图7表示设定阈值的颜色特征检索到的图像。
[0091] 图8表示设定阈值的NSCT提取纹理特征检索到的图像。
[0092] 图9表示采用发明方法检索到的图像。
【具体实施方式】
[0093] 下面结合附图对本发明的具体实施例进行详细说明。
[0094] -种基于彩色直方图和NSCT的模糊相关异步图像检索方法，如图1所示，包括如 下步骤：
[0095] (1)、对图像库中的任一幅图像D和待检索图像Q，将RGB图像的颜色量化为16维， 分别提取彩色直方图，具体方法如下：
[0096] 将三维色彩值（r，g，b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现 的像素数作为纵轴，制作出图像D的彩色直方图和图像Q的彩色直方图，然后利用彩色直方 图来提取颜色特征。
[0097] 在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定 每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相 似性度量。
[0098] 由于RGB空间色彩为三维，则假设图像D和图像Q的彩色直方图的对应某一级 次（优选为第一级次，即高度最高的级次，有利于计算的准确）的一对色彩矢量分别为： q(:^，gi,bj及Cj(rj，gj,bj)，则其相似度用高斯隶属函数表示为：
[0100] 上式的隶属函数将两个色彩矢量的相似程度映射到[0, 1]闭区间内。
[0101] 利用模糊隶属函数计算相似度，如下：
[0102] 将式（5)得到的代入式9中，利用a:级关系模糊匹配得出检索结果，其 中，通过多次实验确定阈值q取值为0. 95 ;
[0104] 当大于等于阈值〇1时，取值为1，认为两特征相似，则进行下 一步；否则，停止，返回进行下一张图像与待检图像进行处理。
[0105] (2)、对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度hJPhj的相似 度表示为：
[0107] 上式将色彩柱高度的相关性映射到[0, 1]闭区间内，h越接近1，两个对应 柱的高度越接近，当值为1时，高度相等，两色彩柱完全相同。
[0108] 利用模糊隶属函数计算相似度，如下：
[0109] 将式（6)得到的//、(/(./?,,)代入式10中，利用（12级关系模糊匹配得出检索结果，其 中，通过多次实验确定阈值a2取值为0. 90 ;
[0111] 当/大于等于阈值a2时，hj取值为1，认为两特征相似，则进行下 一步；否则，停止，返回进行下一张图像与待检图像进行处理。
[0112] (3)、将待检索图像Q和图库中的每一幅图像依次经过步骤⑴和（2)的处理后， 得出步骤⑴和⑵的输出检索结果都是1的所有图像，作为新的图像库；
[0113](4)、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提 取，NSCT提取纹理特征方法如下：
[0114] 将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2, 3, 4}，子带数为4,8， 16的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值y,和标准方 差〇i，均值yi和标准方差〇i的计算公式如下：
[0117] 其中，ck(i，j)是第k个NSCT方向子带的系数，MXN是该子带的大小，yk是第k 个方向子带的系数平均值，〇k是第k个方向子带的系数标准方差；得到每幅图像的纹理特 征向量为56维；M和N表不一帧图像的行列数；
[0118] 即图像P的纹理特征向量f= (h，〇丨，y2, 〇2，...，y28, 〇28)，
[0119]图像Q的纹理特征向量f' =(y' " "y' 2, 〇 ' 2, ? ??，y' 28, 〇 ' 28) 〇
[0120] (5)、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征 向量分别进行高斯归一化处理，将所有特征值都归一化到[-1，1]区间内，具体方法如下：
[0121] 高斯归一化是在假定特征向量F的分布满足均值为y、标准方差为〇的高斯分布 的条件下，采用下式对特征向量进行归一化，
[0123] 式（8)中，均值y和标准方差〇表示特征向量F这个集合的均值和标准方差；
[0124] 经过高斯归一化处理的图像P的纹理特征向量
[0125] f- (U1P，01P，U2P，0 2P，? ??，P28P，0 28P)，其中， 等
， 等依次计算得到fP。
[0126] 经过高斯归一化处理的图像Q的纹理特征向量
[0127]f- (y 1Q) 0IQ)y2Q) 0 2Q，? ??，y28Q) 0 28Q)，其中，
等等依次计算得到Q。 ，
[0128] 对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：
[0130] 其中，//和Ae分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理 后的第k个纹理特征分量值（包括均值yk和标准方差0 k)。
[0131] (6)、利用模糊隶属函数计算相似度，如下：
[0132] 将式（7)得到的代入式11中，利用a3级关系模糊匹配得出检索结果， 其中，通过多次实验确定阈值a3取值为0. 75;
[0134] 当大于等于阈值a3时，//na(0,P)取为1，认为图像P和图像Q特征相 似；否则，凡" (0，取为〇,认为图像P和图像Q特征不相似。
[0135] (7)、将待检索图像Q和新图库中的每一幅图像均经过步骤⑷至步骤（6)的处理 后，得出输出检索结果1的所有图像，异步综合检索结束。
[0136] 下面通过具体的实验结果来分析本发明方法的技术效果。
[0137] 如图2所示，实验所用的图像库是从美国斯坦福大学的Corel图库中的10类彩色 图像，每类1〇〇幅，共1000幅图像。
[0138] 检索系统为"基于NSCT&Color模糊相关的图像检索系统"，用上述图像库进行实 验，评价标准选择查准率，分别从每类图像中随机选出5幅图像作为待检索图像，分别计算 对每幅图像的查准率，然后计算对每一类图像的平均检索查准率。
[0139] 单一特征和综合特征对检索结果影响的对比实验
[0140] 实验中将①单一的颜色特征检索方式；②单一的纹理特征检索方式；③颜色特征 和纹理特征的异步综合检索组合；三种检索算法进行比较。
[0141] 该组实验检索结果如表1。
[0142] 表1检索算法性能比较（按阈值返回图像的平均查准率）
[0143]
[0144] 从表1可以看出，同步综合检索算法对所有类型图像的检索查准率都比较高。阈 值的设定使得系统更容易给出期望的结果。而异步综合检索算法的图像检索查准率更是高 达100%，这是由于整个检索过程考虑到了所有两种特征向量，当且仅当所有特征向量都匹 配时才返回结果，检索精度更高。
[0145] 总的来说，由于融合了彩色直方图和NSCT变换及模糊集理论三者的优点，本文的 综合特征算法对每一类图像的检索性能都比对比实验算法要好。
[0146]另外，结合附图3-9说明以马为待检索图像的基于不同特征的检索结果。
[0147] 图3是以绿色草地为背景的一大一小两匹棕红色马的图像；图4中有两幅是不相 关的大象图像，剩余28幅中有15幅是两匹棕红色马的图像；图5中有六幅是不相关的图 像，剩余24幅中几乎全是一大一小两匹马；图6中都是以绿色草地为背景的两匹马图像。
[0148] 当按照阈值返回结果时，图7检索到的就是待检索图像本身；图8中包括待检索图 像在内的5幅图像中全部为两匹马的图像，而且前三幅均为绿色草地背景的两匹棕红色马 的图像，前两幅图像更是相当相似；图9中检索到就是待检索图像本身。
[0149] 对比可知综合特征的算法是比单一特征算法更有效的一种算法，提高了图像检索 的准确率。当想要返回同一类图像时，可以直接按照相似度返回；若想要获得最相似的图 像，则可以设定阈值。
[0150] 本发明方法提出了综合彩色直方图颜色特征和NSCT纹理特征的模糊相关图像检 索方法，与单一的颜色特征检索和单一的纹理特征检索方式进行了比较，实验结果表明综 合特征检索方法优于单一特征检索方法；并将综合特征检索方法与基于轮廓波变换和累积 彩色直方图的欧氏距离相关图像检索方法进行了比较实验，由比较结果可知，综合特征的 算法比单一特征的算法的检索效果好。
[0151] 最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参 照本发明实施例进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案 进行修改或者等同替换，都不脱离本发明的技术方案的精神和范围，其均应涵盖本发明的 权利要求保护范围中。
【主权项】
1. 一种基于彩色直方图和NSCT的模糊相关异步图像检索方法，其特征在于：包括如下 步骤： (1) 、对图像库中的任一幅图像D和待检索图像Q，将RGB图像的颜色量化为16维，分别 提取彩色直方图，具体方法如下： 将三维色彩值（r，g，b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现的像 素数作为纵轴，制作出图像D的彩色直方图和图像Q的彩色直方图，然后利用彩色直方图来 提取颜色特征； 在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定每一 色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相似性 度量； 由于RGB空间色彩为三维，则假设图像D和图像Q的彩色直方图的对应某一级次的一 对色彩矢量分别为：Ci Cri, gi, IDi)及Cjj Crj, gj, bj)，则其相似度用高斯隶属函数表示为：利用模糊隶属函数计算相似度，如下： 将式（5)得到的代入式9中，利用a i级关系模糊匹配得出检索结果，当&^，4大于等于阈值〇1时，4幻,^^取值为1，认为两特征相似，则进行下一步； 否则，停止，返回进行下一张图像与待检图像进行处理； (2) 、对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度匕和^的相似度表 示为：利用模糊隶属函数计算相似度，如下： 将式（6)得到的代入式1〇中，利用α2级关系模糊匹配得出检索结果，当/大于等于阈值Q2时，取值为1，认为两特征相似，则进行下一步； 否则，停止，返回进行下一张图像与待检图像进行处理； (3) 、将待检索图像Q和图库中的每一幅图像依次经过步骤（1)和（2)的处理后，得出 步骤（1)和（2)的输出检索结果都是1的所有图像，作为新的图像库； (4) 、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提取， NSCT提取纹理特征方法如下： 将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2, 3, 4}，子带数为4,8,16 的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值μ i和标准方差 〇i，均值Ui和标准方差σ i的计算公式如下：其中，Ck(i，j)是第k个NSCT方向子带的系数，MXN是该子带的大小，Uk是第k个方 向子带的系数平均值，〇k是第k个方向子带的系数标准方差；得到每幅图像的纹理特征向 量为56维；M和N表不一帧图像的行列数； 即图像P的纹理特征向量f= O1, O1, μ2，σ2，···，"28，0 28)， 图像Q的纹理特征向量f' = ( μ ' " σ '丨，μ ' 2，0 ' 2,…，y ' 28，0 ' 28); (5) 、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征向量 分别进行高斯归一化处理，将所有特征值都归一化到[-1，1]区间内，具体方法如下： 高斯归一化是在假定特征向量F的分布满足均值为μ、标准方差为σ的高斯分布的条 件下，采用下式对特征向量进行归一化，式（8)中，均值μ和标准方差σ表示特征向量F这个集合的均值和标准方差； 经过高斯归一化处理的图像P的纹理特征向量 f - ( y IP) 0 IP) y 2P> σ 2P> · · · ) 28P) 0 28p), 经过高斯归一化处理的图像Q的纹理特征向量 -p' Q- ( n / π / n / π / η / π / 、 丄-、P IQ，υ 1Q，μ 2Q，u 2Q，· · ·，μ 28Q，υ 28Q/ * 对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：其中，//和Ae分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理后的 第k个纹理特征分量值； (6) 、利用模糊隶属函数计算相似度，如下： 将式⑵得到的/6(0,/5)代入式11中，利用α 3级关系模糊匹配得出检索结果，当大于等于阈值Q3时，(0，取为1，认为图像P和图像Q特征相似； 否则，Mlii (0，取为0,认为图像P和图像Q特征不相似； (7)、将待检索图像Q和新图库中的每一幅图像均经过步骤（4)至步骤（6)的处理后， 得出输出检索结果1的所有图像，异步综合检索结束。2.根据权利要求1所述的基于彩色直方图和NSCT的模糊相关异步图像检索方法，其特 征在于：步骤⑴中，阈值〇1为0. 95 ;步骤⑵中，阈值α 2为0. 90 ;步骤（6)中，阈值α 3为 0· 75。
【专利摘要】本发明涉及图像检索方法，利用彩色直方图来提取图像的颜色特征，将彩色直方图的色彩矢量和色彩柱的高度这两个特征作为检索依据，利用模糊集理论中的模糊隶属函数计算相似度、α级模糊关系判定相似性，同时引入非下采样轮廓波变换(NSCT)来提取图像的纹理特征，利用NSCT变换对图像进行分解，提取不同层次多个方向上的子带系数的均值和标准方差为特征向量，作为图像库中图像的索引，并利用模糊集理论中的模糊隶属函数计算图像之间的相似度，由于其多尺度性、多方向性和平移不变性，分解后保留有强大的方向信息，可以更全面地描述图像的纹理特征，最后，将上述两种算法相结合，运用综合特征对图像进行检索。
【IPC分类】G06T7/00, G06F17/30
【公开号】CN104899280
【申请号】CN201510291031
【发明人】张丽红, 张云霞
【申请人】山西大学
【公开日】2015年9月9日
【申请日】2015年5月29日
最新回复(0)