搜索多媒体数据的方法
专利名称：搜索多媒体数据的方法
技术领域：
本发明涉及搜索多媒体数据的方法，具体涉及通过使用用户反馈更精确地搜索多媒体数据的方法。
目前，用于数字图像信号处理的技术已经得到了极大的发展，并在各个领域得到了应用。例如，数字图像信号处理技术可以用于用来自动编辑电影或戏剧的移动图像文件中的特定角色的脸部的搜索系统，可以用于用来只允许在系统中注册的人员才能进入的安全系统，或者用于用来搜索由检测系统检测的图像或视频的特定数据的搜索系统。这些系统的性能基本上依赖于检测或搜索所需目标的速度和精确性。因此，在现有技术中已经提出了不同的图像搜索方法。
在名为“图像查询系统和方法”的美国专利5，579，471中揭示了使用诸如颜色、纹理或形状的特征来检测目标图像的相似性程度的图像搜索系统。根据所要搜索的图像，特征的重要性可能不同，并且在诸如颜色的一个特定特征中，诸如红色或绿色的特征元素的重要性也可能不同。然而，上述搜索系统并没有考虑各个目标图像的特征或特征元素的特征的重要性不一样。
在另一个名为“Virage图像搜索引擎”(www．virage．com)的搜索方法中，用户可以通过指定权数值直接输入诸如颜色、纹理和形状的特征的重要性级别。尽管可以使用这种方法根据特征的重要性来搜索图像，但是对于一个用户来说确定特征的权数可能是很困难的。
因此，在SPIE Vol．3312的“交互性关联反馈技术”中Yong Rui揭示了一种新技术，其中发现了与参考图像相似的图像，并通过计算所发现的图像的相似性自动获得特征的重要性或权数。然而，即使对于同一个图像，在完成了指定图像的搜索后权数重要性信息并没有维持，而对于每一个图像搜索需要重新计算权数重要性信息。
在现有技术的图像搜索和浏览系统或视频(运动图像)搜索和浏览系统中，描述图像或视频数据的特定特征的信息被用来更有效地搜索或浏览多媒体数据。例如，在图像查询系统中，一个图像可以被分成多个区域，并且每一个区域的代表性颜色可以用作图像的特征信息，或者可以将图像的整个颜色直方图用作特征信息。此后，基于特征信息来计算相似性，比较两个图像和确定两个图像是否相似。
因此，现有技术的图像搜索方法可能使用诸如颜色、纹理或形状的特征权数。然而，其中并没有考虑特征元素的权数。因此，现有技术的图像搜索方法在用来搜索时在智能训练和发展搜索权数上受到限制，这样延长了获得搜索结果的搜索时间，并且也降低了搜索结果的可靠性。
因此，本发明的一个目的是至少解决现有技术的问题和缺点。
本发明的一个目的是提供一种通过自动更新包含在指定图像中的特征的权数和／或特征元素的权数，和通过应用更新后的权数来搜索指定的目标的搜索多媒体数据的方法。
本发明的另一个目的是提供一种搜索多媒体数据的方法，当用户搜索图像时，通过分析和归类所应用的判别标准来构造对应于包含在指定图像中的特征的类型的图像特性，并在接下来的图像搜索中通过考虑特征的权数和特征元素的权数调整特征信息集。
本发明还有一个目的是提供一种包含在多媒体数据中的特征结构，以有效地搜索图像。
本发明的别的优点、目的和特征将在后面的叙述中逐渐体现出来。对于本领域技术人员，通过对下面内容的检验和对发明的实践能够对本发明有更多的理解。正如在所附的权利要求中具体指出的那样，可以认识和获得本发明的目的和优点。
正如本说明书所体现和广泛描述的那样，为了达到目标并与发明的目的一致，在多媒体数据搜索系统中搜索多媒体数据的方法包括搜索由用户选择的参考多媒体数据；接收所搜索多媒体数据的关联信息的用户反馈；根据关联信息确定包含在多媒体数据中的特征的各个特征元素的重要性；如果用户要求另外的搜索，通过更新上述各个元素的重要性再次执行参考多媒体数据的搜索；并且将以前的重要性更新为所获得的新的重要性，并保持更新后的重要性等级。
在本发明的另一个实施例中，在多媒体数据搜索系统中搜索多媒体数据的方法包括接收一个对先前搜索的多媒体数据的查询；在查询过程中分析所搜索多媒体数据的判断标准；应用判断标准的分析结果，使用至少一种包含在多媒体数据中的特征来构造图像特性；并当用户要求另外的搜索时，调整图像特性的重要性并再次执行多媒体数据的搜索。
本发明还提供了一种多媒体数据的特征结构，包括表示多媒体数据的特征的第一信息；表示多媒体数据的区域特征的第二信息；表示第一信息和第二信息的重要性的第三信息。
本发明将参考附图进行详细介绍，其中相同的参考数字表示相同的单元。
图1用直方图显示图像的特征；图2显示了用局部栅格表示的图像；图3是根据本发明的第一实施例的多媒体数据搜索过程的流程图；图4和图5是图2的多媒体数据搜索过程的流程图，其中初始搜索并没有产生希望的图像；图6是根据本发明的第二实施例的用于图像搜索的图像特性的基本结构；图7是图6的图像特性，其中用颜色和纹理来构造特征信息；和图8到图11是图像特性的不同的实施例。
下面将详细介绍本发明的优选实施例，在附图中展示了优选实施例的示例。
在通常的图像搜索系统中，诸如颜色、纹理和形状的图像特征可以用图1所示的直方图来表示。具体地说，图1是图像的颜色直方图，其中图像的颜色被归并为24种颜色元素。通过调整或改变每一个颜色元素的权数，可以表示每一个颜色元素的重要性级别或颜色元素对搜索的影响程度。
图2是由局部栅格表示的图像。具体地说，一个图像被分为了n*m个栅格区域，并且每一个栅格区域可以由区域颜色直方图或代表栅格区域的颜色来表示。这里，每一个栅格区域的重要性级别或栅格区域对搜索的影响程度可以通过指定每一个n*m栅格区域的权数来表示。同样，由系统预先确定的阈值可以用作界限(cap)，这样特定的栅格区域将不影响搜索。也就是说，如果一个栅格区域的权数超过了预先确定的阈值，在搜索中将用到这个栅格区域。否则，这个栅格区域被处理为“无关”区域，它将不影响图像搜索。
下面将参考图3到图5来介绍图像搜索过程。
图3是根据本发明的第一实施例当选择了多个参考图像，并且包含在指定图像中的特征的各个类型或元素的权数被指定或更新时的多媒体数据搜索过程的流程图。参考图3，一个用户选择了代表要搜索的指定图像的多个参考图像(步骤S301)。此后，系统判断并确定包含在参考图像中的特征元素的重要性。
例如，系统测量包含在参考图像中的特征的相似性(步骤S302)，并根据所测量的特征的相似性来确定每一个特征的权数(步骤S303)。同样，系统测量包含在参考图像中的每一个特征的特征元素的相似性(步骤S304)，并根据所测量的特征元素的相似性来确定各个特征的特征元素的权数(步骤S305)。
因此，如果用户要求额外的搜索，系统通过使用重要性，也就是特征的权数和各个特征中特征元素的权数，来再次进行图像搜索(步骤S306)。此时，系统可以使用特征的权数或者特征元素的权数，或者同时使用它们。
具体地说，特征的权数和各个特征的特征元素的权数按下述方法来确定。当用户选择了多个参考图像时，则搜索系统通过测量所选择的参考图像列表的特征的相似性和各个特征中特征元素的相似性来确定特征的权数和各个特征中特征元素的权数。特征的权数按照下面的方程1a、1b和1c来计算。[1a]---Weight_k=Cont(k)Cont(ALL)]]>[1b]---Cont(k)=Σi=1n-1Σj=i+1nSim(i,j,k)]]>[1c]---Cont(ALL)=Σk=1mCont(k)]]>在上面的方程中，n表示参考数字，m表示用来测量相似性的特征的数量，Weight_k表示第k个特征的权数，Sim(i，j，k)表示当使用第k个特征时第i个参考图像和第j个参考图像之间的相似性，Cont(k)表示第k个特征对提高相似性所做出的贡献的大小。通常，由于参考图像之间的相似性是基于各个特征计算得到的，并且具有最大相似性的特征用作最重要的因数，因此随着相似性增加，各个特征的权数Weight_k也增加。
特征元素的权数通过方程2a和2b使用参考图像的各个特征中的特征元素的相似性来确定。[2a]元素i的权数wi=afI(i)[2b]参考图像中元素i的相似性fI(i)=pmiqvi]]>在上面的方程中，a、p和q的值表示常数，mi表示参考图像列表中元素i的平均值，vi表示参考图像列表中元素i的分布值。根据方程2a和2b，特征元素的权数wi与相应的特征元素的分布值成反比，与相应的特征元素成分的平均值成正比。因此，即使在相应的特征元素的分布很宽的情况下，具有大平均值的特征元素仍充当重要因数。
图4是显示选择了多个参考图像和没有选择多个参考图像的情况下的多媒体数据搜索过程的流程图。通常，如果参考图像的数量不是多个，用具有相等权数的特征来进行图像搜索。然而，如果搜索没有产生希望的图像，那么与要搜索的指定图像相似的别的参考图像被选择并加到参考图像列表中。然后，用参考图像列表来更新各个特征和／或特征元素的权数。
参考图4，当用户选择了多个参考图像(步骤S401和S402)，这个过程(步骤S404～S408)和参考图3的步骤S302～S306描述的过程是一样的。因此，这里不再进行解释。其后，如果用户对图像搜索的结果感到满意(步骤S408)，搜索操作停止。然而，如果用户对搜索结果不满意，用户在搜索的结果图像中选择与要搜索的指定图像相似的别的参考图像(步骤S411)。另一方面，当用户只选择了一个参考图像时，用具有指定的权数的特征来进行图像搜索(步骤S403)。通常，如果参考图像是第一次被选择，使用具有相等的指定权数的特征来进行搜索。如果用户对搜索结果不满意，用户在搜索的结果图像中选择与要搜索的指定图像相似的别的参考图像(步骤S411)。
因此，系统将所选择的别的参考图像加到由系统管理的初始参考图像列表中(步骤S412)。这里，初始参考图像列表包括在步骤S401中所选择的参考图像。其后，系统测量在所选择的参考图像中的各个特征和／或特征元素的相似性(步骤S413)，并根据方程1a～1c、2a和2b确定所选择的参考图像中各个特征和／或特征元素的权数(步骤S414)。因此，系统更新各个特征和／或特征元素的权数，并用更新后的权数再次进行图像搜索(步骤S415)。
图5是显示选择了多个参考图像和没有选择多个参考图像的情况下的另一种多媒体数据搜索过程的流程图。通常，如果参考图像的数量不是多个，用具有相等权数的特征来进行图像搜索。然而，如果搜索没有产生希望的图像，那么与要搜索的指定图像相似或相异的别的参考图像被选择并分别加到参考图像列表或相异图像列表中。然后，用参考图像列表和相异图像列表来更新各个特征和／或特征元素的权数。
参考图5，当用户选择了多个参考图像(步骤S501和S502)时，这个过程(步骤S504～S508)和参考图3的步骤S302～S306描述的过程是一样的。因此，这里不再进行解释。其后，如果用户对图像搜索的结果感到满意(步骤S509)，搜索操作停止。然而，如果用户对搜索结果不满意，用户在搜索的结果图像中选择与要搜索的指定图像相似和相异的别的参考图像。另一方面，当用户只选择了一个参考图像时，用具有指定的权数的特征来进行图像搜索(步骤S503)。这里，如果参考图像是第一次被选择，使用具有相等的指定权数的特征来进行搜索。如果用户对搜索结果不满意，那么用户在搜索的结果图像中选择与要搜索的指定图像相似和相异的别的参考图像。
因此，系统将所选择的相似图像加到由系统管理的初始参考图像列表中(步骤S511)，并将相异图像加到初始相异图像列表中(步骤S512)。这里，初始参考图像列表包括在步骤S501中所选择的参考图像。其后，系统测量包含在参考图像列表中的图像的各个特征和／或特征元素的相似性(步骤S513)，并测量包含在相异图像列表中的图像的各个特征和／或特征元素的相似性(步骤S514)。
根据方程1a～1c、2a和2b，系统使用包含在参考图像列表和相异图像列表中的图像确定各个特征和／或特征元素的权数(步骤S515)。因此，系统更新各个特征和／或特征元素的权数，并用更新后的权数再次进行图像搜索(步骤S516)。具体地说，通过包含在参考／相异图像列表中的图像的各个特征和／或特征元素的相似性测量，根据方程3a～3d来计算特征的权数。[3a]---Weight_k=(a×WeightI_k)×(bWeightR_k)]]>[3b]---WeightR_k=(WeightI_k)=Cont(k)Cont(ALL)]]>[3c]---Cont(k)=Σi=1n-1Σj=i+1nSim(i,j,k)]]>[3d]---Cont(ALL)=Σk=1mCont(k)]]>在上面的方程中，n表示参考图像列表或相异图像列表中的参考数量，m表示用于相似性测量的特征的数量，Weight_k表示第k个特征的最终权数，Sim(i，j，k)表示当使用第k个特征时第i个参考图像和第j个参考图像之间的相似性，Cont(k)表示第k个特征对提高相似性所做出的贡献的大小，WeightI_k表示参考图像列表中第k个特征的权数，WeightR_k表示相异图像列表中第k个特征的权数。通常，包含在参考图像列表和相异图像列表中的图像的相似性是分别计算的。结果，各个特征的权数Weight_k随着包含在参考图像列表中的图像的相似性增加而增加，而随着包含在相异图像列表中的图像的相似性增加而减小。
同样，在测量包含在参考／相异图像列表中的图像的各个特征的特征元素的相似性后，通过方程4a～4b来确定各个特征的特征元素的权数。元素i的权数wi=afI(i)+bfR(i)[4b]参考图像中元素i的相似性fI(i)=pmiqvi]]>在上面的方程中，fR(I)=pmi×vi表示包含在相异图像列表中的图像的元素i的相异性，a、b、p和q的值表示常数，mi表示包含在相应(参考和相异)图像列表中的图像的元素i的平均值，vi表示包含在相应(参考和相异)图像列表中的图像的元素i的分布值。通常，包含在参考图像列表和相异图像列表中的图像的相似性是分别计算的。结果，各个特征元素的权数Weight_k随着包含在参考图像列表中的图像的相似性增加而增加，而随着包含在相异图像列表中的图像的相似性增加而减小。
如果特征的权数和特征元素的权数按上面的方法确定，在图像搜索的过程中将用方程5来计算相似性。[5]---A-Σk=0nwkΣi=0kmwk_iDiff(Fk_i,p,q)]]>这里，A是一个常数，Diff(Fk_i，p，q)表示图像p和图像q的第k个特征的第i个元素之间的差异，wk_i表示第k个特征的第i个特征元素的权数，wk表示第k个特征的权数，n表示特征的数量，km表示第k个特征的特征元素的数量。因此，通过将各个图像的特征差异值、各个特征的特征元素权数和各个特征的权数相乘得到差异值。同样，通过从常数减去差异值得到相似性。
正如图3到图5所描述的那样，当用户搜索一个图像时，系统自动确定并更新要搜索的图像的各个特征的特征元素权数和特征的权数。因此，就能进行快速和有效的搜索。
然而，如果用户在看到了前面的搜索结果后还想对指定的图像进行进一步的搜索，用户可以对搜索系统提出和输入不同的查询种类。表1显示了用户查询的示例，表2显示了当颜色和纹理用作图像的基本特征时根据查询类型所需要的特征信息。表1
表2
第3种图像特征信息是局部颜色信息，它代表图像中一个区域，也就是栅格区域，的颜色特征。各个局部栅格的代表性颜色可以作为局部颜色信息的示例。或者，从整体颜色信息获得的颜色元素的权数可以用作局部颜色信息。
第4种图像特征元素是局部纹理信息，它表示图像中栅格区域的纹理特征。各个栅格的代表性纹理可以作为局部纹理信息的示例。或者，从整体纹理信息获得的纹理元素的权数可以用作局部纹理信息。
第5种图像特征元素是局部颜色和纹理信息，它表示图像中栅格区域的颜色和纹理特征。各个栅格的代表性颜色和纹理可以作为局部颜色和纹理信息的示例。或者，分别从整体颜色信息和整体纹理信息获得的颜色和纹理元素的权数可以用作局部颜色和纹理信息。
第6种图像特征元素是局部颜色位置信息，它表示在图像中一个特定位置的区域的颜色特征。颜色局部栅格特征可以作为局部颜色位置信息的示例。第7种图像特征元素是局部纹理位置信息，它表示在图像中一个特定位置的区域的纹理特征。纹理局部栅格特征可以作为局部纹理位置信息的一个示例。同样，在图像中一个特定位置的区域的指定的颜色和纹理特征可以由第6种和第7种信息的组合表示。
第8种图像特征信息是局部颜色和纹理信息，它表示在图像中一个特定位置的区域的指定的颜色和纹理特征。颜色和纹理局部栅格特征可以作为局部颜色和纹理位置信息的一个示例。
如上所述，系统能够通过使用基于查询内容的分析结果构造一组特征信息(也就是图像特性)并且将元素权数加到所构造的特征上来进行有效的搜索。因此，如果用户要求搜索，系统调整图像特性，也就是特征和／或特征元素的权数，的重要性，并进行图像搜索。
使用参考多媒体数据的搜索方法通过调整包含在多媒体数据中的特征和／或各个特征的特征元素的权数来确定和参考多媒体数据具有最大相似性的多媒体数据。这里，特征和／或各个特征的特征元素的权数的调整可以用由用户进行的直接调整方法、由系统进行的自动调整方法，以及由用户进行的使用反馈给系统的关联信息(也就是正和负信息)的调整方法中的一种来进行。下面将详细介绍上面所提到的特征的意义。
首先，颜色直方图表示图像中的颜色分布。与之相似，纹理直方图表示图像中的纹理分布。
颜色图像栅格表示将图像分为n*m个栅格区域所形成的栅格区域的颜色信息。纹理图像栅格表示将图像分为n*m个栅格区域所形成的栅格区域的纹理信息。颜色纹理联合局部栅格表示将图像分为n*m个栅格区域所形成的栅格区域的颜色纹理信息。
图6显示了考虑用户601的查询类型和关联反馈而构造的纹理描述的结构。这个结构包含了表示整个图像的特征的整体信息602、表示图像区域的特征的空间信息603和表示所构造的特征602和603的重要性的权数信息604。整体信息包括整个图像的整体特征描述符605、整个图像的整体纹理描述符的特征元素的元素权数描述符606。空间信息603包括图像区域的空间特征描述符607和图像区域的位置权数描述符608。
整个图像的整体信息602和图像区域的空间信息603可以通过有选择地组合包含在图像中的诸如颜色、纹理和形状的特征来构造。这里，基本特征的可能组合可以由下面的方程6得到，其中n表示基本特征的数量。[6]---Σk=1nnCk]]>
因此，通过方程6得到的特征类型的数量应用于局部位置，对于整体信息，由于这里n表示基本特征的数量，特征类型的总数可以通过方程7得到。[7]---Σk=1nnCk+2n]]>本发明将使用颜色和纹理两个基本特征来进行介绍。在这种情况下，系统所需的特征类型的总数是3+2*2=7。然而，如果加进了形状特征，所需的特征类型的总数将是7+2*3=13。
图7显示了使用颜色和纹理特征构造的图像特性。参考图7，用来根据用户反馈调整图像特征的权数的关联反馈图像701包括整个图像的整体颜色信息702a、整个图像的整体纹理信息702b、图像区域的空间信息703a、图像区域的空间颜色信息703b、整体信息702a和702b以及空间信息703a和703b的权数描述符704。
在图7中，用到了4个特征信息702a、702b、703a和703b，需要4个权数。具体地说，整体颜色信息702a包括表示整个图像的颜色特征信息的整体颜色直方图705和整体颜色直方图的各个分支(bin)的元素权数描述符706。整体纹理信息702b包括表示整个图像的纹理信息的整体纹理直方图707和整体纹理直方图的各个分支的元素权数描述符708。同样，空间颜色信息703a包括颜色图像栅格709和颜色图像栅格的位置权数描述符710。空间纹理信息703b包括纹理图像栅格711和纹理图像栅格的位置权数描述符712。
颜色直方图705用作整个图像的特征信息，颜色直方图705中各个颜色元素的权数用元素权数描述符706来表示。同样，整体纹理直方图707用作整个图像的另一个特征信息，整体纹理直方图707中各个纹理元素的权数用元素权数描述符708来表示。
此外，颜色图像栅格709用作图像区域的特征信息，颜色图像栅格709中各个栅格位置的权数用位置权数描述符710来表示。与之相似，纹理图像栅格711用作图像区域的另一个特征信息，纹理图像栅格711中各个栅格位置的权数用位置权数描述符712来表示。
如图7所示，为了满足表2中12种查询类型，介绍了具有4种特征信息的图像特性结构。然而，对于12种查询类型并不需要所有9种特征类型。例如，如果用颜色纹理联合局部栅格作为特征，局部颜色、局部纹理、局部颜色和纹理、局部位置颜色、局部位置纹理和局部颜色和纹理都可以从颜色-纹理联合局部栅格中获得。
此外，在图7的图像特性结构中，特征权数用与特征信息相同的级别来表示，特征元素权数用低于各个特征信息的级别来表示。然而，如图8所示，图像特性也可以用具有低于各个特征信息的级别的特征权数来构造。例如，假设整体颜色信息801是特征信息，整体颜色信息801包括整体颜色特征802和权数803。这里权数803是由对应于整体颜色特征的特征权数804和特征元素权数805所组成。
图9显示了用来根据用户反馈调整图像特征权数的图像特性的另外一个实施例。在这种图像特性中，所有与权数特性相关的信息都被归并为一个集合，并且分别表示。
参考图9，用于在搜索图像901时调整图像特征的权数的图像特征结构902，也就是参考反馈，包括图像特性903和权数特性904。图像特性903包括整体信息905、局部信息906和局部位置信息907。权数特性904包括特征权数908和特征元素权数909。此外，整体信息905包括n个特征单元910，局部信息906包括多个特征单元911，它们与特征的数量和可能特征组合的总和相等，局部位置信息907还包括n个特征单元。
图10显示了当图像信息包括颜色和纹理两个基本特征时图9的图像数据结构的另一个示例。具体地说，图像特性1001包括整体信息1002、局部信息1003和局部位置信息1004。整体信息1002包括整体颜色特征单元1005和整体纹理特征单元1007。局部信息1003包括局部颜色特征单元1009、局部纹理特征单元1010和局部颜色和纹理特征单元1011。局部位置信息1004包括局部位置颜色特征单元1013和局部位置纹理特征单元1014。
此外，整体颜色特征单元1005由整体颜色直方图1006来表示，整体纹理特征单元1007由整体纹理直方图1008来表示，局部颜色特征单元1009和局部位置颜色特征单元1013由颜色图像栅格1012来表示。同样，局部纹理特征单元1010和局部位置纹理特征单元1014由纹理图像栅格1015来表示。最后，局部颜色和纹理特征单元1011由颜色图像栅格1012和纹理图像栅格1015共同表示。
因此，如图11所示，表2中的查询类型可以通过构造上述的7种特征的图像特性来得到满足，权数通过调整特征权数和特征元素权数中的权数来得到更新。参考图11，当搜索图像1101时用来调整图像特征的权数的图像特征结构1102，也就是参考反馈，包括图像特性1103和权数特性1104。
具体地说，图像特性1103包括整体信息1105、局部信息1106和局部位置信息1107。权数特性1104包括特征权数1108和特征元素权数1109。这里，整体信息1105包括整体颜色特征单元1110和整体纹理特征单元1111。局部信息1106包括局部颜色特征单元1112、局部纹理特征单元1113和局部颜色和纹理特征单元1114。局部位置信息1107包括局部位置颜色特征单元1115和局部位置纹理特征单元1116。
如上所述，根据本发明，系统分析用户的所有可能查询，并在图像查询中提供满足所有判断标准的最小的图像特性。因此，通过调整反映用户反馈的特征和特征元素的权数可以进行快速有效的图像搜索。
前面的实施例仅是示意性的，本发明并不受其限制。本发明能容易地应用到其它类型的装置。本发明的介绍只是起展示作用，并不限制权利要求的范围。本领域技术人员应理解，本发明可以进行各种改进、添加和替换。
权利要求
1．一种搜索多媒体数据的方法，包括a1)接收由用户选择的至少一个参考多媒体数据，其中参考多媒体数据表示要搜索的指定多媒体数据；和b1)通过考虑每一个特征和特征元素在搜索中应具有的影响的程度，使用包含在所述至少一个参考多媒体数据中的特征和各个特征的特征元素来搜索指定的多媒体数据。
2．根据权利要求1的方法，其中在b1)中，使用包含在所述至少一个参考多媒体数据中的特征和各个特征的特征元素的组合来搜索指定的多媒体数据，其中每一个特征具有一个特征权数，并且每一个特征元素具有一个特征元素权数。
3．根据权利要求2的方法，其中在a1)中，用户选择了多个参考多媒体数据，并且其中b1)包括a2)测量包含在多个参考多媒体数据中的特征的相似性；b2)根据a2)中测量的特征的相似性确定每一个特征的权数；c2)测量包含在多个参考多媒体数据中的每一个特征的特征元素的相似性；d2)根据c2)中测量的特征元素的相似性确定各个特征中每一个特征元素的权数；和e2)考虑更新后的特征权数和特征元素权数，使用包含在多个参考多媒体数据中的特征和特征元素来搜索指定的多媒体数据。
4．根据权利要求3的方法，更进一步包括如果用户对搜索结果满意则停止搜索，否则该方法进一步包括f1)接收从搜索的结果图像中选择的至少一个别的参考多媒体数据，其中所述至少一个别的参考多媒体数据被确定为与指定的多媒体数据相似；g1)测量包含在多个参考多媒体数据和所述至少一个别的参考多媒体数据中的特征的相似性；h1)根据g1)中测量的特征的相似性确定和更新每一个特征的权数；i1)测量包含在多个参考多媒体数据和所述至少一个别的参考多媒体数据中的每个特征的特征元素的相似性；j1)根据i1)中测量的特征元素的相似性确定和更新各个特征的每一个特征元素的权数；和k1)考虑h1)中更新的特征权数和j1)中更新的特征元素权数，使用包含在多个参考多媒体数据和所述至少一个别的参考多媒体数据中的特征和特征元素对指定的多媒体数据进行再次搜索。
5．根据权利要求4的方法，更进一步包括l1)接收从搜索的结果图像中选择的至少一个相异的多媒体数据，其中所述至少一个相异的多媒体数据被确定为与指定的多媒体数据相异；m1)测量包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的特征的相异性；n1)测量包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的每个特征的特征元素的相异性；其中在h1)中根据在g1)和m1)中测量的特征元素的相异性确定并更新各个特征的每一个特征元素的权数；其中在j1)中根据在i1)和n1)中测量的特征元素的相异性确定并更新各个特征的每一个特征元素的权数；其中在k1)中考虑h1)中更新的特征权数和j1)中更新的特征元素权数，使用包含在多个参考多媒体数据、所述至少一个别的参考多媒体数据和所述至少一个相异数据之中的特征和特征元素对指定的多媒体数据进行再次搜索。
6．根据权利要求3的方法，更进一步包括如果用户对搜索结果满意则停止搜索，否则该方法进一步包括f2)接收从搜索的结果图像中选择的至少一个相异的多媒体数据，其中所述至少一个相异的多媒体数据被确定为与指定的多媒体数据相异；g2)测量包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的特征的相异性；h2)根据g2)中测量的特征的相异性确定和更新每一个特征的权数；i2)测量包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的每个特征的特征元素的相异性；j2)根据i2)中测量的特征元素的相异性确定和更新各个特征的每一个特征元素的权数；和k2)考虑h2)中更新的特征权数和j2)中更新的特征元素权数，使用包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的特征和特征元素对指定的多媒体数据进行再次搜索。
7．根据权利要求2的方法，其中在a1)用户选择了一个参考多媒体数据，并且b1)包括使用包含在所述参考多媒体数据中的特征和各个特征的特征元素来搜索指定的多媒体数据，其中每一个特征具有一个特征权数，并且每一个特征元素具有一个特征元素权数。
8．根据权利要求7的方法，更进一步包括如果用户对搜索结果满意则停止搜索，否则该方法进一步包括a3)接收从搜索的结果图像中选择的至少一个别的参考多媒体数据，其中所述至少一个别的参考多媒体数据被确定为与指定的多媒体数据相似；b3)测量包含在所述参考多媒体数据和所述至少一个别的参考多媒体数据中的特征的相似性；c3)根据b3)中测量的特征的相似性确定和更新每一个特征的权数；d3)测量包含在所述参考多媒体数据和所述至少一个别的参考多媒体数据的每一个特征的特征元素的相似性；e3)根据d3)中测量的特征元素的相似性确定和更新各个特征的每一个特征元素的权数；和f3)考虑c3)中更新的特征权数和e3)中更新的特征元素权数，使用包含在所述参考多媒体数据和所述至少一个别的参考多媒体数据中的特征和特征元素对指定的多媒体数据进行再次搜索。
9．根据权利要求8的方法，更进一步包括g3)接收从搜索的结果图像中选择的至少一个相异的多媒体数据，其中所述至少一个相异的多媒体数据被确定为与指定的多媒体数据相异；h3)测量包含在所述参考多媒体数据和所述至少一个相异的多媒体数据中的特征的相异性；i3)测量包含在所述参考多媒体数据和所述至少一个相异的多媒体数据中的每个特征的特征元素的相异性；其中在c3)中根据在b3)和h3)中测量的特征元素的相异性确定并更新各个特征的每一个特征元素的权数；其中在e3)中根据在d3)和i3)中测量的特征元素的相异性确定并更新各个特征的每一个特征元素的权数；和其中在f3)中考虑c3)中更新的特征权数和e3)中更新的特征元素权数，使用包含在所述参考多媒体数据，所述至少一个别的参考多媒体数据和所述至少一个相异数据之中的特征和特征元素对指定的多媒体数据进行再次搜索。
10．根据权利要求7的方法，更进一步包括如果用户对搜索结果满意则停止搜索，否则该方法进一步包括a4)接收从搜索的结果图像中选择的至少一个相异的多媒体数据，其中所述至少一个相异的多媒体数据被确定为与指定的多媒体数据相异；b4)测量包含在所述参考多媒体数据和所述至少一个相异的多媒体数据中的特征的相异性；c4)根据b4)中测量的特征的相异性确定和更新每一个特征的权数；d4)测量包含在所述参考多媒体数据和所述至少一个相异的多媒体数据中的每一个特征的特征元素的相异性；e4)根据d4)中测量的特征元素的相异性确定和更新各个特征的每一个特征元素的权数；和f4)考虑c4)中更新的特征权数和e4)中更新的特征元素权数，使用包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的特征和特征元素对指定的多媒体数据进行再次搜索。
11．根据权利要求2的方法，其中特征是颜色，并且特征元素权数是由具有作为特征元素的n个颜色元素的颜色直方图确定，或者通过将多媒体数据分成n*m个栅格区域和使用区域颜色直方图或者代表作为特征元素的栅格区域的颜色来确定。
12．根据权利要求11的方法，其中在搜索中使用了其特征元素权数大于指定的阈值的特征元素。
13．一种数据结构，包括包括图像的特征和特征元素的特征信息；和包括所述特征的权数信息和所述特征元素的权数信息的权数信息。
14．根据权利要求13的方法，其中特征和特征元素由图像特性结构表示，图像特性结构包括代表整个图像的特征的整体信息；和代表图像区域的特征的空间信息。
15．根据权利要求14的方法，其中图像特性结构更进一步包括代表整体信息和空间信息的重要性的权数信息。
16．根据权利要求15的方法，其中整体信息包括整个图像的整体特征描述符和用于各个整体特征描述符的特征元素的元素权数描述符，并且其中空间信息包括图像区域的空间特征描述符和用于各个图像区域的位置权数描述符。
17．根据权利要求14的方法，其中整体信息包括整个图像的整体特征描述符和代表整体特征描述符的重要性和各个整体特征描述符的特征元素的重要性的权数信息；并且空间信息包括图像区域的空间特征描述符和代表各个图像区域的重要性的权数信息。
18．根据权利要求13的方法，其中特征和特征元素由图像特性结构表示，图像特性结构包括整体信息；局部信息；和局部位置信息。
19．根据权利要求18的方法，其中特征是颜色和纹理，其中整体信息包括整体颜色特征单元和整体纹理特征单元；局部信息包括局部颜色特征单元、局部纹理特征单元和局部颜色和纹理特征单元；并且局部位置信息包括局部位置颜色特征单元和局部位置纹理特征单元。
20．根据权利要求19的方法，其中整体颜色特征单元由整体颜色直方图表示，整体纹理特征单元由整体纹理直方图表示，局部颜色特征单元和局部位置颜色特征单元由颜色图像栅格1012表示，局部纹理特征单元和局部位置纹理特征单元由纹理图像栅格表示，局部颜色和纹理特征单元由颜色图像栅格和纹理图像栅格共同表示。
全文摘要
本发明揭示了一种搜索多媒体数据的方法,其中通过自动更新图像的各个特征中的特征权数和/或特征元素的权数来再次搜索图像。
文档编号G06T1/00GK1294721SQ00800126
公开日2001年5月9日 申请日期2000年2月1日 优先权日1999年2月1日
发明者李振秀, 金贤俊 申请人:Lg电子株式会社
技术领域：
本发明涉及搜索多媒体数据的方法，具体涉及通过使用用户反馈更精确地搜索多媒体数据的方法。
目前，用于数字图像信号处理的技术已经得到了极大的发展，并在各个领域得到了应用。例如，数字图像信号处理技术可以用于用来自动编辑电影或戏剧的移动图像文件中的特定角色的脸部的搜索系统，可以用于用来只允许在系统中注册的人员才能进入的安全系统，或者用于用来搜索由检测系统检测的图像或视频的特定数据的搜索系统。这些系统的性能基本上依赖于检测或搜索所需目标的速度和精确性。因此，在现有技术中已经提出了不同的图像搜索方法。
在名为“图像查询系统和方法”的美国专利5，579，471中揭示了使用诸如颜色、纹理或形状的特征来检测目标图像的相似性程度的图像搜索系统。根据所要搜索的图像，特征的重要性可能不同，并且在诸如颜色的一个特定特征中，诸如红色或绿色的特征元素的重要性也可能不同。然而，上述搜索系统并没有考虑各个目标图像的特征或特征元素的特征的重要性不一样。
在另一个名为“Virage图像搜索引擎”(www．virage．com)的搜索方法中，用户可以通过指定权数值直接输入诸如颜色、纹理和形状的特征的重要性级别。尽管可以使用这种方法根据特征的重要性来搜索图像，但是对于一个用户来说确定特征的权数可能是很困难的。
因此，在SPIE Vol．3312的“交互性关联反馈技术”中Yong Rui揭示了一种新技术，其中发现了与参考图像相似的图像，并通过计算所发现的图像的相似性自动获得特征的重要性或权数。然而，即使对于同一个图像，在完成了指定图像的搜索后权数重要性信息并没有维持，而对于每一个图像搜索需要重新计算权数重要性信息。
在现有技术的图像搜索和浏览系统或视频(运动图像)搜索和浏览系统中，描述图像或视频数据的特定特征的信息被用来更有效地搜索或浏览多媒体数据。例如，在图像查询系统中，一个图像可以被分成多个区域，并且每一个区域的代表性颜色可以用作图像的特征信息，或者可以将图像的整个颜色直方图用作特征信息。此后，基于特征信息来计算相似性，比较两个图像和确定两个图像是否相似。
因此，现有技术的图像搜索方法可能使用诸如颜色、纹理或形状的特征权数。然而，其中并没有考虑特征元素的权数。因此，现有技术的图像搜索方法在用来搜索时在智能训练和发展搜索权数上受到限制，这样延长了获得搜索结果的搜索时间，并且也降低了搜索结果的可靠性。
因此，本发明的一个目的是至少解决现有技术的问题和缺点。
本发明的一个目的是提供一种通过自动更新包含在指定图像中的特征的权数和／或特征元素的权数，和通过应用更新后的权数来搜索指定的目标的搜索多媒体数据的方法。
本发明的另一个目的是提供一种搜索多媒体数据的方法，当用户搜索图像时，通过分析和归类所应用的判别标准来构造对应于包含在指定图像中的特征的类型的图像特性，并在接下来的图像搜索中通过考虑特征的权数和特征元素的权数调整特征信息集。
本发明还有一个目的是提供一种包含在多媒体数据中的特征结构，以有效地搜索图像。
本发明的别的优点、目的和特征将在后面的叙述中逐渐体现出来。对于本领域技术人员，通过对下面内容的检验和对发明的实践能够对本发明有更多的理解。正如在所附的权利要求中具体指出的那样，可以认识和获得本发明的目的和优点。
正如本说明书所体现和广泛描述的那样，为了达到目标并与发明的目的一致，在多媒体数据搜索系统中搜索多媒体数据的方法包括搜索由用户选择的参考多媒体数据；接收所搜索多媒体数据的关联信息的用户反馈；根据关联信息确定包含在多媒体数据中的特征的各个特征元素的重要性；如果用户要求另外的搜索，通过更新上述各个元素的重要性再次执行参考多媒体数据的搜索；并且将以前的重要性更新为所获得的新的重要性，并保持更新后的重要性等级。
在本发明的另一个实施例中，在多媒体数据搜索系统中搜索多媒体数据的方法包括接收一个对先前搜索的多媒体数据的查询；在查询过程中分析所搜索多媒体数据的判断标准；应用判断标准的分析结果，使用至少一种包含在多媒体数据中的特征来构造图像特性；并当用户要求另外的搜索时，调整图像特性的重要性并再次执行多媒体数据的搜索。
本发明还提供了一种多媒体数据的特征结构，包括表示多媒体数据的特征的第一信息；表示多媒体数据的区域特征的第二信息；表示第一信息和第二信息的重要性的第三信息。
本发明将参考附图进行详细介绍，其中相同的参考数字表示相同的单元。
图1用直方图显示图像的特征；图2显示了用局部栅格表示的图像；图3是根据本发明的第一实施例的多媒体数据搜索过程的流程图；图4和图5是图2的多媒体数据搜索过程的流程图，其中初始搜索并没有产生希望的图像；图6是根据本发明的第二实施例的用于图像搜索的图像特性的基本结构；图7是图6的图像特性，其中用颜色和纹理来构造特征信息；和图8到图11是图像特性的不同的实施例。
下面将详细介绍本发明的优选实施例，在附图中展示了优选实施例的示例。
在通常的图像搜索系统中，诸如颜色、纹理和形状的图像特征可以用图1所示的直方图来表示。具体地说，图1是图像的颜色直方图，其中图像的颜色被归并为24种颜色元素。通过调整或改变每一个颜色元素的权数，可以表示每一个颜色元素的重要性级别或颜色元素对搜索的影响程度。
图2是由局部栅格表示的图像。具体地说，一个图像被分为了n*m个栅格区域，并且每一个栅格区域可以由区域颜色直方图或代表栅格区域的颜色来表示。这里，每一个栅格区域的重要性级别或栅格区域对搜索的影响程度可以通过指定每一个n*m栅格区域的权数来表示。同样，由系统预先确定的阈值可以用作界限(cap)，这样特定的栅格区域将不影响搜索。也就是说，如果一个栅格区域的权数超过了预先确定的阈值，在搜索中将用到这个栅格区域。否则，这个栅格区域被处理为“无关”区域，它将不影响图像搜索。
下面将参考图3到图5来介绍图像搜索过程。
图3是根据本发明的第一实施例当选择了多个参考图像，并且包含在指定图像中的特征的各个类型或元素的权数被指定或更新时的多媒体数据搜索过程的流程图。参考图3，一个用户选择了代表要搜索的指定图像的多个参考图像(步骤S301)。此后，系统判断并确定包含在参考图像中的特征元素的重要性。
例如，系统测量包含在参考图像中的特征的相似性(步骤S302)，并根据所测量的特征的相似性来确定每一个特征的权数(步骤S303)。同样，系统测量包含在参考图像中的每一个特征的特征元素的相似性(步骤S304)，并根据所测量的特征元素的相似性来确定各个特征的特征元素的权数(步骤S305)。
因此，如果用户要求额外的搜索，系统通过使用重要性，也就是特征的权数和各个特征中特征元素的权数，来再次进行图像搜索(步骤S306)。此时，系统可以使用特征的权数或者特征元素的权数，或者同时使用它们。
具体地说，特征的权数和各个特征的特征元素的权数按下述方法来确定。当用户选择了多个参考图像时，则搜索系统通过测量所选择的参考图像列表的特征的相似性和各个特征中特征元素的相似性来确定特征的权数和各个特征中特征元素的权数。特征的权数按照下面的方程1a、1b和1c来计算。[1a]---Weight_k=Cont(k)Cont(ALL)]]>[1b]---Cont(k)=Σi=1n-1Σj=i+1nSim(i,j,k)]]>[1c]---Cont(ALL)=Σk=1mCont(k)]]>在上面的方程中，n表示参考数字，m表示用来测量相似性的特征的数量，Weight_k表示第k个特征的权数，Sim(i，j，k)表示当使用第k个特征时第i个参考图像和第j个参考图像之间的相似性，Cont(k)表示第k个特征对提高相似性所做出的贡献的大小。通常，由于参考图像之间的相似性是基于各个特征计算得到的，并且具有最大相似性的特征用作最重要的因数，因此随着相似性增加，各个特征的权数Weight_k也增加。
特征元素的权数通过方程2a和2b使用参考图像的各个特征中的特征元素的相似性来确定。[2a]元素i的权数wi=afI(i)[2b]参考图像中元素i的相似性fI(i)=pmiqvi]]>在上面的方程中，a、p和q的值表示常数，mi表示参考图像列表中元素i的平均值，vi表示参考图像列表中元素i的分布值。根据方程2a和2b，特征元素的权数wi与相应的特征元素的分布值成反比，与相应的特征元素成分的平均值成正比。因此，即使在相应的特征元素的分布很宽的情况下，具有大平均值的特征元素仍充当重要因数。
图4是显示选择了多个参考图像和没有选择多个参考图像的情况下的多媒体数据搜索过程的流程图。通常，如果参考图像的数量不是多个，用具有相等权数的特征来进行图像搜索。然而，如果搜索没有产生希望的图像，那么与要搜索的指定图像相似的别的参考图像被选择并加到参考图像列表中。然后，用参考图像列表来更新各个特征和／或特征元素的权数。
参考图4，当用户选择了多个参考图像(步骤S401和S402)，这个过程(步骤S404～S408)和参考图3的步骤S302～S306描述的过程是一样的。因此，这里不再进行解释。其后，如果用户对图像搜索的结果感到满意(步骤S408)，搜索操作停止。然而，如果用户对搜索结果不满意，用户在搜索的结果图像中选择与要搜索的指定图像相似的别的参考图像(步骤S411)。另一方面，当用户只选择了一个参考图像时，用具有指定的权数的特征来进行图像搜索(步骤S403)。通常，如果参考图像是第一次被选择，使用具有相等的指定权数的特征来进行搜索。如果用户对搜索结果不满意，用户在搜索的结果图像中选择与要搜索的指定图像相似的别的参考图像(步骤S411)。
因此，系统将所选择的别的参考图像加到由系统管理的初始参考图像列表中(步骤S412)。这里，初始参考图像列表包括在步骤S401中所选择的参考图像。其后，系统测量在所选择的参考图像中的各个特征和／或特征元素的相似性(步骤S413)，并根据方程1a～1c、2a和2b确定所选择的参考图像中各个特征和／或特征元素的权数(步骤S414)。因此，系统更新各个特征和／或特征元素的权数，并用更新后的权数再次进行图像搜索(步骤S415)。
图5是显示选择了多个参考图像和没有选择多个参考图像的情况下的另一种多媒体数据搜索过程的流程图。通常，如果参考图像的数量不是多个，用具有相等权数的特征来进行图像搜索。然而，如果搜索没有产生希望的图像，那么与要搜索的指定图像相似或相异的别的参考图像被选择并分别加到参考图像列表或相异图像列表中。然后，用参考图像列表和相异图像列表来更新各个特征和／或特征元素的权数。
参考图5，当用户选择了多个参考图像(步骤S501和S502)时，这个过程(步骤S504～S508)和参考图3的步骤S302～S306描述的过程是一样的。因此，这里不再进行解释。其后，如果用户对图像搜索的结果感到满意(步骤S509)，搜索操作停止。然而，如果用户对搜索结果不满意，用户在搜索的结果图像中选择与要搜索的指定图像相似和相异的别的参考图像。另一方面，当用户只选择了一个参考图像时，用具有指定的权数的特征来进行图像搜索(步骤S503)。这里，如果参考图像是第一次被选择，使用具有相等的指定权数的特征来进行搜索。如果用户对搜索结果不满意，那么用户在搜索的结果图像中选择与要搜索的指定图像相似和相异的别的参考图像。
因此，系统将所选择的相似图像加到由系统管理的初始参考图像列表中(步骤S511)，并将相异图像加到初始相异图像列表中(步骤S512)。这里，初始参考图像列表包括在步骤S501中所选择的参考图像。其后，系统测量包含在参考图像列表中的图像的各个特征和／或特征元素的相似性(步骤S513)，并测量包含在相异图像列表中的图像的各个特征和／或特征元素的相似性(步骤S514)。
根据方程1a～1c、2a和2b，系统使用包含在参考图像列表和相异图像列表中的图像确定各个特征和／或特征元素的权数(步骤S515)。因此，系统更新各个特征和／或特征元素的权数，并用更新后的权数再次进行图像搜索(步骤S516)。具体地说，通过包含在参考／相异图像列表中的图像的各个特征和／或特征元素的相似性测量，根据方程3a～3d来计算特征的权数。[3a]---Weight_k=(a×WeightI_k)×(bWeightR_k)]]>[3b]---WeightR_k=(WeightI_k)=Cont(k)Cont(ALL)]]>[3c]---Cont(k)=Σi=1n-1Σj=i+1nSim(i,j,k)]]>[3d]---Cont(ALL)=Σk=1mCont(k)]]>在上面的方程中，n表示参考图像列表或相异图像列表中的参考数量，m表示用于相似性测量的特征的数量，Weight_k表示第k个特征的最终权数，Sim(i，j，k)表示当使用第k个特征时第i个参考图像和第j个参考图像之间的相似性，Cont(k)表示第k个特征对提高相似性所做出的贡献的大小，WeightI_k表示参考图像列表中第k个特征的权数，WeightR_k表示相异图像列表中第k个特征的权数。通常，包含在参考图像列表和相异图像列表中的图像的相似性是分别计算的。结果，各个特征的权数Weight_k随着包含在参考图像列表中的图像的相似性增加而增加，而随着包含在相异图像列表中的图像的相似性增加而减小。
同样，在测量包含在参考／相异图像列表中的图像的各个特征的特征元素的相似性后，通过方程4a～4b来确定各个特征的特征元素的权数。元素i的权数wi=afI(i)+bfR(i)[4b]参考图像中元素i的相似性fI(i)=pmiqvi]]>在上面的方程中，fR(I)=pmi×vi表示包含在相异图像列表中的图像的元素i的相异性，a、b、p和q的值表示常数，mi表示包含在相应(参考和相异)图像列表中的图像的元素i的平均值，vi表示包含在相应(参考和相异)图像列表中的图像的元素i的分布值。通常，包含在参考图像列表和相异图像列表中的图像的相似性是分别计算的。结果，各个特征元素的权数Weight_k随着包含在参考图像列表中的图像的相似性增加而增加，而随着包含在相异图像列表中的图像的相似性增加而减小。
如果特征的权数和特征元素的权数按上面的方法确定，在图像搜索的过程中将用方程5来计算相似性。[5]---A-Σk=0nwkΣi=0kmwk_iDiff(Fk_i,p,q)]]>这里，A是一个常数，Diff(Fk_i，p，q)表示图像p和图像q的第k个特征的第i个元素之间的差异，wk_i表示第k个特征的第i个特征元素的权数，wk表示第k个特征的权数，n表示特征的数量，km表示第k个特征的特征元素的数量。因此，通过将各个图像的特征差异值、各个特征的特征元素权数和各个特征的权数相乘得到差异值。同样，通过从常数减去差异值得到相似性。
正如图3到图5所描述的那样，当用户搜索一个图像时，系统自动确定并更新要搜索的图像的各个特征的特征元素权数和特征的权数。因此，就能进行快速和有效的搜索。
然而，如果用户在看到了前面的搜索结果后还想对指定的图像进行进一步的搜索，用户可以对搜索系统提出和输入不同的查询种类。表1显示了用户查询的示例，表2显示了当颜色和纹理用作图像的基本特征时根据查询类型所需要的特征信息。表1
表2
第3种图像特征信息是局部颜色信息，它代表图像中一个区域，也就是栅格区域，的颜色特征。各个局部栅格的代表性颜色可以作为局部颜色信息的示例。或者，从整体颜色信息获得的颜色元素的权数可以用作局部颜色信息。
第4种图像特征元素是局部纹理信息，它表示图像中栅格区域的纹理特征。各个栅格的代表性纹理可以作为局部纹理信息的示例。或者，从整体纹理信息获得的纹理元素的权数可以用作局部纹理信息。
第5种图像特征元素是局部颜色和纹理信息，它表示图像中栅格区域的颜色和纹理特征。各个栅格的代表性颜色和纹理可以作为局部颜色和纹理信息的示例。或者，分别从整体颜色信息和整体纹理信息获得的颜色和纹理元素的权数可以用作局部颜色和纹理信息。
第6种图像特征元素是局部颜色位置信息，它表示在图像中一个特定位置的区域的颜色特征。颜色局部栅格特征可以作为局部颜色位置信息的示例。第7种图像特征元素是局部纹理位置信息，它表示在图像中一个特定位置的区域的纹理特征。纹理局部栅格特征可以作为局部纹理位置信息的一个示例。同样，在图像中一个特定位置的区域的指定的颜色和纹理特征可以由第6种和第7种信息的组合表示。
第8种图像特征信息是局部颜色和纹理信息，它表示在图像中一个特定位置的区域的指定的颜色和纹理特征。颜色和纹理局部栅格特征可以作为局部颜色和纹理位置信息的一个示例。
如上所述，系统能够通过使用基于查询内容的分析结果构造一组特征信息(也就是图像特性)并且将元素权数加到所构造的特征上来进行有效的搜索。因此，如果用户要求搜索，系统调整图像特性，也就是特征和／或特征元素的权数，的重要性，并进行图像搜索。
使用参考多媒体数据的搜索方法通过调整包含在多媒体数据中的特征和／或各个特征的特征元素的权数来确定和参考多媒体数据具有最大相似性的多媒体数据。这里，特征和／或各个特征的特征元素的权数的调整可以用由用户进行的直接调整方法、由系统进行的自动调整方法，以及由用户进行的使用反馈给系统的关联信息(也就是正和负信息)的调整方法中的一种来进行。下面将详细介绍上面所提到的特征的意义。
首先，颜色直方图表示图像中的颜色分布。与之相似，纹理直方图表示图像中的纹理分布。
颜色图像栅格表示将图像分为n*m个栅格区域所形成的栅格区域的颜色信息。纹理图像栅格表示将图像分为n*m个栅格区域所形成的栅格区域的纹理信息。颜色纹理联合局部栅格表示将图像分为n*m个栅格区域所形成的栅格区域的颜色纹理信息。
图6显示了考虑用户601的查询类型和关联反馈而构造的纹理描述的结构。这个结构包含了表示整个图像的特征的整体信息602、表示图像区域的特征的空间信息603和表示所构造的特征602和603的重要性的权数信息604。整体信息包括整个图像的整体特征描述符605、整个图像的整体纹理描述符的特征元素的元素权数描述符606。空间信息603包括图像区域的空间特征描述符607和图像区域的位置权数描述符608。
整个图像的整体信息602和图像区域的空间信息603可以通过有选择地组合包含在图像中的诸如颜色、纹理和形状的特征来构造。这里，基本特征的可能组合可以由下面的方程6得到，其中n表示基本特征的数量。[6]---Σk=1nnCk]]>
因此，通过方程6得到的特征类型的数量应用于局部位置，对于整体信息，由于这里n表示基本特征的数量，特征类型的总数可以通过方程7得到。[7]---Σk=1nnCk+2n]]>本发明将使用颜色和纹理两个基本特征来进行介绍。在这种情况下，系统所需的特征类型的总数是3+2*2=7。然而，如果加进了形状特征，所需的特征类型的总数将是7+2*3=13。
图7显示了使用颜色和纹理特征构造的图像特性。参考图7，用来根据用户反馈调整图像特征的权数的关联反馈图像701包括整个图像的整体颜色信息702a、整个图像的整体纹理信息702b、图像区域的空间信息703a、图像区域的空间颜色信息703b、整体信息702a和702b以及空间信息703a和703b的权数描述符704。
在图7中，用到了4个特征信息702a、702b、703a和703b，需要4个权数。具体地说，整体颜色信息702a包括表示整个图像的颜色特征信息的整体颜色直方图705和整体颜色直方图的各个分支(bin)的元素权数描述符706。整体纹理信息702b包括表示整个图像的纹理信息的整体纹理直方图707和整体纹理直方图的各个分支的元素权数描述符708。同样，空间颜色信息703a包括颜色图像栅格709和颜色图像栅格的位置权数描述符710。空间纹理信息703b包括纹理图像栅格711和纹理图像栅格的位置权数描述符712。
颜色直方图705用作整个图像的特征信息，颜色直方图705中各个颜色元素的权数用元素权数描述符706来表示。同样，整体纹理直方图707用作整个图像的另一个特征信息，整体纹理直方图707中各个纹理元素的权数用元素权数描述符708来表示。
此外，颜色图像栅格709用作图像区域的特征信息，颜色图像栅格709中各个栅格位置的权数用位置权数描述符710来表示。与之相似，纹理图像栅格711用作图像区域的另一个特征信息，纹理图像栅格711中各个栅格位置的权数用位置权数描述符712来表示。
如图7所示，为了满足表2中12种查询类型，介绍了具有4种特征信息的图像特性结构。然而，对于12种查询类型并不需要所有9种特征类型。例如，如果用颜色纹理联合局部栅格作为特征，局部颜色、局部纹理、局部颜色和纹理、局部位置颜色、局部位置纹理和局部颜色和纹理都可以从颜色-纹理联合局部栅格中获得。
此外，在图7的图像特性结构中，特征权数用与特征信息相同的级别来表示，特征元素权数用低于各个特征信息的级别来表示。然而，如图8所示，图像特性也可以用具有低于各个特征信息的级别的特征权数来构造。例如，假设整体颜色信息801是特征信息，整体颜色信息801包括整体颜色特征802和权数803。这里权数803是由对应于整体颜色特征的特征权数804和特征元素权数805所组成。
图9显示了用来根据用户反馈调整图像特征权数的图像特性的另外一个实施例。在这种图像特性中，所有与权数特性相关的信息都被归并为一个集合，并且分别表示。
参考图9，用于在搜索图像901时调整图像特征的权数的图像特征结构902，也就是参考反馈，包括图像特性903和权数特性904。图像特性903包括整体信息905、局部信息906和局部位置信息907。权数特性904包括特征权数908和特征元素权数909。此外，整体信息905包括n个特征单元910，局部信息906包括多个特征单元911，它们与特征的数量和可能特征组合的总和相等，局部位置信息907还包括n个特征单元。
图10显示了当图像信息包括颜色和纹理两个基本特征时图9的图像数据结构的另一个示例。具体地说，图像特性1001包括整体信息1002、局部信息1003和局部位置信息1004。整体信息1002包括整体颜色特征单元1005和整体纹理特征单元1007。局部信息1003包括局部颜色特征单元1009、局部纹理特征单元1010和局部颜色和纹理特征单元1011。局部位置信息1004包括局部位置颜色特征单元1013和局部位置纹理特征单元1014。
此外，整体颜色特征单元1005由整体颜色直方图1006来表示，整体纹理特征单元1007由整体纹理直方图1008来表示，局部颜色特征单元1009和局部位置颜色特征单元1013由颜色图像栅格1012来表示。同样，局部纹理特征单元1010和局部位置纹理特征单元1014由纹理图像栅格1015来表示。最后，局部颜色和纹理特征单元1011由颜色图像栅格1012和纹理图像栅格1015共同表示。
因此，如图11所示，表2中的查询类型可以通过构造上述的7种特征的图像特性来得到满足，权数通过调整特征权数和特征元素权数中的权数来得到更新。参考图11，当搜索图像1101时用来调整图像特征的权数的图像特征结构1102，也就是参考反馈，包括图像特性1103和权数特性1104。
具体地说，图像特性1103包括整体信息1105、局部信息1106和局部位置信息1107。权数特性1104包括特征权数1108和特征元素权数1109。这里，整体信息1105包括整体颜色特征单元1110和整体纹理特征单元1111。局部信息1106包括局部颜色特征单元1112、局部纹理特征单元1113和局部颜色和纹理特征单元1114。局部位置信息1107包括局部位置颜色特征单元1115和局部位置纹理特征单元1116。
如上所述，根据本发明，系统分析用户的所有可能查询，并在图像查询中提供满足所有判断标准的最小的图像特性。因此，通过调整反映用户反馈的特征和特征元素的权数可以进行快速有效的图像搜索。
前面的实施例仅是示意性的，本发明并不受其限制。本发明能容易地应用到其它类型的装置。本发明的介绍只是起展示作用，并不限制权利要求的范围。本领域技术人员应理解，本发明可以进行各种改进、添加和替换。
权利要求
1．一种搜索多媒体数据的方法，包括a1)接收由用户选择的至少一个参考多媒体数据，其中参考多媒体数据表示要搜索的指定多媒体数据；和b1)通过考虑每一个特征和特征元素在搜索中应具有的影响的程度，使用包含在所述至少一个参考多媒体数据中的特征和各个特征的特征元素来搜索指定的多媒体数据。
2．根据权利要求1的方法，其中在b1)中，使用包含在所述至少一个参考多媒体数据中的特征和各个特征的特征元素的组合来搜索指定的多媒体数据，其中每一个特征具有一个特征权数，并且每一个特征元素具有一个特征元素权数。
3．根据权利要求2的方法，其中在a1)中，用户选择了多个参考多媒体数据，并且其中b1)包括a2)测量包含在多个参考多媒体数据中的特征的相似性；b2)根据a2)中测量的特征的相似性确定每一个特征的权数；c2)测量包含在多个参考多媒体数据中的每一个特征的特征元素的相似性；d2)根据c2)中测量的特征元素的相似性确定各个特征中每一个特征元素的权数；和e2)考虑更新后的特征权数和特征元素权数，使用包含在多个参考多媒体数据中的特征和特征元素来搜索指定的多媒体数据。
4．根据权利要求3的方法，更进一步包括如果用户对搜索结果满意则停止搜索，否则该方法进一步包括f1)接收从搜索的结果图像中选择的至少一个别的参考多媒体数据，其中所述至少一个别的参考多媒体数据被确定为与指定的多媒体数据相似；g1)测量包含在多个参考多媒体数据和所述至少一个别的参考多媒体数据中的特征的相似性；h1)根据g1)中测量的特征的相似性确定和更新每一个特征的权数；i1)测量包含在多个参考多媒体数据和所述至少一个别的参考多媒体数据中的每个特征的特征元素的相似性；j1)根据i1)中测量的特征元素的相似性确定和更新各个特征的每一个特征元素的权数；和k1)考虑h1)中更新的特征权数和j1)中更新的特征元素权数，使用包含在多个参考多媒体数据和所述至少一个别的参考多媒体数据中的特征和特征元素对指定的多媒体数据进行再次搜索。
5．根据权利要求4的方法，更进一步包括l1)接收从搜索的结果图像中选择的至少一个相异的多媒体数据，其中所述至少一个相异的多媒体数据被确定为与指定的多媒体数据相异；m1)测量包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的特征的相异性；n1)测量包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的每个特征的特征元素的相异性；其中在h1)中根据在g1)和m1)中测量的特征元素的相异性确定并更新各个特征的每一个特征元素的权数；其中在j1)中根据在i1)和n1)中测量的特征元素的相异性确定并更新各个特征的每一个特征元素的权数；其中在k1)中考虑h1)中更新的特征权数和j1)中更新的特征元素权数，使用包含在多个参考多媒体数据、所述至少一个别的参考多媒体数据和所述至少一个相异数据之中的特征和特征元素对指定的多媒体数据进行再次搜索。
6．根据权利要求3的方法，更进一步包括如果用户对搜索结果满意则停止搜索，否则该方法进一步包括f2)接收从搜索的结果图像中选择的至少一个相异的多媒体数据，其中所述至少一个相异的多媒体数据被确定为与指定的多媒体数据相异；g2)测量包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的特征的相异性；h2)根据g2)中测量的特征的相异性确定和更新每一个特征的权数；i2)测量包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的每个特征的特征元素的相异性；j2)根据i2)中测量的特征元素的相异性确定和更新各个特征的每一个特征元素的权数；和k2)考虑h2)中更新的特征权数和j2)中更新的特征元素权数，使用包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的特征和特征元素对指定的多媒体数据进行再次搜索。
7．根据权利要求2的方法，其中在a1)用户选择了一个参考多媒体数据，并且b1)包括使用包含在所述参考多媒体数据中的特征和各个特征的特征元素来搜索指定的多媒体数据，其中每一个特征具有一个特征权数，并且每一个特征元素具有一个特征元素权数。
8．根据权利要求7的方法，更进一步包括如果用户对搜索结果满意则停止搜索，否则该方法进一步包括a3)接收从搜索的结果图像中选择的至少一个别的参考多媒体数据，其中所述至少一个别的参考多媒体数据被确定为与指定的多媒体数据相似；b3)测量包含在所述参考多媒体数据和所述至少一个别的参考多媒体数据中的特征的相似性；c3)根据b3)中测量的特征的相似性确定和更新每一个特征的权数；d3)测量包含在所述参考多媒体数据和所述至少一个别的参考多媒体数据的每一个特征的特征元素的相似性；e3)根据d3)中测量的特征元素的相似性确定和更新各个特征的每一个特征元素的权数；和f3)考虑c3)中更新的特征权数和e3)中更新的特征元素权数，使用包含在所述参考多媒体数据和所述至少一个别的参考多媒体数据中的特征和特征元素对指定的多媒体数据进行再次搜索。
9．根据权利要求8的方法，更进一步包括g3)接收从搜索的结果图像中选择的至少一个相异的多媒体数据，其中所述至少一个相异的多媒体数据被确定为与指定的多媒体数据相异；h3)测量包含在所述参考多媒体数据和所述至少一个相异的多媒体数据中的特征的相异性；i3)测量包含在所述参考多媒体数据和所述至少一个相异的多媒体数据中的每个特征的特征元素的相异性；其中在c3)中根据在b3)和h3)中测量的特征元素的相异性确定并更新各个特征的每一个特征元素的权数；其中在e3)中根据在d3)和i3)中测量的特征元素的相异性确定并更新各个特征的每一个特征元素的权数；和其中在f3)中考虑c3)中更新的特征权数和e3)中更新的特征元素权数，使用包含在所述参考多媒体数据，所述至少一个别的参考多媒体数据和所述至少一个相异数据之中的特征和特征元素对指定的多媒体数据进行再次搜索。
10．根据权利要求7的方法，更进一步包括如果用户对搜索结果满意则停止搜索，否则该方法进一步包括a4)接收从搜索的结果图像中选择的至少一个相异的多媒体数据，其中所述至少一个相异的多媒体数据被确定为与指定的多媒体数据相异；b4)测量包含在所述参考多媒体数据和所述至少一个相异的多媒体数据中的特征的相异性；c4)根据b4)中测量的特征的相异性确定和更新每一个特征的权数；d4)测量包含在所述参考多媒体数据和所述至少一个相异的多媒体数据中的每一个特征的特征元素的相异性；e4)根据d4)中测量的特征元素的相异性确定和更新各个特征的每一个特征元素的权数；和f4)考虑c4)中更新的特征权数和e4)中更新的特征元素权数，使用包含在多个参考多媒体数据和所述至少一个相异的多媒体数据中的特征和特征元素对指定的多媒体数据进行再次搜索。
11．根据权利要求2的方法，其中特征是颜色，并且特征元素权数是由具有作为特征元素的n个颜色元素的颜色直方图确定，或者通过将多媒体数据分成n*m个栅格区域和使用区域颜色直方图或者代表作为特征元素的栅格区域的颜色来确定。
12．根据权利要求11的方法，其中在搜索中使用了其特征元素权数大于指定的阈值的特征元素。
13．一种数据结构，包括包括图像的特征和特征元素的特征信息；和包括所述特征的权数信息和所述特征元素的权数信息的权数信息。
14．根据权利要求13的方法，其中特征和特征元素由图像特性结构表示，图像特性结构包括代表整个图像的特征的整体信息；和代表图像区域的特征的空间信息。
15．根据权利要求14的方法，其中图像特性结构更进一步包括代表整体信息和空间信息的重要性的权数信息。
16．根据权利要求15的方法，其中整体信息包括整个图像的整体特征描述符和用于各个整体特征描述符的特征元素的元素权数描述符，并且其中空间信息包括图像区域的空间特征描述符和用于各个图像区域的位置权数描述符。
17．根据权利要求14的方法，其中整体信息包括整个图像的整体特征描述符和代表整体特征描述符的重要性和各个整体特征描述符的特征元素的重要性的权数信息；并且空间信息包括图像区域的空间特征描述符和代表各个图像区域的重要性的权数信息。
18．根据权利要求13的方法，其中特征和特征元素由图像特性结构表示，图像特性结构包括整体信息；局部信息；和局部位置信息。
19．根据权利要求18的方法，其中特征是颜色和纹理，其中整体信息包括整体颜色特征单元和整体纹理特征单元；局部信息包括局部颜色特征单元、局部纹理特征单元和局部颜色和纹理特征单元；并且局部位置信息包括局部位置颜色特征单元和局部位置纹理特征单元。
20．根据权利要求19的方法，其中整体颜色特征单元由整体颜色直方图表示，整体纹理特征单元由整体纹理直方图表示，局部颜色特征单元和局部位置颜色特征单元由颜色图像栅格1012表示，局部纹理特征单元和局部位置纹理特征单元由纹理图像栅格表示，局部颜色和纹理特征单元由颜色图像栅格和纹理图像栅格共同表示。
全文摘要
本发明揭示了一种搜索多媒体数据的方法,其中通过自动更新图像的各个特征中的特征权数和/或特征元素的权数来再次搜索图像。
文档编号G06T1/00GK1294721SQ00800126
公开日2001年5月9日 申请日期2000年2月1日 优先权日1999年2月1日
发明者李振秀, 金贤俊 申请人:Lg电子株式会社
最新回复(0)