多媒体数据的搜索或浏览方法和数据结构的制作方法
专利名称：多媒体数据的搜索或浏览方法和数据结构的制作方法
技术领域：
本发明涉及数据的搜索或浏览方法，具体涉及多媒体数据如图像或视频的搜索或浏览方法。
近来，数字图像信号处理技术得到极大发展并被应用于各种领域。例如，数字图像信号处理技术可用于搜索系统，该系统可自动地仅仅编辑电影或戏剧的移动图像文件中特定人物的面容，数字图像信号处理技术还可用于安全系统，该安全系统只允许在该系统注册的人使用，数字图像信号处理技术还可用于一种搜索系统，该搜索系统可以从检测系统检测到的图像或视频中搜索特定数据。以上这些系统的性能主要依赖于检测或搜索所需目标的准确性和速度。因此，在现有技术中提出了各种各样的图像搜索方法。
美国专利5，579，471“图像查询系统和方法”公开了一种图像搜索系统，该系统利用颜色、纹理或形状等特征检测要搜索的图像的相似性程度。取决于要搜索的图像，每个特征的重要性可能会有所不同并且在一个特定的特征如颜色内特征元素如红色或绿色的重要性也会有所不同。但是，对于每个要搜索的图像，上面的搜索系统并没有把各种特征或特征元素的不同重要性考虑进去。
在另一种名为“Virage图像搜索引擎”(www．virage．com)的搜索方法中，用户通过指定权数值直接输入不同特征如颜色、纹理和形状的重要性级别。尽管使用这种方法根据各个特征的重要性可以搜索图像，但是用户很难确定各个特征的重要性。
因此，Yong Rui在SPIE卷3312的名为“交互作用中的相关性反馈技术”中公开了一种方法，在该方法中，找出与参考图像相类似的图像，然后通过计算找出的图像间的相似性自动获得特征的重要性或特征的权数。但是，在对特定图像的搜索完成之后这种权数重要性信息并不能得到保持，对于每次图像搜索即使是相同图像的搜索，其权数重要性信息都必须重新计算。
在现有技术的图像搜索和浏览系统或视频(移动图像)搜索和浏览系统中，使用描述图像或视频数据特定特征的信息来进行对多媒体数据更有效的搜索或浏览。例如，在图像查询系统中，一幅图像可以分为多个区域，可以使用每个区域的代表性颜色作为该图像的特征信息，或使用该图像的总体颜色直方图作为特征信息。此后，比较两幅图像以计算出基于特征信息的相似性，以此确定两幅图像是否相似。
同样，用户还可能希望搜索和观看视频中特定人物登场或特定事件发生的部分。此时，可以使用代表特定事件的关键帧来执行对视频的搜索和浏览。而且在最近的搜索和浏览方法中已经使用上级特征信息和下级特征信息来定义关键帧和关键片段。这种类型的多媒体数据搜索和浏览方法可以使用表明重要性程度的权数信息，或者直接或间接使用通过对相似的多媒体数据归类而预先得到的组信息。这样的权数信息或组信息可以由专家提前预定义或者它们也可以是由用户反馈不断修改的特征信息。
此外，当浏览多媒体数据如图像或视频时，可以根据用户要求或硬件的资源条件来显示原始多媒体数据的全部或一部分。当显示原始多媒体数据的各个部分时，给每个部分指定权数值以使得全部数据中重要的部分可以被优选显示。这种权数值可以根据用户的反馈进行改变或由专家预先定义。
在美国专利5，020，019和5，297，042中使用描述用户偏好的信息来为每个用户提供更好的服务。例如对电影或视频数据而言，这种信息可以包括如动作片、戏剧或体育运动的用户偏好。在另一个例子中，用户对关键词搜索中使用频度最多的关键词可以有不同的偏好和意义。因此，如果根据用户的偏好给用户经常使用的关键词指定不同的权数，那么用户可以进行更有效的搜索。这样的用户偏好可以通过用户的搜索条件和用户以前的搜索历史来获得。这种取决于用户偏好的信息还可以修改和更新。
尽管可变的特征信息对于一些多媒体数据的搜索和浏览而言已经足够了，但是当这些包括权数值的特征信息由专家来预先确定时，信息的可靠性可能会依赖于专家和／或定义可变信息时使用的大量专家意见的可靠程度而改变。换句话说，即使描述多媒体数据特征的特征信息由专家组预先定义，但用于定义同一幅图像的特征信息的可靠性也可能由于专家技能的不同而不一致。同样地，当特征信息是根据用户的反馈而训练时，信息的可靠性可能会取决于反馈的数量和准确性而改变。例如，如果用户在搜索后把两幅图像错误地判断为一样，这样的信息被反馈后将对特征信息的训练产生不利的影响。
另外，新用户输入的用户偏好信息可能与服务器推荐的特征信息有所不同。在这种情况下，系统应根据用户的可靠性给用户偏好信息指定合适的权数。最终，因为不同的用户对系统给出不同的反馈，如果现存的特征信息的可靠性相对较高的话，新用户的个人反馈信息对特征信息的更新就不会有太大的影响，反之，如果现存的特征信息的可靠性比较低，那么每个新用户的反馈信息就会对特征信息值有较大影响。
由于现有技术的搜索和浏览方法并未考虑上面所描述的因素，因此或者是搜索到的结果的可靠性不一致或者是要一直输入可靠的反馈信息。
因此，本发明的目的之一是至少解决现有技术的难题和缺点。
本发明的一个目的是提供一种准确有效的搜索或浏览多媒体数据的方法。
本发明的另一个目的是提供一种搜索或浏览方法，该方法在考虑了信息可靠性和权限代码的情况下执行对特征信息的更新。
本发明的再一个目的是提供一种数据结构，该数据结构可用于搜索或浏览多媒体数据。
本发明的另外一些优点、目的和特征将在以下的描述中得到部分阐明，部分地由该领域内的普通技术人员通过对本发明的审看或实践明白和了解。通过所附权利要求所特别指出的方式可以实现和获得本发明的目的和其它优点。
为了达到上述目的，根据本发明的目标，如此处所体现和广泛描述的那样，搜索或浏览多媒体数据的方法包括以下步骤选择或输入参考多媒体数据；利用指定给多媒体数据的特征和／或特征元素的权数搜索参考多媒体数据；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；测量参考多媒体数据与搜索所得的图像的相似性，并使用测量值计算出新的权数；更新先前的权数，保持该更新的权数。
在本发明的另一个方面中，搜索或浏览多媒体数据的方法包括以下步骤使用代表多媒体数据特征重要性的可变信息和代表可变信息的可靠性的可靠性信息搜索参考多媒体数据，上述的可变信息包括在多媒体数据结构中；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；使用用户反馈回的训练信息或存储在系统中的用户模式信息计算出新的可变信息；使用计算出的可变信息和／或可靠性信息更新先前的可变信息并保持该更新的信息。
在本发明的再一个方面中，搜索或浏览多媒体数据的方法包括以下步骤选择或输入参考多媒体数据；使用代表多媒体数据特征重要性的可变信息搜索参考多媒体数据，其中多媒体数据结构包括可变信息、可变信息的可靠性信息和用于限制用户权限的权限代码；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；测量参考多媒体数据与搜索所得的图像的相似性，并使用测量值计算出新的可变信息；使用可靠性信息与权限代码的可选择性组合更新先前的可变信息，并保持该更新的信息。
在本发明的再一个方面中，用于多媒体数据搜索或浏览系统的数据结构包括多媒体数据；多媒体数据的特征信息；代表多媒体数据特征的权数的权数信息。
下面将参照附图对本发明进行详细描述，附图中相同的参考数字指得是其中相同的单元，附图包括
图1是根据本发明的多媒体数据搜索或浏览系统中的多媒体数据结构；图2是根据本发明的多媒体数据搜索或浏览系统中使用的另一种数据结构；图3是根据本发明的第一个实施例的多媒体数据搜索或浏览过程的流程图；图4是根据本发明的第三个实施例的多媒体数据搜索或浏览系统中可变可靠性信息的数据结构；图5是根据图4的数据结构的多媒体数据中可变权数信息的一个例子；图6是根据本发明的第三个实施例的多媒体数据搜索或浏览系统中固定的可靠性信息的数据结构；图7是根据图5的数据结构的多媒体数据中固定权数信息的一个例子。
下面将详细介绍本发明的优选实施例，优选实施例的例子在附图中显示。
图1是本发明的搜索或浏览系统可以使用的多媒体数据结构，它包括用于相关性反馈的图像描述101。用于相关性反馈的图像描述101是表明用户反馈训练的特征或特征元素(此后统称为“特征”)重要性的信息，该信息包括图像描述102、权限代码104和可靠性代码107。
特别地，图像描述102包括用于实际搜索的图像特征103a和表明图像特征重要性的权数103b。可靠性代码107表示权数的可靠性。在本优选实施例中，可靠性代码由级别为i的用户的权数更新数目108所代表。权限代码104则表示了权限级别106和权限级别数目105。
本发明使用权限代码104来确定权数是否应当更新，如果是的话，还确定更新的程度。而且，可靠性代码107和权限代码104可以有选择性的或两者一起包含在数据结构中，这取决于系统的需要。例如，数据结构可以只包括可靠性代码107和图像描述102。在这种情况下，系统可以提供权限代码104。同样，如果该系统只需要一个权限级别，那么该权限代码(104)就可以被省略。
图像描述102的权数103b可以根据用户的反馈而得到更新，它是指定给图像特征的权数值。而且，权限代码104的权限级别i 106决定是否更新指定给图像特征的权数和／或更新的程度。不同级别的数目可以由系统的需要确定并且在权限级别的数目105中指示。例如，假定有5个级别，权数可以被第一和第二权限级别的用户反馈进行更新，第一级别用户的更新程度可以是0．95，第二级别用户的更新程度为0．85。
图2表示根据本发明的多媒体数据搜索或浏览系统中使用的数据结构。参照图2，数据结构包括多媒体数据201，多媒体数据的特征信息202，代表多媒体数据特征的重要性的权数信息(或可变信息)203，代表权数信息可靠性的可靠性信息206和208，代表用户权限级别的权限代码207。
如图1所描述的那样，权限级别用于确定是否更新权数信息以及更新的程度。因此，在数据结构中，权限代码包括权限级别的数目204，权限级别密码205和用于权限级别的207。不同权限级别的用户应给予不同的密码以基于权限代码限制或许可对图像的适当访问，即可以修改数据。因此，就不会允许比规定权限级别低的用户使用图像。
在优选实施例中，图像产生器(或生成器)将用户权限分为n个级别，并基于权限级别给予用户合适的密码。此后，用户可以根据给定的权限级别搜索或浏览图像并改变图像的图像描述。
而且，因为图像描述是由不同权限级别的用户更新的，所以就记录下每个权限级别用户的反馈数量以计算可靠性信息。特别地，把第k级别的用户反馈对图像描述的权数更新数目(Nk)与指定给第k级别的权数系数(ak)相乘。把每个权限级别(1～n)的乘积值(ak*Nk)累加，累加得到的和与预定的可靠性系数(a)相乘以获得图像描述的可靠性。如果两个输入数据有相同的多媒体数据，但是有由不同的历史所训练的不同图像描述，用户可以根据它们各自图像描述中的可靠性信息来确定使用哪个图像。此处，如果只有一个权限级别，那么图像就会有一个没有权限信息的可靠性值。
在本发明的第一个实施例中，当输入多媒体数据包括描述图像特征的可变信息和／或权限代码时，对多媒体数据的搜索或浏览方法进行了解释。图3是根据本发明的第一个实施例的搜索或浏览方法的流程图。为了便于解释，多媒体数据被假定为图像。
参照图3，用户选择参考图像或把其输入到搜索或浏览系统(步骤S301)。接下去，该系统利用图像特征和指定给图像特征的权数搜索相似的图像(步骤S302)。如果参考图像是第一次被选择或输入，那么该系统确定此权数的初始值。权数值可以指定给图像特征如颜色、纹理或形状，并且／或者还可以指定给图像特征元素如第i个颜色元素。
在观看搜索或浏览结果时，用户可以通过输入相关性信息(即该搜索或浏览结果是否相关)而给出反馈。特别地，如果该结果很好用户就给出正反馈，该结果很差用户就给出负反馈。例如，用户确定为与参考图像相似的图像将作为正反馈信息被反馈，用户确定为与参考图像不同的图像则作为负反馈信息被反馈。
因此，系统判断用户是否输入了相关性信息(步骤S303)，如果没有用户的反馈则系统返回到步骤S301。但是如果有用户的反馈，则系统确定用户是否有足够的权限级别以更新特征的权数(步骤S304)。此处，系统可以通过要求用户输入密码来确定用户是否达到了权限级别。权限级别将在下面参照第三个实施例进行详细解释。通常来讲，步骤S304限制了权数的更新，其中包括依据权限级别限制更新的程度。但是，这一步骤也可以省略，在这种情况下，对于每个用户的反馈权数值都要更新。
再回到图3，如果用户的权限级别允许更新，系统通过测量参考图像与搜索到的图像中反馈图像的相似性计算出新的权数(步骤S305和S306)。也就是说，如果相关性信息是正信息则系统增加能提高参考图像与反馈图像相似性的特征权数，反之，如果相关性信息是负信息，则系统增加能提高参考图像与反馈图像间相异性的特征权数。
此后，系统用新的权数更新图像描述中以前的权数信息并保持更新的权数以用于下一次搜索或浏览(步骤S307)。特别地，权数值的更新要考虑到以下因素更新前第k个特征的权数，当前的图像搜索中获得的第k个特征的新的权数值，以及所有特征的新的权数值的平均值。此处，由于以前的权数(即更新前第k个特征的权数)而造成的对更新的权数值的影响程度与以前权数的可靠性成反比。
在本优选实施例中，权数值可以使用公式1来更新，其中Wk(t)是第k个特征的更新的权数，Wk(t-1)是更新前第k个特征的权数，Wnew k是通过当前的图像搜索而获得的第k个特征的计算权数，M(Wnew)是通过当前图像搜索而获得的所有特征的计算权数的平均值，a是权数系数，它用于根据用户权限级别确定更新的程度。Wk(t)=Wk(t-1)+△Wk，(△Wk=a(Wnew_k-M(Wnew)))或者，权数可以使用搜索过程中获得的相似图像列表或相异图像列表而进行更新。例如，系统可以测量相似列表中图像之间的相似性并增加有助于作出相似性判断的特征的权数。相反，系统测量相异图像列表中图像之间的相异性，并增加有助于作出相异性判断的特征的权数。
根据本发明的第一个实施例，搜索中使用的特征权数信息包括在输入到系统中的多媒体数据结构中。因此，系统在每次搜索或浏览图像的过程中通过自我训练发展合适的权数。结果，系统使用特征权数信息执行更有效的搜索或浏览，而不用理会是在何地，使用何种应用程序，何种图像搜索引擎。同样，无论何时权数被用于搜索或浏览，通过对用户的主观和客观查询作出有效响应，本实施例都可以用于搜索或浏览用户所希望的图像。因此，本发明的第一个实施例比较适宜用作一种图像格式，该图像格式根据用户反馈可以使用“相关性反馈”概念来控制权数。
在本发明的第二个实施例中，选择或输入的用于搜索的参考数据包括代表多媒体数据特征重要性的可变信息和代表可变信息的可靠性的可靠性信息。在第二个实施例中，把包括可变信息和可靠性信息的多媒体数据结构输入该系统，该系统搜索参考数据。为了便于解释，多媒体数据将被假定为图像。
如第一个实施例所述，用户可以对搜索或浏览所得的图像的相关性给出反馈。接下去，系统使用用户输入的相关性信息或存储在系统中的用户模式信息计算出新的可变信息。例如，用户模式信息可以是用户的历史或使用历史。接下去，系统使用新的可变信息和／或可靠性信息更新可变信息，并保持更新的可变信息。此处，可变信息的更新是与图3中介绍的权数更新类似的方式进行的。
可变信息可以是指定给用于搜索的特征如颜色、纹理或多媒体数据关键词的权数；也可以是指定给用于搜索或浏览特定视频的帧或片段的权数；还可以是指定给依赖于用户的信息的权数，其中依赖于用户的信息代表了用户的偏好或习惯，也代表了用于搜索或浏览多媒体数据的主要区域或主要物体的一部分数据；还可以是用于把多媒体数据归类为相似性列表或群集模型的信息；或者还可以是上面所述的两个或多个权数的组合。
通常，可靠性信息直接或间接代表了可变信息的可靠性，并且与根据输入的相关性信息的可变信息的用户训练的数量成正比。同样，可靠性信息也可以由系统的性能确定。下面将参照第三个实施例对可靠性信息进行详细解释。
因此，如果两个数据有相同的多媒体数据但是有不同的可变信息值，当计算新的可变信息时，系统就会选择有更高可靠性的可变信息或与可变信息的可靠性成比例地组合可变信息。可变信息的计算可以独立使用，而不用考虑本发明的第二个实施例。
例如，假定生成了一幅图像并且该图像又被其它用户拷贝为多个图像，进一步假定每个拷贝图像的图像描述在通过不同的应用程序时得到不同的发展。特别地，由不同的应用程序发展的图像描述将会有不同的可变信息和可变信息的可靠性信息。如果系统接下去要求在搜索中使用该图像，就必须确定使用图像的哪一个拷贝。因为具有不同图像描述的图像有可变信息的可靠性信息(即权数)，系统将会很容易选择并使用具有最高可靠性的图像用于搜索。同样，系统还可以通过组合对应于多个图像拷贝的不同图像描述的权数从而获得新的权数，这种组合要与不同图像的可靠性成比例。
根据上面所述的本发明的第二个实施例，因为可变信息的可靠性信息和可变信息都包括在输入系统的图像中，所以无论何时进行图像搜索，权数都可以得到更新。因此，可以训练可变信息，允许更精确的搜索。结果，系统就可以智能化地发展为最佳状态。
在本发明的第三个实施例中，输入到搜索或浏览系统的多媒体数据结构包括代表特征重要性的可变信息，代表可变信息的可靠性的可靠性信息和用于限制用户权限的权限代码。此处，权限代码可以包括在多媒体数据中，也可以在反馈回多媒体数据的搜索或浏览的合理判断时由系统提供。
在本发明的第三个实施例中，多媒体数据搜索和浏览系统根据用户的控制信号选择或输入参考多媒体数据。此后，系统使用可变信息、可变信息的可靠性信息和权限代码搜索多媒体数据。通过响应所有用户反馈进行更新但并不考虑这些反馈的可靠性，权限代码被用于限制对可变信息不适当的训练。
例如，没有经验的用户会把两个不同的图像认为是相同的，这就造成指定给搜索中使用的图像特征的权数会以不合适的方向被更新。因此，相应图像的训练结果在可靠性方面将会降低。但是，在另外一种可供选择的方法中，输入图像可以不包括权限代码，取而代之的是系统通过提供权限代码可以限制或区分权数更新的权限或权数更新的程度。例如，可以使用用户的登录ID来确定权限级别。
而且，如第一和第二实施例所述，用户给出对搜索或浏览的多媒体数据的相关性的反馈。此后，系统测量参考图像与搜索所得图像中的反馈图像的相似性，并根据测量值计算出新的可变信息。然后，系统使用计算出的可变信息、可靠性信息和／或权限代码对包括在参考图像中的以前的可变信息进行更新，并保持更新的可变信息。这样，如果两幅图像有不同的可变信息值，系统就选择相对于可变信息值具有更高可靠性的那一幅。
特别地，新的权数可以如第一个实施例所述的那样由公式1或由在搜索过程中获得的相似性列表或相异性列表来计算和更新。而且，权数可以在权数可靠性的基础上进行更新。权数可以由公式2进行更新，其中(Rc)是当前训练图像的组合可靠性，(Wc)是为可靠性预定的权数，(Rt)是与当前反馈的用户权限级别相对应的更新权数的程度，(Wt)是用户权限级别的权数。更新权数=(RcWc+RtWt)／(Rc+Rt)此处，Rc的值是具有各自权限级别的用户的以前权数更新的数目。
图4显示了根据本发明的第三个实施例的多媒体数据搜索或浏览系统中可变可靠性信息的数据结构。参照图4，可变可靠性描述符401由级别数目402、级别I的影响程度403、级别I的用户的更新数目组成。作为对比，图6显示了根据本发明的第三个实施例的多媒体数据搜索或浏览系统中固定可靠性信息的数据结构。参照图6，固定可靠性描述符601包括级别为I的用户所执行的更新的数目602。可靠性信息可以如下获得。
首先，把较高的可靠性给予带有高权限级别的用户所经常训练的可变信息的图像。换句话说，可靠性要与给出反馈的用户的数目和权限级别成比例地给出。因此，系统把相对较高的可靠性给予具有高权限级别的用户所反馈的相关性信息的相对较大数量训练的图像。
第二，系统把较高的可靠性给予主要由权限级别范围在预定级别到更高级别之间的用户训练的图像。换句话说，系统把相对较高的可靠性给予具有权限级别比预定级别高的用户所反馈的相关性信息的相对较大数量的训练的图像。
第三，可靠性可以根据系统的性能来确定。
第四，系统通过变化地设置和使用具有相应更新程度的大量用户级别可以使用如图4所示的可靠性信息，或者使用如图6所示的固定可靠性信息。无论在何种情况下，用户反馈的更新数目和给出反馈的用户的权限级别越高，所给出的可靠性也就越高。
图5显示了图4中可变可靠性信息的一个例子。在该例子中，用户被划分为5个权限级别。第一级别的更新程度为1．0并且具有第一级别用户8次更新的记录。第二级别的更新程度为0．7并且具有第二级别用户14次更新的记录。第三级别的更新程度为0．5并且具有第三级别用户30次更新的记录。第四级别的更新程度为0．3并且具有第四级别用户23次更新的记录。第五级别的更新程度为0．1并且具有第五级别用户4次更新的记录。因此，权限级别的数目和受各个权限级别用户影响的更新程度的确定是不断变动的。
作为对比，图7是图6的固定可靠性信息的一个例子。参照图7，用户权限级别的数目被固定为10级，每个级别相应的权数更新程度在0．1至1的范围内被预先分配。特别地，第一级别的更新程度为1．0并且具有8次更新的记录，第四级别的更新程度为0．7并且具有14次更新的记录，第六级别的更新程度为0．5并且具有30次更新的记录，第八级别的更新程度为0．3并且具有23次更新的记录，第十级别的更新程度为0．1并且具有4次更新的记录。
系统检查上面所确定的用户权限级别，有效控制对图像的访问，即允许和／或禁止权数更新或更新程度。同样，在图7所示系统中，所有10个级别或10个级别中的一部分可以按需使用。例如，系统可以如图5那样通过不将剩余的5个级别指定给用户而仅使用5个级别。在这种情况下，对应于图5第一级别的图7中的第一级别就作为第一级别，对应于图5第二级别的图7中的第四级别就作为第二级别，对应于图5第三级别的图7中的第六级别就作为第三级别，对应于图5第四级别的图7中的第八级别就作为第四级别，对应于图5第五级别的图7中的第十级别就作为第五级别。因此，10个固定权限级别中的5个权限级别就可以使用，系统在各个权限级别的基础上确定是否允许更新。
根据上述本发明的实施例，可以提供如下效果。
首先，因为图像特征的权数(或可变信息)被包括在输入图像中并且在图像搜索重复进行时可以训练相应的图像以提供更好的搜索结果，所以在执行有关等同图像的搜索时可以完成准确有效的搜索或浏览。
第二，当把在不同环境中训练后的等同图像进行更新时，代表图像的权数或可变信息的可靠性的可靠性信息被包括在各个图像中，以便能够辨认哪幅图像是被更有效地训练。因此，用户可以准确有效地搜索或浏览当前图像。
第三，通过在输入图像中包括权限代码或由系统提供权限代码，可以根据用户的权限级别对更新的许可和更新的程度进行限制。因此，可以防止由于用户的粗心或不正常更新而造成的对相应图像不合适的训练。
第四，因为可靠性信息和权限代码可以根据系统的特性与图像特征的权数(或可变信息)进行有选择的或共同的合并，因此，多媒体数据的搜索或浏览可以以一种方向准确执行，在该方向上可以实现智能训练和自我发展。
前述的实施例仅仅是示例性的并不用来限制本发明。目前讲授的内容也可以应用于其它类型的装置。对本发明进行的描述目的是说明性的，并不是用来限制权利要求的范围。很多替换，修改和变动对本领域的技术人员而言都将是显而易见的。
权利要求
1．搜索或浏览多媒体数据的方法，包括(a)接收带有数据结构的参考多媒体数据，该数据结构包括所述参考多媒体数据的特征和所述特征的权数信息；(b)使用特征和权数信息搜索所述参考多媒体数据；(c)接收对步骤(b)中发现的作为结果的多媒体数据的相关性的用户反馈；(d)测量参考多媒体数据与作为结果的多媒体数据的相似性，并使用测量值计算出所述特征的新权数信息；(e)使用新的权数信息更新参考多媒体数据的所述数据结构中所述特征的权数信息。
2．根据权利要求1的方法，其中在(c)中，如果用户反馈为正的相关性信息，就增加特征权数，这会增加参考多媒体数据与作为结果的多媒体数据之间的相似性。
3．根据权利要求2的方法，其中在(c)中，如果用户反馈是负的相关性信息，就增加特征权数，这会增加参考多媒体数据与作为结果的多媒体数据之间的相异性。
4．根据权利要求1的方法，其中参考多媒体数据的数据结构还进一步包括表明权数信息可靠性的可靠性信息。
5．根据权利要求4的方法，其中指定给特征的权数的可靠性与用户反馈的训练数量成正比。
6．根据权利要求4的方法，其中参考多媒体数据的数据结构进一步包括权限信息，该权限信息限制用户反馈对权数信息的更新。
7．根据权利要求6的方法，其中权限信息包括多个权限级别，其中每个权限级别具有影响步骤(e)中权数信息更新的程度的程度值。
8．根据权利要求7的方法，其中更高的可靠性被给予高权限级别的用户的用户反馈。
9．根据权利要求6的方法，其中在(e)中，更新参考多媒体数据的所述数据结构中所述特征的权数信息要依靠可靠性信息和权限信息。
10．根据权利要求1的方法，其中参考多媒体数据的数据结构进一步包括权限信息，该权限信息限制用户反馈对权数信息的更新。
11．根据权利要求10的方法，其中权限信息包括多个权限级别，每个权限级别具有影响步骤(e)中权数信息更新的程度的程度值。
12．根据权利要求11的方法，其中要接收用户输入的密码以确定用户的权限级别。
13．搜索或浏览多媒体数据的方法，包括使用代表参考多媒体数据特征重要性的可变信息搜索参考多媒体数据；接收对搜索的多媒体数据的相关性的用户反馈；使用相关性信息作为训练信息或使用存储在系统中的用户模式信息计算新的可变信息；使用计算出的新的可变信息和／或可靠性信息来更新可变信息，并保持更新的可变信息。
14．根据权利要求13的方法，其中可变信息是下面各项的一个或组合；用于搜索参考多媒体数据的特征权数；用于搜索或浏览特定视频的帧或片段的权数；代表用户的偏好或习惯的依赖于用户的信息的权数和用于搜索或浏览多媒体数据的主要区域或主要物体的一部分数据；用于相似性列表和群集模型的多媒体归类的信息。
15．根据权利要求13的方法，其中如果提供了至少两个相同的多媒体数据用于搜索或浏览，而它们具有不同的可变信息，则选择具有对于可变信息的相对较高可靠性的多媒体数据来计算新的可变信息。
16．根据权利要求13的方法，其中如果提供了至少两个相同的多媒体数据用于搜索或浏览，而它们具有不同的可变信息，则按照与可变信息值的可靠性成比例的方式组合提供的多媒体数据以计算出新的可变信息。
17．搜索或浏览多媒体数据的方法，包括使用代表参考多媒体数据特征重要性的可变信息搜索参考多媒体数据；接收对搜索的多媒体数据的相关性的用户反馈；使用相关性信息作为训练信息或使用以前存储的用户模式信息和／或可靠性信息来更新可变信息，并保持更新的可变信息。
18．用于多媒体数据搜索或浏览系统的数据结构，包括多媒体数据；代表多媒体数据特征的可变信息。
19．根据权利要求18的数据结构，进一步包括代表可变信息可靠性的可靠性信息。
20．根据权利要求19的数据结构，其中可靠性信息包括关于用户进行的可变信息更新的数目的信息。
21．根据权利要求19的数据结构，进一步包括权限代码。
22．根据权利要求21的数据结构，其中可靠性信息是可变的，它包括大量权限级别、每个权限级别的可变信息更新的程度、和每个权限级别的用户进行的可变信息更新的数目。
23．根据权利要求21的数据结构，其中可靠性信息是固定的，它包括由固定权限级别的用户进行的可变信息更新的数目。
24．根据权利要求18的数据结构，进一步包括权限代码。
25．多媒体数据的搜索或浏览方法，其中的多媒体数据具有如权利要求18所述的数据结构。
26．多媒体数据的搜索或浏览方法，其中的多媒体数据具有如权利要求19所述的数据结构。
27．多媒体数据的搜索或浏览方法，其中的多媒体数据具有如权利要求21所述的数据结构。
28．多媒体数据的搜索或浏览方法，其中的多媒体数据具有如权利要求24所述的数据结构。
全文摘要
公开了一种用于搜索或浏览多媒体数据的方法,能够有效地搜索或浏览图象。在本方法中,考虑关于输入多媒体数据的特征权数的可靠性信息和权限代码中的至少一个,执行搜索或浏览。根据本方法,系统选择参考多媒体数据,并使用输入多媒体数据的特征和/或特征元素的权数来搜索多媒体数据。用户接收关于所搜索或浏览的多媒体数据的相关性的反馈,系统使用该相关性信息计算新的权数。因此,系统更新和保持特征和/或特征元素的新权数。
文档编号G06T7/00GK1293793SQ00800101
公开日2001年5月2日 申请日期2000年1月27日 优先权日1999年1月29日
发明者李振秀, 金贤俊 申请人:Lg电子株式会社
技术领域：
本发明涉及数据的搜索或浏览方法，具体涉及多媒体数据如图像或视频的搜索或浏览方法。
近来，数字图像信号处理技术得到极大发展并被应用于各种领域。例如，数字图像信号处理技术可用于搜索系统，该系统可自动地仅仅编辑电影或戏剧的移动图像文件中特定人物的面容，数字图像信号处理技术还可用于安全系统，该安全系统只允许在该系统注册的人使用，数字图像信号处理技术还可用于一种搜索系统，该搜索系统可以从检测系统检测到的图像或视频中搜索特定数据。以上这些系统的性能主要依赖于检测或搜索所需目标的准确性和速度。因此，在现有技术中提出了各种各样的图像搜索方法。
美国专利5，579，471“图像查询系统和方法”公开了一种图像搜索系统，该系统利用颜色、纹理或形状等特征检测要搜索的图像的相似性程度。取决于要搜索的图像，每个特征的重要性可能会有所不同并且在一个特定的特征如颜色内特征元素如红色或绿色的重要性也会有所不同。但是，对于每个要搜索的图像，上面的搜索系统并没有把各种特征或特征元素的不同重要性考虑进去。
在另一种名为“Virage图像搜索引擎”(www．virage．com)的搜索方法中，用户通过指定权数值直接输入不同特征如颜色、纹理和形状的重要性级别。尽管使用这种方法根据各个特征的重要性可以搜索图像，但是用户很难确定各个特征的重要性。
因此，Yong Rui在SPIE卷3312的名为“交互作用中的相关性反馈技术”中公开了一种方法，在该方法中，找出与参考图像相类似的图像，然后通过计算找出的图像间的相似性自动获得特征的重要性或特征的权数。但是，在对特定图像的搜索完成之后这种权数重要性信息并不能得到保持，对于每次图像搜索即使是相同图像的搜索，其权数重要性信息都必须重新计算。
在现有技术的图像搜索和浏览系统或视频(移动图像)搜索和浏览系统中，使用描述图像或视频数据特定特征的信息来进行对多媒体数据更有效的搜索或浏览。例如，在图像查询系统中，一幅图像可以分为多个区域，可以使用每个区域的代表性颜色作为该图像的特征信息，或使用该图像的总体颜色直方图作为特征信息。此后，比较两幅图像以计算出基于特征信息的相似性，以此确定两幅图像是否相似。
同样，用户还可能希望搜索和观看视频中特定人物登场或特定事件发生的部分。此时，可以使用代表特定事件的关键帧来执行对视频的搜索和浏览。而且在最近的搜索和浏览方法中已经使用上级特征信息和下级特征信息来定义关键帧和关键片段。这种类型的多媒体数据搜索和浏览方法可以使用表明重要性程度的权数信息，或者直接或间接使用通过对相似的多媒体数据归类而预先得到的组信息。这样的权数信息或组信息可以由专家提前预定义或者它们也可以是由用户反馈不断修改的特征信息。
此外，当浏览多媒体数据如图像或视频时，可以根据用户要求或硬件的资源条件来显示原始多媒体数据的全部或一部分。当显示原始多媒体数据的各个部分时，给每个部分指定权数值以使得全部数据中重要的部分可以被优选显示。这种权数值可以根据用户的反馈进行改变或由专家预先定义。
在美国专利5，020，019和5，297，042中使用描述用户偏好的信息来为每个用户提供更好的服务。例如对电影或视频数据而言，这种信息可以包括如动作片、戏剧或体育运动的用户偏好。在另一个例子中，用户对关键词搜索中使用频度最多的关键词可以有不同的偏好和意义。因此，如果根据用户的偏好给用户经常使用的关键词指定不同的权数，那么用户可以进行更有效的搜索。这样的用户偏好可以通过用户的搜索条件和用户以前的搜索历史来获得。这种取决于用户偏好的信息还可以修改和更新。
尽管可变的特征信息对于一些多媒体数据的搜索和浏览而言已经足够了，但是当这些包括权数值的特征信息由专家来预先确定时，信息的可靠性可能会依赖于专家和／或定义可变信息时使用的大量专家意见的可靠程度而改变。换句话说，即使描述多媒体数据特征的特征信息由专家组预先定义，但用于定义同一幅图像的特征信息的可靠性也可能由于专家技能的不同而不一致。同样地，当特征信息是根据用户的反馈而训练时，信息的可靠性可能会取决于反馈的数量和准确性而改变。例如，如果用户在搜索后把两幅图像错误地判断为一样，这样的信息被反馈后将对特征信息的训练产生不利的影响。
另外，新用户输入的用户偏好信息可能与服务器推荐的特征信息有所不同。在这种情况下，系统应根据用户的可靠性给用户偏好信息指定合适的权数。最终，因为不同的用户对系统给出不同的反馈，如果现存的特征信息的可靠性相对较高的话，新用户的个人反馈信息对特征信息的更新就不会有太大的影响，反之，如果现存的特征信息的可靠性比较低，那么每个新用户的反馈信息就会对特征信息值有较大影响。
由于现有技术的搜索和浏览方法并未考虑上面所描述的因素，因此或者是搜索到的结果的可靠性不一致或者是要一直输入可靠的反馈信息。
因此，本发明的目的之一是至少解决现有技术的难题和缺点。
本发明的一个目的是提供一种准确有效的搜索或浏览多媒体数据的方法。
本发明的另一个目的是提供一种搜索或浏览方法，该方法在考虑了信息可靠性和权限代码的情况下执行对特征信息的更新。
本发明的再一个目的是提供一种数据结构，该数据结构可用于搜索或浏览多媒体数据。
本发明的另外一些优点、目的和特征将在以下的描述中得到部分阐明，部分地由该领域内的普通技术人员通过对本发明的审看或实践明白和了解。通过所附权利要求所特别指出的方式可以实现和获得本发明的目的和其它优点。
为了达到上述目的，根据本发明的目标，如此处所体现和广泛描述的那样，搜索或浏览多媒体数据的方法包括以下步骤选择或输入参考多媒体数据；利用指定给多媒体数据的特征和／或特征元素的权数搜索参考多媒体数据；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；测量参考多媒体数据与搜索所得的图像的相似性，并使用测量值计算出新的权数；更新先前的权数，保持该更新的权数。
在本发明的另一个方面中，搜索或浏览多媒体数据的方法包括以下步骤使用代表多媒体数据特征重要性的可变信息和代表可变信息的可靠性的可靠性信息搜索参考多媒体数据，上述的可变信息包括在多媒体数据结构中；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；使用用户反馈回的训练信息或存储在系统中的用户模式信息计算出新的可变信息；使用计算出的可变信息和／或可靠性信息更新先前的可变信息并保持该更新的信息。
在本发明的再一个方面中，搜索或浏览多媒体数据的方法包括以下步骤选择或输入参考多媒体数据；使用代表多媒体数据特征重要性的可变信息搜索参考多媒体数据，其中多媒体数据结构包括可变信息、可变信息的可靠性信息和用于限制用户权限的权限代码；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；测量参考多媒体数据与搜索所得的图像的相似性，并使用测量值计算出新的可变信息；使用可靠性信息与权限代码的可选择性组合更新先前的可变信息，并保持该更新的信息。
在本发明的再一个方面中，用于多媒体数据搜索或浏览系统的数据结构包括多媒体数据；多媒体数据的特征信息；代表多媒体数据特征的权数的权数信息。
下面将参照附图对本发明进行详细描述，附图中相同的参考数字指得是其中相同的单元，附图包括
图1是根据本发明的多媒体数据搜索或浏览系统中的多媒体数据结构；图2是根据本发明的多媒体数据搜索或浏览系统中使用的另一种数据结构；图3是根据本发明的第一个实施例的多媒体数据搜索或浏览过程的流程图；图4是根据本发明的第三个实施例的多媒体数据搜索或浏览系统中可变可靠性信息的数据结构；图5是根据图4的数据结构的多媒体数据中可变权数信息的一个例子；图6是根据本发明的第三个实施例的多媒体数据搜索或浏览系统中固定的可靠性信息的数据结构；图7是根据图5的数据结构的多媒体数据中固定权数信息的一个例子。
下面将详细介绍本发明的优选实施例，优选实施例的例子在附图中显示。
图1是本发明的搜索或浏览系统可以使用的多媒体数据结构，它包括用于相关性反馈的图像描述101。用于相关性反馈的图像描述101是表明用户反馈训练的特征或特征元素(此后统称为“特征”)重要性的信息，该信息包括图像描述102、权限代码104和可靠性代码107。
特别地，图像描述102包括用于实际搜索的图像特征103a和表明图像特征重要性的权数103b。可靠性代码107表示权数的可靠性。在本优选实施例中，可靠性代码由级别为i的用户的权数更新数目108所代表。权限代码104则表示了权限级别106和权限级别数目105。
本发明使用权限代码104来确定权数是否应当更新，如果是的话，还确定更新的程度。而且，可靠性代码107和权限代码104可以有选择性的或两者一起包含在数据结构中，这取决于系统的需要。例如，数据结构可以只包括可靠性代码107和图像描述102。在这种情况下，系统可以提供权限代码104。同样，如果该系统只需要一个权限级别，那么该权限代码(104)就可以被省略。
图像描述102的权数103b可以根据用户的反馈而得到更新，它是指定给图像特征的权数值。而且，权限代码104的权限级别i 106决定是否更新指定给图像特征的权数和／或更新的程度。不同级别的数目可以由系统的需要确定并且在权限级别的数目105中指示。例如，假定有5个级别，权数可以被第一和第二权限级别的用户反馈进行更新，第一级别用户的更新程度可以是0．95，第二级别用户的更新程度为0．85。
图2表示根据本发明的多媒体数据搜索或浏览系统中使用的数据结构。参照图2，数据结构包括多媒体数据201，多媒体数据的特征信息202，代表多媒体数据特征的重要性的权数信息(或可变信息)203，代表权数信息可靠性的可靠性信息206和208，代表用户权限级别的权限代码207。
如图1所描述的那样，权限级别用于确定是否更新权数信息以及更新的程度。因此，在数据结构中，权限代码包括权限级别的数目204，权限级别密码205和用于权限级别的207。不同权限级别的用户应给予不同的密码以基于权限代码限制或许可对图像的适当访问，即可以修改数据。因此，就不会允许比规定权限级别低的用户使用图像。
在优选实施例中，图像产生器(或生成器)将用户权限分为n个级别，并基于权限级别给予用户合适的密码。此后，用户可以根据给定的权限级别搜索或浏览图像并改变图像的图像描述。
而且，因为图像描述是由不同权限级别的用户更新的，所以就记录下每个权限级别用户的反馈数量以计算可靠性信息。特别地，把第k级别的用户反馈对图像描述的权数更新数目(Nk)与指定给第k级别的权数系数(ak)相乘。把每个权限级别(1～n)的乘积值(ak*Nk)累加，累加得到的和与预定的可靠性系数(a)相乘以获得图像描述的可靠性。如果两个输入数据有相同的多媒体数据，但是有由不同的历史所训练的不同图像描述，用户可以根据它们各自图像描述中的可靠性信息来确定使用哪个图像。此处，如果只有一个权限级别，那么图像就会有一个没有权限信息的可靠性值。
在本发明的第一个实施例中，当输入多媒体数据包括描述图像特征的可变信息和／或权限代码时，对多媒体数据的搜索或浏览方法进行了解释。图3是根据本发明的第一个实施例的搜索或浏览方法的流程图。为了便于解释，多媒体数据被假定为图像。
参照图3，用户选择参考图像或把其输入到搜索或浏览系统(步骤S301)。接下去，该系统利用图像特征和指定给图像特征的权数搜索相似的图像(步骤S302)。如果参考图像是第一次被选择或输入，那么该系统确定此权数的初始值。权数值可以指定给图像特征如颜色、纹理或形状，并且／或者还可以指定给图像特征元素如第i个颜色元素。
在观看搜索或浏览结果时，用户可以通过输入相关性信息(即该搜索或浏览结果是否相关)而给出反馈。特别地，如果该结果很好用户就给出正反馈，该结果很差用户就给出负反馈。例如，用户确定为与参考图像相似的图像将作为正反馈信息被反馈，用户确定为与参考图像不同的图像则作为负反馈信息被反馈。
因此，系统判断用户是否输入了相关性信息(步骤S303)，如果没有用户的反馈则系统返回到步骤S301。但是如果有用户的反馈，则系统确定用户是否有足够的权限级别以更新特征的权数(步骤S304)。此处，系统可以通过要求用户输入密码来确定用户是否达到了权限级别。权限级别将在下面参照第三个实施例进行详细解释。通常来讲，步骤S304限制了权数的更新，其中包括依据权限级别限制更新的程度。但是，这一步骤也可以省略，在这种情况下，对于每个用户的反馈权数值都要更新。
再回到图3，如果用户的权限级别允许更新，系统通过测量参考图像与搜索到的图像中反馈图像的相似性计算出新的权数(步骤S305和S306)。也就是说，如果相关性信息是正信息则系统增加能提高参考图像与反馈图像相似性的特征权数，反之，如果相关性信息是负信息，则系统增加能提高参考图像与反馈图像间相异性的特征权数。
此后，系统用新的权数更新图像描述中以前的权数信息并保持更新的权数以用于下一次搜索或浏览(步骤S307)。特别地，权数值的更新要考虑到以下因素更新前第k个特征的权数，当前的图像搜索中获得的第k个特征的新的权数值，以及所有特征的新的权数值的平均值。此处，由于以前的权数(即更新前第k个特征的权数)而造成的对更新的权数值的影响程度与以前权数的可靠性成反比。
在本优选实施例中，权数值可以使用公式1来更新，其中Wk(t)是第k个特征的更新的权数，Wk(t-1)是更新前第k个特征的权数，Wnew k是通过当前的图像搜索而获得的第k个特征的计算权数，M(Wnew)是通过当前图像搜索而获得的所有特征的计算权数的平均值，a是权数系数，它用于根据用户权限级别确定更新的程度。Wk(t)=Wk(t-1)+△Wk，(△Wk=a(Wnew_k-M(Wnew)))或者，权数可以使用搜索过程中获得的相似图像列表或相异图像列表而进行更新。例如，系统可以测量相似列表中图像之间的相似性并增加有助于作出相似性判断的特征的权数。相反，系统测量相异图像列表中图像之间的相异性，并增加有助于作出相异性判断的特征的权数。
根据本发明的第一个实施例，搜索中使用的特征权数信息包括在输入到系统中的多媒体数据结构中。因此，系统在每次搜索或浏览图像的过程中通过自我训练发展合适的权数。结果，系统使用特征权数信息执行更有效的搜索或浏览，而不用理会是在何地，使用何种应用程序，何种图像搜索引擎。同样，无论何时权数被用于搜索或浏览，通过对用户的主观和客观查询作出有效响应，本实施例都可以用于搜索或浏览用户所希望的图像。因此，本发明的第一个实施例比较适宜用作一种图像格式，该图像格式根据用户反馈可以使用“相关性反馈”概念来控制权数。
在本发明的第二个实施例中，选择或输入的用于搜索的参考数据包括代表多媒体数据特征重要性的可变信息和代表可变信息的可靠性的可靠性信息。在第二个实施例中，把包括可变信息和可靠性信息的多媒体数据结构输入该系统，该系统搜索参考数据。为了便于解释，多媒体数据将被假定为图像。
如第一个实施例所述，用户可以对搜索或浏览所得的图像的相关性给出反馈。接下去，系统使用用户输入的相关性信息或存储在系统中的用户模式信息计算出新的可变信息。例如，用户模式信息可以是用户的历史或使用历史。接下去，系统使用新的可变信息和／或可靠性信息更新可变信息，并保持更新的可变信息。此处，可变信息的更新是与图3中介绍的权数更新类似的方式进行的。
可变信息可以是指定给用于搜索的特征如颜色、纹理或多媒体数据关键词的权数；也可以是指定给用于搜索或浏览特定视频的帧或片段的权数；还可以是指定给依赖于用户的信息的权数，其中依赖于用户的信息代表了用户的偏好或习惯，也代表了用于搜索或浏览多媒体数据的主要区域或主要物体的一部分数据；还可以是用于把多媒体数据归类为相似性列表或群集模型的信息；或者还可以是上面所述的两个或多个权数的组合。
通常，可靠性信息直接或间接代表了可变信息的可靠性，并且与根据输入的相关性信息的可变信息的用户训练的数量成正比。同样，可靠性信息也可以由系统的性能确定。下面将参照第三个实施例对可靠性信息进行详细解释。
因此，如果两个数据有相同的多媒体数据但是有不同的可变信息值，当计算新的可变信息时，系统就会选择有更高可靠性的可变信息或与可变信息的可靠性成比例地组合可变信息。可变信息的计算可以独立使用，而不用考虑本发明的第二个实施例。
例如，假定生成了一幅图像并且该图像又被其它用户拷贝为多个图像，进一步假定每个拷贝图像的图像描述在通过不同的应用程序时得到不同的发展。特别地，由不同的应用程序发展的图像描述将会有不同的可变信息和可变信息的可靠性信息。如果系统接下去要求在搜索中使用该图像，就必须确定使用图像的哪一个拷贝。因为具有不同图像描述的图像有可变信息的可靠性信息(即权数)，系统将会很容易选择并使用具有最高可靠性的图像用于搜索。同样，系统还可以通过组合对应于多个图像拷贝的不同图像描述的权数从而获得新的权数，这种组合要与不同图像的可靠性成比例。
根据上面所述的本发明的第二个实施例，因为可变信息的可靠性信息和可变信息都包括在输入系统的图像中，所以无论何时进行图像搜索，权数都可以得到更新。因此，可以训练可变信息，允许更精确的搜索。结果，系统就可以智能化地发展为最佳状态。
在本发明的第三个实施例中，输入到搜索或浏览系统的多媒体数据结构包括代表特征重要性的可变信息，代表可变信息的可靠性的可靠性信息和用于限制用户权限的权限代码。此处，权限代码可以包括在多媒体数据中，也可以在反馈回多媒体数据的搜索或浏览的合理判断时由系统提供。
在本发明的第三个实施例中，多媒体数据搜索和浏览系统根据用户的控制信号选择或输入参考多媒体数据。此后，系统使用可变信息、可变信息的可靠性信息和权限代码搜索多媒体数据。通过响应所有用户反馈进行更新但并不考虑这些反馈的可靠性，权限代码被用于限制对可变信息不适当的训练。
例如，没有经验的用户会把两个不同的图像认为是相同的，这就造成指定给搜索中使用的图像特征的权数会以不合适的方向被更新。因此，相应图像的训练结果在可靠性方面将会降低。但是，在另外一种可供选择的方法中，输入图像可以不包括权限代码，取而代之的是系统通过提供权限代码可以限制或区分权数更新的权限或权数更新的程度。例如，可以使用用户的登录ID来确定权限级别。
而且，如第一和第二实施例所述，用户给出对搜索或浏览的多媒体数据的相关性的反馈。此后，系统测量参考图像与搜索所得图像中的反馈图像的相似性，并根据测量值计算出新的可变信息。然后，系统使用计算出的可变信息、可靠性信息和／或权限代码对包括在参考图像中的以前的可变信息进行更新，并保持更新的可变信息。这样，如果两幅图像有不同的可变信息值，系统就选择相对于可变信息值具有更高可靠性的那一幅。
特别地，新的权数可以如第一个实施例所述的那样由公式1或由在搜索过程中获得的相似性列表或相异性列表来计算和更新。而且，权数可以在权数可靠性的基础上进行更新。权数可以由公式2进行更新，其中(Rc)是当前训练图像的组合可靠性，(Wc)是为可靠性预定的权数，(Rt)是与当前反馈的用户权限级别相对应的更新权数的程度，(Wt)是用户权限级别的权数。更新权数=(RcWc+RtWt)／(Rc+Rt)此处，Rc的值是具有各自权限级别的用户的以前权数更新的数目。
图4显示了根据本发明的第三个实施例的多媒体数据搜索或浏览系统中可变可靠性信息的数据结构。参照图4，可变可靠性描述符401由级别数目402、级别I的影响程度403、级别I的用户的更新数目组成。作为对比，图6显示了根据本发明的第三个实施例的多媒体数据搜索或浏览系统中固定可靠性信息的数据结构。参照图6，固定可靠性描述符601包括级别为I的用户所执行的更新的数目602。可靠性信息可以如下获得。
首先，把较高的可靠性给予带有高权限级别的用户所经常训练的可变信息的图像。换句话说，可靠性要与给出反馈的用户的数目和权限级别成比例地给出。因此，系统把相对较高的可靠性给予具有高权限级别的用户所反馈的相关性信息的相对较大数量训练的图像。
第二，系统把较高的可靠性给予主要由权限级别范围在预定级别到更高级别之间的用户训练的图像。换句话说，系统把相对较高的可靠性给予具有权限级别比预定级别高的用户所反馈的相关性信息的相对较大数量的训练的图像。
第三，可靠性可以根据系统的性能来确定。
第四，系统通过变化地设置和使用具有相应更新程度的大量用户级别可以使用如图4所示的可靠性信息，或者使用如图6所示的固定可靠性信息。无论在何种情况下，用户反馈的更新数目和给出反馈的用户的权限级别越高，所给出的可靠性也就越高。
图5显示了图4中可变可靠性信息的一个例子。在该例子中，用户被划分为5个权限级别。第一级别的更新程度为1．0并且具有第一级别用户8次更新的记录。第二级别的更新程度为0．7并且具有第二级别用户14次更新的记录。第三级别的更新程度为0．5并且具有第三级别用户30次更新的记录。第四级别的更新程度为0．3并且具有第四级别用户23次更新的记录。第五级别的更新程度为0．1并且具有第五级别用户4次更新的记录。因此，权限级别的数目和受各个权限级别用户影响的更新程度的确定是不断变动的。
作为对比，图7是图6的固定可靠性信息的一个例子。参照图7，用户权限级别的数目被固定为10级，每个级别相应的权数更新程度在0．1至1的范围内被预先分配。特别地，第一级别的更新程度为1．0并且具有8次更新的记录，第四级别的更新程度为0．7并且具有14次更新的记录，第六级别的更新程度为0．5并且具有30次更新的记录，第八级别的更新程度为0．3并且具有23次更新的记录，第十级别的更新程度为0．1并且具有4次更新的记录。
系统检查上面所确定的用户权限级别，有效控制对图像的访问，即允许和／或禁止权数更新或更新程度。同样，在图7所示系统中，所有10个级别或10个级别中的一部分可以按需使用。例如，系统可以如图5那样通过不将剩余的5个级别指定给用户而仅使用5个级别。在这种情况下，对应于图5第一级别的图7中的第一级别就作为第一级别，对应于图5第二级别的图7中的第四级别就作为第二级别，对应于图5第三级别的图7中的第六级别就作为第三级别，对应于图5第四级别的图7中的第八级别就作为第四级别，对应于图5第五级别的图7中的第十级别就作为第五级别。因此，10个固定权限级别中的5个权限级别就可以使用，系统在各个权限级别的基础上确定是否允许更新。
根据上述本发明的实施例，可以提供如下效果。
首先，因为图像特征的权数(或可变信息)被包括在输入图像中并且在图像搜索重复进行时可以训练相应的图像以提供更好的搜索结果，所以在执行有关等同图像的搜索时可以完成准确有效的搜索或浏览。
第二，当把在不同环境中训练后的等同图像进行更新时，代表图像的权数或可变信息的可靠性的可靠性信息被包括在各个图像中，以便能够辨认哪幅图像是被更有效地训练。因此，用户可以准确有效地搜索或浏览当前图像。
第三，通过在输入图像中包括权限代码或由系统提供权限代码，可以根据用户的权限级别对更新的许可和更新的程度进行限制。因此，可以防止由于用户的粗心或不正常更新而造成的对相应图像不合适的训练。
第四，因为可靠性信息和权限代码可以根据系统的特性与图像特征的权数(或可变信息)进行有选择的或共同的合并，因此，多媒体数据的搜索或浏览可以以一种方向准确执行，在该方向上可以实现智能训练和自我发展。
前述的实施例仅仅是示例性的并不用来限制本发明。目前讲授的内容也可以应用于其它类型的装置。对本发明进行的描述目的是说明性的，并不是用来限制权利要求的范围。很多替换，修改和变动对本领域的技术人员而言都将是显而易见的。
权利要求
1．搜索或浏览多媒体数据的方法，包括(a)接收带有数据结构的参考多媒体数据，该数据结构包括所述参考多媒体数据的特征和所述特征的权数信息；(b)使用特征和权数信息搜索所述参考多媒体数据；(c)接收对步骤(b)中发现的作为结果的多媒体数据的相关性的用户反馈；(d)测量参考多媒体数据与作为结果的多媒体数据的相似性，并使用测量值计算出所述特征的新权数信息；(e)使用新的权数信息更新参考多媒体数据的所述数据结构中所述特征的权数信息。
2．根据权利要求1的方法，其中在(c)中，如果用户反馈为正的相关性信息，就增加特征权数，这会增加参考多媒体数据与作为结果的多媒体数据之间的相似性。
3．根据权利要求2的方法，其中在(c)中，如果用户反馈是负的相关性信息，就增加特征权数，这会增加参考多媒体数据与作为结果的多媒体数据之间的相异性。
4．根据权利要求1的方法，其中参考多媒体数据的数据结构还进一步包括表明权数信息可靠性的可靠性信息。
5．根据权利要求4的方法，其中指定给特征的权数的可靠性与用户反馈的训练数量成正比。
6．根据权利要求4的方法，其中参考多媒体数据的数据结构进一步包括权限信息，该权限信息限制用户反馈对权数信息的更新。
7．根据权利要求6的方法，其中权限信息包括多个权限级别，其中每个权限级别具有影响步骤(e)中权数信息更新的程度的程度值。
8．根据权利要求7的方法，其中更高的可靠性被给予高权限级别的用户的用户反馈。
9．根据权利要求6的方法，其中在(e)中，更新参考多媒体数据的所述数据结构中所述特征的权数信息要依靠可靠性信息和权限信息。
10．根据权利要求1的方法，其中参考多媒体数据的数据结构进一步包括权限信息，该权限信息限制用户反馈对权数信息的更新。
11．根据权利要求10的方法，其中权限信息包括多个权限级别，每个权限级别具有影响步骤(e)中权数信息更新的程度的程度值。
12．根据权利要求11的方法，其中要接收用户输入的密码以确定用户的权限级别。
13．搜索或浏览多媒体数据的方法，包括使用代表参考多媒体数据特征重要性的可变信息搜索参考多媒体数据；接收对搜索的多媒体数据的相关性的用户反馈；使用相关性信息作为训练信息或使用存储在系统中的用户模式信息计算新的可变信息；使用计算出的新的可变信息和／或可靠性信息来更新可变信息，并保持更新的可变信息。
14．根据权利要求13的方法，其中可变信息是下面各项的一个或组合；用于搜索参考多媒体数据的特征权数；用于搜索或浏览特定视频的帧或片段的权数；代表用户的偏好或习惯的依赖于用户的信息的权数和用于搜索或浏览多媒体数据的主要区域或主要物体的一部分数据；用于相似性列表和群集模型的多媒体归类的信息。
15．根据权利要求13的方法，其中如果提供了至少两个相同的多媒体数据用于搜索或浏览，而它们具有不同的可变信息，则选择具有对于可变信息的相对较高可靠性的多媒体数据来计算新的可变信息。
16．根据权利要求13的方法，其中如果提供了至少两个相同的多媒体数据用于搜索或浏览，而它们具有不同的可变信息，则按照与可变信息值的可靠性成比例的方式组合提供的多媒体数据以计算出新的可变信息。
17．搜索或浏览多媒体数据的方法，包括使用代表参考多媒体数据特征重要性的可变信息搜索参考多媒体数据；接收对搜索的多媒体数据的相关性的用户反馈；使用相关性信息作为训练信息或使用以前存储的用户模式信息和／或可靠性信息来更新可变信息，并保持更新的可变信息。
18．用于多媒体数据搜索或浏览系统的数据结构，包括多媒体数据；代表多媒体数据特征的可变信息。
19．根据权利要求18的数据结构，进一步包括代表可变信息可靠性的可靠性信息。
20．根据权利要求19的数据结构，其中可靠性信息包括关于用户进行的可变信息更新的数目的信息。
21．根据权利要求19的数据结构，进一步包括权限代码。
22．根据权利要求21的数据结构，其中可靠性信息是可变的，它包括大量权限级别、每个权限级别的可变信息更新的程度、和每个权限级别的用户进行的可变信息更新的数目。
23．根据权利要求21的数据结构，其中可靠性信息是固定的，它包括由固定权限级别的用户进行的可变信息更新的数目。
24．根据权利要求18的数据结构，进一步包括权限代码。
25．多媒体数据的搜索或浏览方法，其中的多媒体数据具有如权利要求18所述的数据结构。
26．多媒体数据的搜索或浏览方法，其中的多媒体数据具有如权利要求19所述的数据结构。
27．多媒体数据的搜索或浏览方法，其中的多媒体数据具有如权利要求21所述的数据结构。
28．多媒体数据的搜索或浏览方法，其中的多媒体数据具有如权利要求24所述的数据结构。
全文摘要
公开了一种用于搜索或浏览多媒体数据的方法,能够有效地搜索或浏览图象。在本方法中,考虑关于输入多媒体数据的特征权数的可靠性信息和权限代码中的至少一个,执行搜索或浏览。根据本方法,系统选择参考多媒体数据,并使用输入多媒体数据的特征和/或特征元素的权数来搜索多媒体数据。用户接收关于所搜索或浏览的多媒体数据的相关性的反馈,系统使用该相关性信息计算新的权数。因此,系统更新和保持特征和/或特征元素的新权数。
文档编号G06T7/00GK1293793SQ00800101
公开日2001年5月2日 申请日期2000年1月27日 优先权日1999年1月29日
发明者李振秀, 金贤俊 申请人:Lg电子株式会社
最新回复(0)