用于通过多媒体平台推荐多媒体内容的方法和系统的制作方法
用于通过多媒体平台推荐多媒体内容的方法和系统的制作方法
【技术领域】
[0001 ] 本发明涉及用于推荐多媒体内容的方法和系统。
【背景技术】
[0002]当今，可访问的多媒体内容是巨量的并且不断增加。在众多用户之间不断产生、存档和共享非常大量的信息(图像、视频、文档、社交网络上的评论、…)。在这种背景下，用户获取关注的信息的方式显得十分重要。
[0003]为了检索一般的关注内容，用户可发出文本格式的搜索请求，该搜索请求被称为询问。随后，信息搜索和检索系统分析询问的内容并且将其与可用内容的适当的“指数”相比较。通常基于内容分析预定和构建这种指数。众所周知，与多媒体内容自身相关的信息在文献中被称为“元数据”。
[0004]系统然后通过使用不同的模态和度量返回最满足通过询问表达的用户请求的内容。
[0005]元数据在该内容搜索和检索过程中的重要性是显然的。元数据越多且越有代表性，则内容识别和检索过程越有效。
[0006]为了有利于该多媒体内容搜索和检索过程，使用“推荐系统”，其功能是以更好的精度识别可预见用户的需求和期望的多媒体内容。
[0007]从描述了包含向用户提供定制的程序引导的推荐系统的媒体服务器的文件US2007/0208718A1，获知多媒体内容推荐系统的一个例子。
[0008]一般地，基本上能够识别以下归纳的两种类别的推荐系统。
[0009]合作过滤推荐系统基于由“类似用户”进行的先前选择产生推荐。事实上，用户被分成由一组偏好限定的类型。因此，基于这些合作系统的假定是，可利用一组用户的行为以推断属于该组的单个用户的行为。
[0010]文件US 6438579B1描述了合作推荐系统，其中，根据组行为逻辑，基于由用户自身给出的内容评价与由其它用户给出的其它内容的评价之间的对应关系，向用户提出多媒体内容。
[0011]基于内容的过滤推荐系统通过比较用户的偏好(明确或隐含表达)和他/她已使用的内容的特性和与要推荐的内容相关的元数据或特性来产生推荐。当用户有意地提供他/她的评价时，明确获得用户的偏好；也可通过自动记录和监视用户的行动提取重要的信息。一般通过视听内容分析算法提取用户使用的内容的特性。
[0012]从描述了基于从用户平台接收的用户先前行为提出用户的潜在关注内容的推荐系统的US2011/0125585A1，获知基于内容的推荐系统的一个例子。
[0013]但是，在多媒体内容推荐系统的领域中已知的方案没有证明完全令人满意。
[0014]事实上，希望享受多媒体内容的用户以完全个人的方式与信息搜索和检索系统互动，并且可基于很难事先识别的他/她自身的文化和背景需求决定更深入地探索一些内容而不是其它内容。
[0015]一般地，用户可以以不准确的方式或者通过使用存在同义词的词语表达询问，这可能导致更好的结果。另外，推荐系统使用的一般与重要性或类似性概念相关的预定内容索引必然意味着询问的单义解释。这些方面的结果是，推荐系统会向用户返回不完成满足他/她的需求的结果。
[0016]用户由此不得不与推荐系统进行耗时的互动；但是，在完成搜索之后系统常常“忘记”该互动，使得，即使对于用户自身，也难以在晚些时候重构互动动态。
【发明内容】
[0017]本发明的一个目的是，提供克服现有技术的缺点中的一些的方法和系统。
[0018]特别地，本发明针对提供能够通过利用关于用户与系统之间的互动的信息的表现和存储更有效地检索用户的关注多媒体内容的多媒体内容推荐方法和系统。
[0019]本发明的另一目的是，提供允许使用以利用由用户在其先前完成体验中可能提出的关联性的多媒体内容推荐方法和系统。
[0020]通过加入在所附的权利要求中阐述的特征的用于推荐多媒体内容的方法和相关的系统实现本发明的这些和其它目的，这些权利要求是本说明书的完整部分。
[0021]本发明基于提供用于推荐多媒体内容的方法的一般思想，其中，通过适当的用户界面从用户接收命令以再现至少一个第一多媒体内容连同相关的第一条语义信息；通过适当的用户界面，用户发出与至少一条第二语义信息相关的至少一个第二多媒体内容的选择连同与正在观察的第二多媒体内容和第一多媒体内容之间的关联性有关的信息，所述信息与语义集合有关；系统通过第二条语义信息与第一条语义信息之间的比较来处理代表用户身份、第一多媒体内容和第二多媒体内容、以及关联性的至少一个第一状态；基于第一处理状态并且基于和与所述多个多媒体内容有关的多个状态的至少一个其它状态的比较，推荐代表至少一个第三多媒体内容的至少一个第二状态。
[0022]本发明还涉及一种用于推荐多媒体内容的系统，该系统包括存储多媒体内容和各第一条语义信息的第一存储器、处理器和适于再现至少一个第一多媒体内容的至少一个用户界面。系统还包括适于存储通过用户界面选择的至少一个第二多媒体内容、至少一条第二语义信息和用户界面并且进一步适于存储通过所述用户界面接收并且与语义集合有关的与正在观察的第二多媒体内容和第一多媒体内容之间的关联性有关的至少一条信息的至少一个第二存储器。为了至少比较所述第二条语义信息与所述第一条语义信息并且详尽描述至少一个第一信息状态，处理器适于处理与用户、第一多媒体内容和第二多媒体内容以及关于关联性的信息有关的信息。第二存储器适于存储第一信息状态，并且，处理器进一步适于基于和与所述多个多媒体内容有关的多个状态的至少一个其它状态的比较处理与第一信息状态和多媒体内容有关的信息，以详尽描述代表推荐给用户的第一存储器中的至少一个第三多媒体内容的至少一个第二信息状态。
[0023]以这种方式，系统允许用户表达两个或更多个多媒体内容之间的语义关系，而不仅仅是时间关系。因此，用户可关联任何多媒体内容或“人工产物(artefact)”与资源，从而给予它准确和明确的语义意思。然后，为了提供更有效的推荐，使用可通过推荐系统推断和解释的所述意思。
[0024]因此，这里提出的方案允许克服现有技术的缺点，原因是，首先，它提供基于互动分析和内涵以及用户特性的新的、更完整的多媒体内容推荐方式。
[0025]该方案提供明显的优点，并且更有效地执行推荐系统的功能。
[0026]作为结果，系统可出于改善特定用户、更一般地说用户社团的体验的目的利用由互动产生的大量信息。
[0027]这里提出的方法和系统允许关联由用户产生的其它多媒体内容(音频、视频、文本或它们的集合)与正在观察的内容的给定组以及通过集合观察和产生的内容创建复杂的内容。
[0028]同时，用户能够与表征和充实用户与系统之间的互动的各多媒体内容信息关联。
[0029]本发明优于现有技术的根本优点在于，用户能够向系统提供远多于当前交换信息的信息，由此重新建立系统与用户之间的平衡。可以推测，这种平衡可在更高的用户信息需求适应性上提高信息系统的性能，这完全可通过这里提出的先进的互动功能表达。
[0030]事实上，可通过系统更有效地利用正在再现的多媒体内容流中的可用的增加的表现，由此减少索引内容与用户请求之间的关联性的不确定性。
[0031 ] 在这里提出的方案中，信息搜索和检索处理以更有效的方式跟随由享受多媒体内容的用户实施的关联处理。
[0032]有利地，提出的本发明允许填补现在在用户询问和对其中包含的信息的实际需求之间存在的间隙。
[0033]同时，提出的本发明允许填补解释用户观察的内容时的大量可能的阴影与推荐系统以永久和可用的方式保留这种信息的一般能力之间的间隙。
【附图说明】
[0034]从通过非限制性例子供给的以下的详细描述和附图，本发明的其它目的和优点将变得更加明显，其中，
[0035]图1例示用于推荐多媒体内容的方法。
[0036]图2例示用于推荐多媒体内容的系统。
[0037]图3例示关于用户的多媒体内容的一般推荐；
[0038]图4例示关于用户的多个多媒体内容的一般推荐；
[0039]图5表不多媒体内容的推荐的例子；
[0040]图6表示多媒体内容的推荐的第二例子。
[0041]在附图中，类似的要素、动作或装置在不同的图中由相同的附图标记表示。
【具体实施方式】
[0042]图1例示用于推荐多媒体内容的方法。
[0043]用户10在诸如允许访问视频、图像、音频、文本和/或其它多媒体内容的多媒体平台的多媒体平台上享受多媒体内容。
[0044]该多媒体平台是一般可通过使用诸如计算机、“连接TV/IPTV”电视机、智能电话、个人数字助理、平板机等通过因特网访问的现在可用的大量的多媒体平台的代表和例示。
[0045]用户10可与多媒体平台互动以检索多媒体内容:在步骤101中，根据本发明，用户10与多媒体平台互动，由此开始导致内容推荐的处理。在步骤101中进行的所述互动可以为几种类型，其中，用户10为了满足他/她的需求以加深他/她在特定主题的知识搜索多媒体内容；例如，用户10可浏览最近加载的多媒体内容的预定列表；或者进行基于关键词的内容搜索或者浏览已推荐内容的列表。
[0046]用户10通过将在后面更详细地描述的适当的用户界面(可被视为包含于同一附图标记10中)与多媒体平台互动。并且，多媒体平台通过用户标识符识别用户10，该用户标识符在本发明中可被视为例如通过已知的用户名和密码系统与 用户自身的身份对应。
[0047]在步骤102中，用户希望观察多媒体平台上的多媒体内容I ;因而，用户10通过适当的用户界面发出命令，以使得多媒体平台再现所述多媒体内容1，不管是视频、音频还是图像等。在本文中，由用户10实施的行动“观察”不应被理解为限于用户10(例如，甚至可不关注正在播放的视频，从而使其在背景中不发音)的实际观看；事实上，它意味着包括与用户10发出的选择命令和通过多媒体平台进行的内容I的随后的呈现或再现有关的可能的方案。
[0048]在步骤103中，用户10通过其用户界面在平台上加载另一多媒体内容2，从而使其与在步骤102中刚刚观察的多媒体内容I关联。例如，用户10可加载驻留于其自身的终端的存储器中的视频2，或者甚至从诸如与其连接的照相机的第三装置加载。必须指出，用户10加载的多媒体内容2可采取用户10在与多媒体平台互动时可产生的几种形式:这种多媒体内容可以是视听材料、标签、文本注释、音频等。以这种方式，在不同的“状态”之间移动的用户10的互动可被模型化，其中，从一种“状态”到另一种状态的迀移不排他性地通过多媒体内容的实现或观察专门出现，而也通过加载附加的多媒体内容。
[0049]在本说明书的范围内，术语“状态”的含义与根据数学物理和系统理论的状态的定义具有一定的关联性。
[0050]在这种框架中，“动态系统”的概念代表可通过一般的数学模型描述时间演化的系统。这种数学模型的特征是使当前“状态”与将来和/或过去状态接合的适当的定律。因此，多媒体内容系统实际上是可假定或大或小的多个状态的动态系统。
[0051]在本说明书中，选择将动态系统的“状态”定义为其系统的特性的一组值，这些值定义其在任意时刻的状况。
[0052]模型的定义允许从与先前状态有关的信息开始获知系统随时间的演化，S卩，其随后的状态。如上所述，通过用户的多媒体内容的实现可被视为受这种动态系统的支配。
[0053]在多媒体内容推荐系统的情况下，“状态”是用户多媒体实现对所处的特定状况。获知或者甚至更好地预见这种动态系统的演化导致可更有效地满足用户需求的推荐系统。
[0054]因此，必须定义表征多媒体内容的实现的特定的一组变量；变量的数量越高，则描述实现的粒度越大。但是，考虑的信息量越多，则越难以管理系统的演化。以下描述可在本发明的示例性实施例中使用的特定的变量。
[0055]因此，在本说明书中定义的术语“状态”的一种可能的替代性构想是“信息状态”。
[0056]在步骤103中的加载动作中，用户10隐含地或者明确地表达在步骤102中观察的内容与在步骤103中加载的内容之间的关联性11 ;所述关联11表达用户10正在观察的第一多媒体内容I和第二多媒体内容2之间的密切关系，这在后面将变得更加明显。
[0057]可通过提供描述内容自身的信息的文本数据之间的语义比较表达所述关联11，这些信息诸如例如为注释、评论、标题、总结等。
[0058]所述关联11也可以是逻辑关联性，诸如，例如，共享、正例、反例、对照、建议、基准、来源、贡献、含义、衍生、询问。这种最后类型的关联(询问)将用户为了搜索其它的内容使用文本内容(一系列的关键词)或多媒体内容(基准图像)的经典情况模型化。
[0059]所述关联11也可以是基于时间或者逻辑因果的关联，诸如，例如，前一 /下一、先前、后继。
[0060]所述关联11也可以是结构性或成分性的关联或集合性的关联，诸如，例如，一部分，集合。这种类型的关联基元允许构成可识别为“复合”多媒体对象的多媒体对象的集合。
[0061]当然，可以假定，作为明显的一般化，除了可在多媒体平台上得到的预定的关联以夕卜，用户10可定义特定的关联11。
[0062]在步骤104中，多媒体平台外推与在步骤102和103中出现的状态有关的多条抽象信息，特别是包含以下方面的包含:
[0063]—用户10的标识符；
[0064]一正在观察的第一多媒体内容I的标识符；
[0065]一正在观察的第一多媒体内容I的第一条语义信息；
[0066]-由用户10加载的第二多媒体内容2的标识符；
[0067]一正在观察的第二多媒体内容2的第二条语义信息；
[0068]一关于语义集合的代表刚刚进行的关联11的标识符。
[0069]存储与用户10的互动有关的上述信息连同多媒体内容的可能性提供自动掌握并且允许加深可从这种复杂数据导出的知识。并且，特定形式的存储可允许在多个多媒体平台之间共享信息，由此改善用户10的多媒体体验。
[0070]在步骤105中，多媒体平台处理在步骤104中外推的信息，以重构将向用户10推荐的另一多媒体内容3识别为潜在关注的至少一个其它状态。
[0071]为了根据在互动模型中设定的参数特别是基于与与多媒体内容有关的多个状态的至少一个其它状态的比较推荐多媒体内容，在步骤105中进行的推荐利用“DataMining”引擎，该“Data Mining”引擎利用在步骤104中存储的以适当且优选标准语法表达的信息。
[0072]优选地，基于在加载内容2时由用户10设定的特定关联11，由系统建立特定的推荐机制。
[0073]以这种方式，不简单地通过时间序列给出由用户的互动构建的“路径”:用户从语义观点选择将他/她认为接近即有关的那些多媒体资源“接合”在一起。另外，用户还能够通过将精确的语义资格归因于它表达所述接合。
[0074]在这一点上，使得两个或更多个状态之间的明确语义(即，关系类型)可用，系统可给予用户更接近其需要的推荐。
[0075]例如，如果用户通过“对立”概念关联第二多媒体内容2与第一多媒体内容1，那么系统可利用这种明确的知识以掌握第二多媒体内容2的哪种特性最背离第一多媒体内容1，并由此推断具有这种特性的任何其它内容也可被归为“对立”。
[0076]类似地，如果用户通过逻辑因果“随之发生”概念关联第二多媒体内容2与第一多媒体内容1，那么系统可利用这种概念的固有传递性以在内容之间建立因果网络，这允许通过从多媒体内容2开始到达并向用户10推荐可在这种网络中到达的内容。
[0077]最后，如果用户通过合成“集合”概念关联第二多媒体内容2与第一多媒体内容1，由此隐含地创建基于用户限定的逻辑相互相关的一组对象，那么系统可通过分析集合多媒体内容2和I的哪些特性共通并然后基于这种特性推荐更类似于多媒体内容2和I的其它对象来利用这种情况。
[0078]从所有这些，出现了这样一种方案，S卩，该方案与偏好先验限定的推荐方案(例如，特定的合作推荐方法)的现有技术不同，系统可实现自适应的推荐接近。
[0079]以上例示的方法丰富并且改善用户在多媒体内容推荐过程中的参与。
[0080]在更宽的框架中，通过使用多媒体内容之间的成分算子以产生“新”集合内容，用户还能够通过使用观察的多媒体内容和由其产生的多媒体内容构成“新”集合多媒体内容。同时，用户认为这些多媒体内容具有它们在与正在观察的多媒体内容的互动中具有的特定关联，不管是隐含的还是明确的。这种机制潜在地在多媒体内容之间建立复合递归的无限循环，这代表了与现有技术的推荐系统相比的进步。
[0081 ] 在优选的实施例中，多媒体平台将参与多媒体内容的实现的用户的互动的过程模型化，从而通过基于称为 OWL (Web Ontology Language)的 RDF (Resource Descript1nFramework)标准的形式语言代表它。OWL语言是World Wide Web公开和共享的语义标记语言。
[0082]通过使用OWL语言，可以通过类、类之间的关系以及属于类的个体将参照图1描述的互动过程形式化。可通过应用实现推理和演绎过程的自动推理方法，在逻辑上从本体论语义的分析导出没有明确呈现的这些关系。
[0083]以下列出使用OWL语言的优选实施例中的本体论类。
[0084]用户:参与在一个或更多个装置上实现多媒体内容的人。用户是多媒体体验的主要参与者。
[0085]事件:一般真实事件的抽象表现。
[0086]状态:由单义识别一组互动原子和它们在多媒体体验的给定状态中的角色的一组“变量”或“坐标”识别的特定事件。
[0087]使用事件:每当用户决定实际使用可观察物时(例如，当用户读取文本、观察视频、......时)出现的特定事件。
[0088]多媒体体验:复杂的一组事件(状态和使用事件)，代表用户在给定的时间间隔内实现一定数量的多媒体内容。
[0089]多媒体对象:为了产生多媒体内容可由装置处理的任意类型的数据，例如，视频、音频、文本格式。多媒体对象的描述可包含其低级特性(例如，视频的“颜色直方图”)。多媒体对象可在多媒体体验的状态的过程中起可观察物或伪像的角色。多媒体对象包含以下类型的对象:
[0090]一文本(Text)；
[0091]—图像(Image)；
[0092]—视频(Video)；
[0093]—音视频(Aud1visual)；
[0094]一音频(Aud1)。
[0095]互动原子:可观察物和伪像的抽象表现。
[0096]可观察物:用户可在特定的状态中在其多媒体体验过程中决定使用的特定多媒体对象。可观察物是用户在特定状态中可见的任何多媒体对象(例如，图形界面中的图像) 。
[0097]伪像:在处于特定状态中时由用户添加到可观察物的特定多媒体对象。伪像是用户在其多媒体体验的特定状态中主动产生或者选择的任何多媒体对象(例如，标签、注释、
声音)O
[0098]角色:在处于特定状态中时表现互动原子(例如，可观察物和伪像)的功能的一类元数据。例如，如果用户向文本部分(伪像)添加注释图像(可观察物)的意图，那么这种文本的角色将是“注释”。
[0099]在RDF语言中，通过“三重体(triplet) ”即Subject-Verb-Object描述一般语句或信息(即，任何简单的概念)。“Verb”代表“主体”与“对象”接合的关系/性能。用于表达所述语句的语法需要:
[0100]一范围(或共域)，S卩，代表“对象”的类
[0101]一域，S卩，可应用关系(“Verb”)并且代表“主体”的类
[0102]以下列出使用OWL语言的优选实施例中的本体论类之间的关系。
[0103].characterizesArtefact:
[0104]域:‘Multimedia Object’，范围:‘Artefact’。该性能表达在一定状态中多媒体对象具有伪像角色的事实。
[0105].characterizesMExp
[0106]域:‘State’，范围:‘Multimedia Experience’。该性能使多媒体体验与其构成状态接合。
[0107].characterizesObservable
[0108]域:‘Multimedia Object’，范围:‘Observable’。该性能表达在一定状态中多媒体对象具有可观察物角色的事实。
[0109].composedBy
[0110]域:‘Interact1nAtom’，范围:^ Interact1n Atom，。该性能考虑两个互动原子之间的成分(例如，空间或时间关系)。
[0111].describesState
[0112]域:‘Observable’，范围:‘State’。该性能关联可观察物与各状态。
[0113].followsState
[0114]域:‘State’，范围:‘State’。该性能将状态的时间序列模型化。它是过渡性能。
[0115].hasArtefact
[0116]域:‘State’，范围:‘Artefact’。该性能使状态与各构成伪像接合。
[0117].hasMultimediaExperience
[0118]域:‘User’，范围:‘Multimedia Experienced该性能关联用户与多媒体体验。
[0119].hasObservable
[0120]域:‘State’，范围:‘Observable^该性能使状态与各构成可观察物接合。
[0121].hasRole
[0122]域:‘Interact1n Atom’，范围:‘Role’D该性能在处于特定状态中时关联角色与互动原子(可观察物或伪像)。
[0123].hasUsageEvent
[0124]域:‘Observable’，范围:‘UsageEvent’。该性能在处于特定状态中时记录可观察物的实际使用。
[0125].hasUser
[0126]域:‘MultimediaExperience’，范围:‘User’。该性能关联多媒体体验与各用户。
[0127].partOf
[0128]域:‘Interact1nAtom，，范围:‘ Interact1n Atom，。该性能是 ‘composedBy，的反面，并且允许构成互动原子与各实体之间的逆转接合。
[0129].perturbsState
[0130]域:‘Artefact’，范围:‘State’。该性能表达状态与伪像之间的关系。
[0131].precedesState
[0132]域:‘State’，范围:‘State’。该性能是‘followsState’ 的反面。
[0133].isSemanticallyReIatedTo
[0134]域:‘State’，范围:‘State’。该性能将状态之间的语义关系模型化。
[0135]提出的本体论允许通过映射多媒体对象将参与多媒体体验的用户“模型化”。当用户通过观察内容并且加载其它的内容与多媒体平台互动时，他/她导致由多媒体平台解释的信息状态的变化。用户可通过关联其与其它的多媒体内容丰富一定的多媒体内容，由此修改平台的信息状态。一般地，模型可完全捕获用户的行为、其与任何多媒体内容的互动以及对象在互动中扮演的角色。
[0136]图2例示用于推荐多媒体内容的多媒体平台或系统的实施例。
[0137]用于推荐多媒体内容的系统包括存储诸如视频、音频、图像、文本等的多个多媒体内容的第一存储器201。系统还包括与第一存储器201操作连接的存储器202和处理器
203。一般地，存储器202可任意地为易失性存储器或者是非易失性存储器，而存储器201优选是永久存储器。处理器203适于访问存储器202并且对存储于其中的数据执行动作。
[0138]系统还包括使得用户10(参见图1)能够访问多媒体平台的至少一个用户界面
204。通过用户界面204，用户可再现和观察至少一个第一多媒体内容。通过用户界面204，用户还可将另一多媒体内容加载到存储器202中。通过用户界面204，用户还可用信号表示刚刚加载的第二多媒体内容与正在观察的第一多媒体内容之间的表达为数字信息的关联。
[0139]处理器203适于将与用户(10，参照图1)、正在观察的第一多媒体内容(1，参见图1)、正在加载的第二多媒体内容(2，参见图1)、关于第一和第二多媒体内容的语义信息、以及它们之间的关联(11，图1)有关的信息处理为语义集合。
[0140]为了详细描述并且计算代表要推荐到用户的第一存储器201中的第三多媒体内容(3，图1)的至少一个第二信息状态，处理器203可由此通过首先计算存储于存储器202中的至少一个第一信息状态并且通过处理与第一信息状态和存储于平台的存储器201中的多个多媒体内容有关的信息选择用户潜在关注的其它的多媒体内容(3，参见图1)。
[0141]这种处理通过根据邻近规则与与平台的多个多媒体内容有关的多个可能的其它状态的比较发生。
[0142]图3代表通过前面描述的信息状态之间的过渡获得的向用户的多媒体内容推荐。
[0143]如上面概述的那样，用户实施的信息搜索和检索处理包含从一个“状态”到另一“状态”的系统的演化。在多媒体内容的实现中，“状态”由与用户10关联以及与用户10可在给定的空间时间和逻辑背景中使用的多媒体内容关联的一组特性代表。
[0144]从一种状态到另一状态的过渡在用户关联多媒体内容与平台上的可用的另一多媒体内容关联的动作之后出现。
[0145]在状态301中，用户观察多媒体平台上的多媒体内容30。如上面描述的那样，用户决定通过规定在附图中由内容30和31的成分相互例示的关联信息关联多媒体内容30与另一多媒体内容31，由此进入状态301中。在状态303中，基于关于状态302的信息，多媒体平台向用户推荐另一多媒体内容32。
[0146]用户的每个动作由此具有改变与用户可观察并且提供的多媒体内容并且与它们的相互关联有关的信息状态的效果。
[0147]图4代表通过先前描述的信息状态之间的过渡获得的向用户的多个多媒体内容的推荐。
[0148]在功能水平上，每当用户表达互动原语时，出现从一种状态向另一状态的过渡。这种互动原语的数量和质量依赖于限定的角色以及平台上可用的成分潜力。
[0149]在状态401中，用户观察多媒体内容40，通过该多媒体内容40，他/她通过成分关联另一内容41，由此进入状态402中。从状态402开始，多媒体平台推荐与多个潜在状态403a、403b、403c对应的多个多媒体内容。推荐方法可然后被迭代重复，从而到达非常复杂的集合状态并允许有效、完全地利用使得用户可用的信息。用户的互动可被假定迭代无限的次数。当从一种状态切换到下一状态时，与多媒体内容关联的信息相互嵌套，由此产生复杂和信息丰富的结构。推荐方法的可能的迭代由各标签k-1、k、k+Ι与不同的状态401、402、403关联的事实强调，k是大于或等于I的整数。
[0150]也可构想的一定多媒体内容的推荐依赖于先前状态的任意数量(甚至大于I)并且可从这些先前状态推断的信息在提供其它多媒体内容的推荐时同时发生的实施例。这种实施例可捕获更丰富和更复杂的方案以最佳地满足用户的希望。
[0151]在特定的实施例中，可以例如定义通过OWL语言表达的一组互动原语如下:
[0152].add ?artefact (I) ;role (I) >)原语添加伪像及其特定的角色。
[0153].add ?observable (k) ;role (k) >)原语添加可观察物及其特定的角色。
[0154].find-similar (observable (I))原语找到与可观察物(I) “类似”的对象。
[0155]将关于用户与这种系统之间的互动的复杂信息永久存储 于例如推荐系统的存储器中的可能性允许通过已知的多媒体内容索引和检索系统可基于的data mining, machinelearning and knowledge discovery技术大量地直接利用这种信息。这进一步强调基于这里提出的信息模型设置附加的推荐技术的可能性，这可完全利用以后的大量的信息。
[0156]以下描述表示用于推荐多媒体内容的方法的几个实施例的功能的一些例子。
[0157]参照图5，用户可加载多媒体内容，从而将其关联规定为注释。用户通过观察星体501开始其多媒体体验:用户处于由可观察物(I)表征的状态“I”中，这里，i表示大于或等于O的整数。随后，用户通过搜索并找到与初始星体类似的星体502即可观察物(2)与多媒体平台互动。这动作导致状态迀移:从“i”到“i+1”。最后，用户决定收集两个星体并且将两个可观察物集合到复杂内容{observable (I)，observable (2)} 503中。对于该对象，用户添加注释“这两个星体是类似的”；由特定互动原语限定的该动作导致从状态“ i+Ι ”到状态“i+2”的迀移。通过考虑文本信息“类似”和两个星体501和502的图像，多媒体平台将能够例如通过依赖于图像搜索引擎向用户推荐类似星体的其它图像504。
[0158]参照图6，用户可加载多媒体内容，从而将其关联规定为评论。用户通过观察视频601开始其多媒体体验:其偶像Bruffon在2015的2月5日对Lemme的比赛中所犯的“失误”。这是由可观察物(I)表征的状态“i”。由于对守门员的失误感到难过，因此他决定通过记录其声音留下评论:包含用户发出语句“Bruffon你仍然最棒”的音轨为伪像602。用户决定将该声音剪辑602添加为评论，从而将其与初始视频关联。该动作导致从“i”到“i+Ι”的状态迀移。多媒体平台配有重构用户说出的文本的声音转录引擎，并且，通过将声音“Bruffon”视为与视频描述有关，将能够在状态“i+2”中向用户推荐Bruffon的其它视频 603。
[0159]以下给出其它的例子，这些例子不与任何特定的附图具体关联，并且可通过参照已描述的图3和图4被完全理解。
[0160]用户可加载多媒体内容，从而将其关联规定为来源。
[0161]用户阅读因特网上的关于在电视节目中出现的事实的文章“wl”。在这种情况下，用户也在技术上处于由可观察物(I)表征的状态“i”中。
[0162]然后，用户决定搜索刚刚在因特网上观看的引起“wl”的内容的电视节目。用户搜索并找到“tvl”;该动作将状态“i”变为“i+Ι”。最后，用户决定通过关联“来源”角色与可观察物“tvl”收集两个内容(web和TV)。由特定的互动原语限定的该关联将状态“i+Ι”变为 “i+2，，。
[0163]用户可加载多媒体内容，从而将其关联规定为派生和注释。
[0164]用户通过收听包含歌曲特别是70年代的著名打击乐的音频剪辑开始其多媒体体验:在技术上，用户处于由可观察物(I)表征的状态“i”中。随后，用户通过搜索并找到与初始歌曲的新式封面可观察物(2)有关的最近的音乐视频与系统互动。该动作导致从“i”到“i+Ι”的状态迀移。用户将角色规定为来自初始音频剪辑的“派生”。最后，用户决定通过用注释“该歌曲的视频是封面”注释该收集(复杂可观察物)收集音频剪辑和视频。由特定的互动原语规定的该动作将状态“i+Ι”变为“i+2”。多媒体平台然后返回70年代的原创乐队创作的歌曲的其它新式封面。用户可加载多媒体内容，从而将其关联规定为询问。
[0165]通过阅读花边新闻文章开始其多媒体体验:用户处于由可观察物(I)表征的状态“i”中。该文章包含书面的文本和照片。文本告诉著名美国演员的最后的绯闻，而照片表现他在流行电影中的场景。从照片即可观察物(2)，用户识别场景，但不能记得提取它的电影的标题。用户然后选择照片，由此将状态从“i”变为“i+1”，并且使用它作为“询问”，从而将其与该著名美国演员的名字关联。多媒体平台然后返回提取该场景的电影的预告片。
[0166]用户可加载多媒体内容，从而将其关联规定为祖先和后继。
[0167]用户通过观察他的孙女尝试吹灭她的第一个生日蜡烛的有趣照片开始其多媒体体验。用户处于由可观察物⑴表征的状态“i”中。用户了解，在同一文件夹中，存在在该照片之前几个月拍摄的他的孙女的视频即可观察物(2)。对于后者，用户决定向像伪“可观察物2”添加祖先角色，由此产生“可观察物3”:该状态由此从“i”变为“i+Ι”。该动作导致祖父(即，用户)记起为其孙女出生前写的诗。该诗即“可观察物3”已保存于桌面上。在关掉计算机之前，祖父决定关联视频与照片(像伪)，从而用所述诗将它们解释为后继。通过面部识别软件，多媒体平台关联该诗与诸如照片和视频的其它的多媒体内容，从而表征孙女。
[0168]用户可加载多媒体内容，从而将其关联规定为含义和建议。
[0169]用户Rossi小姐仅喜欢观察TV上的烹饪内容。而其丈夫Rossi先生主要观看与体育内容有关的电视节目。
[0170]Rossi小姐在其单独在家时通过打开其互动电视机并且调到正在广播关于Calabria典型美食产品的节目(可观察物(I))的CHANNELX(状态“i”)开始其多媒体体验。在这一点上，女人决定向系统传送这样一种事实，即，当单独观看TV时，只喜欢处理与当前正在广播的事项类似的事项的节目。通过按压(例如)遥控器上的蓝色键，女人开始特定的动作:集成到电视机中的视频照相机拍摄照片，从而记录Rossi小姐的脸等。
[0171]现在假定，通过使用由用户拍摄的照片，系统可通过已知的技术识别人脸并由此识别其身份。
[0172]照片(伪像)被赋予含义角色。状态从“i”变为“i+1”。
[0173]晚上，Rossi先生下班。其妻子在厨房准备晚饭。在坐在桌面旁之前，Rossi先生决定看一会TV。他打开TV，TV自动调到CHANNELX(状态“i”)即他的妻子最后观看的频道。Rossi先生坐在TV前，TV现在正在广播他不太感兴趣的内容(可观察物(k))。不知道选择哪个节目并且懒得检查节目单，Rossi先生询问系统的建议(角色)。
[0174]通过简单地按压(例如)遥控器上的红色按钮，集成到电视机中的视频照相机拍摄另一照片(伪像)。系统识别用户并且基于过去保存的信息(例如，关于昨晚或前一天观看的节目的信息)提出正在实时广播重要橄榄球比赛的节目。
[0175]作为例子，以下的参数可构成可能的“实现-用户”系统(连同出于简化的原因没有列出的其它参数):genre、geographic posit1n、event type 等。
[0176]所述参数可采取以下的值(连同这里出于简化的原因没有考虑的其它值):
[0177]Genre:政治、体育、新闻等
[0178]geographic posit1n:意大利、德国等
[0179]event type:音乐会、地震等
[0180]现在假定在初始时刻tO“实现-用户”系统处于由state(tO):政治、意大利、选举等表征的“状态” state (tO)中。
[0181]在该初始状态中，系统还没有关于用户偏好的信息。推荐系统可根据现有技术基于预定的方案(协作或者基于内容的系统)推荐多媒体内容。
[0182]在某个时刻，用户选择使用他根据他的希望选择的第二多媒体内容，该希望甚至不属于上述的预定方案。
[0183]在通过用户实现之后，实现状况从初始状态state (tO)切换到随后的state (tl)，例如，state(tl):政治、德国、选举等。
[0184]在该阶段，推荐系统自动检测在两个连续的状态即state(tO)和state(tl)之间存在的关系。事实上，两个状态的特性参数在与信息的语义条关联的一个栏即“地理位置”上不同。换句话说，状态state (tO)和state(tl)通过明确的语义关系接合，该语义关系是机器可读的并且其可用性依赖于互动模型的形式化所用的特定本体论。
[0185]当使用多媒体内容时，用户由此被赋予从一种状态“跳”到另一状态并且根据由所述本体论提供的各种关系“集合”这些状态的可能性。
[0186]这里是关系的几个例子:
[0187]state (tO)与 state (tl)类似，
[0188]state (tO)由 state (tl)导致，
[0189]state (tO)与 state (tl)不同，
[0190]等等…
[0191]继续以上的例子，用户选择根据其希望选择的第二多媒体内容，并由此从state (tO)跳到 state (tl)。
[0192]在该点上，用户决定通过关系state (tO)与state (tl)类似接合所述状态。
[0193]推荐系统使用与多媒体内容关联的语义信息和与不同的状态有关的语义集合信息；这些语义集合信息可提供为:
[0194](i)隐含关系，S卩，状态的特性参数，允许识别用户处于哪个状态；和
[0195](ii)明确关系，由用户自身表达。
[0196]在本例子中，用户隐含地向推荐系统传送在语义上接合两个状态的关系，在这种情况下，为“不同的地理位置”。
[0197]所述隐含关系变为推荐系统可提供“潜在” state (t2)的演化模型。
[0198]state (t2):政治、瑞典、选举等
[0199]这里使用的术语“潜在”考虑这样一种事实，S卩，对于用户来说，当选择state(tl)的内容时，不强制必须导致实现在state(t2)上失败:许多其它替代方案也是可能的。
[0200]由用户提出的每个实现选择可由此确认推荐系统提供关于多媒体内容的推荐的可靠性。
[0201]继续该例子，在用户实际上决定使用与状态state(t2)关联的内容的情况下，推荐系统将产生其它的潜在的state (t3):
[0202]state (t3):政治、罗马尼亚、选举等
[0203]用户具有通过一种或更多种关系接合两个(或更多个)多媒体内容的可能性。
[0204]一般地，推荐系统适于通过由用户实施的动作通过比较两个不同状态的特性参数获取关于存在于两个或更多个状态之间的关系的信息，不管状态是不是隐含的。
[0205]换句话说，多媒体平台在接收用于选择与各条语义信息关联的第二多媒体内容的命令时能够接收(不管是隐含还是明确)关于由用户观察的多媒体内容之间的关联的信息，该关联与语义集合有关。
[0206]关于明确关系的使用，假定用户结束初始实现f0(以上的例子中提到)，并且，甚至在一些时间之后，开始另一 f I (本例子提到)。
[0207]假定在所述fl中用户重新进入与在f0中到达的状态相同的状态state(tl)中，但未必来自f0开始的同一状态state (tO)。
[0208]在该点上，推荐系统可通过添加其它的语义集合信息即state (tO)与state (tl)类似向用户推荐状态state (tO)的特性内容(政治、意大利、选举等)。
[0209]通过与不同的多媒体内容与状态关联的各条语义信息之间的语义集合的形式化，推荐系统可使自身适于用户的特定选择，该在原则上依赖于实现的状态以及沿多媒体实现路径遇到的任何先前的状态。
[0210]当增加系统的复杂性时，这允许产生可更好地满足用户请求的多媒体内容的语义隹A
口 O
[0211]应当注意，完全从产生状态自身的时间顺序逻辑解放状态之间的这种集合的“后验”使用。
[0212]大量的例子也表示，本发明的主要优点中的一个在于，提出的方法可将参与某个组的多媒体内容的实现的用户的互动模型化，并且，用户被赋予添加其它的多媒体内容、同时还关联特定角色与这种内容的可能性。
[0213]提出的系统和方法允许保持跟踪信息并且详细描述用户实施的调查处理，该用户可以以丰富和复杂的方式丰富给定多媒体内容其自身的其它内容。以这种方式，由于搜索和检索系统可完全利用模型的大量信息，因此极其有利于可能的信息搜索和检索阶段。事实上，搜索和检索系统可通过使用关于与用户互连的对象关联的角色连同由用户自身提供的分组的成分信息动态丰富其指数。基于本方法的推荐系统可由此更好地满足用户的要求。
[0214]提出的方法和系统特别适于通过在计算机上加载和执行的计算机程序实现。
[0215]所述计算机优选属于计算机的网络，例如，通过因特网被连接，其中，装置中的至少一个，特别是用户可访问的一个，是PC、笔记本电脑、平板电脑、智能电话、媒体中心、电视机或其他同等功能的设备。
[0216]本领域技术人员可以理解，提出的方法可存在各种变化。例如，这里参照OWL语言没有限制地描述了本体论；但是，可以使用其它的语言，诸如，例如，XML Schema。
[0217]并且，关于参与多媒体内容的实现的用户或用户社团的行为的信息可在各种技术平台上被有效地记录、共享和再使用。
[0218]并且，方法可被同时集成到诸如互动TV、移动电话、平板电脑、PC的不同装置中。以这种方式，多个装置的用户的行为可被跟踪，然后，可对新应用使用这种信息。
【主权项】
1.一种用于通过多媒体平台(101)推荐多媒体内容的方法，其中，所述多媒体平台(101)包含可通过至少一个用户界面(10)观察的多个多媒体内容，该方法包括以下的步骤: 一所述多媒体平台(101)从所述至少一个用户界面(10)接收至少一个第一命令(204)以选择与至少一条第一语义信息相关的至少一个第一多媒体内容(I); 一所述多媒体平台(101)从所述至少一个用户界面(10)接收用户标识符、第二命令以选择与至少一条第二语义信息相关的至少一个第二多媒体内容(2)，并且进一步接收与正在观察的所述至少一个第二多媒体内容(2)和所述至少一个第一多媒体内容(I)之间的关联性有关的至少一条信息(11)，所述至少一条信息(11)与语义集合有关； 一所述多媒体平台(101)通过所述第二条语义信息和所述第一条语义信息之间的比较来处理(12)代表所述用户标识符、所述至少一个第一多媒体内容(I)和所述至少一个第二多媒体内容(2)、以及所述关联性(11)的至少一个第一状态； 一所述多媒体平台基于所述至少一个第一处理状态(12)并基于和与所述多个多媒体内容有关的多个状态的至少一个其它状态的比较来推荐代表至少一个第三多媒体内容(3)的至少一个第二状态。2.根据权利要求1所述的方法，其中，从所述至少一个用户界面(10)接收的所述至少一个第二多媒体内容(2)是通过所述至少一个用户界面(10)的获取装置直接产生的内容。3.根据权利要求1或2所述的方法，其中，所述至少一个第二多媒体内容(2)包含图像和音频，优选为视频。4.根据权利要求1?3中的任一项所述的方法，其中，从与所述第一条语义信息以及与所述第二条语义信息相关的文本信息之间的文本比较获得所述至少一条语义集合信息(Il)05.根据权利要求1?4中的任一项所述的方法，其中，还从与正在观察的所述至少一个第一多媒体内容(I)以及与所述至少一个第二多媒体内容(2)的接收的时刻相关的时间信息之间的时间比较，获得与关联性有关的所述至少一条信息(11)。6.根据权利要求1?5中的任一项所述的方法，其中，所述第一状态和所述第二状态与适于代表所述推荐系统的相应状况的多条存储的信息相关。7.一种用于推荐多媒体内容的系统，包括:存储多个多媒体内容和多个相应的第一条语义信息的第一存储器(201)，处理器(203)和适于再现至少一个第一多媒体内容(I)的至少一个用户界面(204);适于存储通过所述用户界面(204)选择的至少一个第二多媒体内容(2)、至少一条第二语义信息和用户标识符并且进一步适于存储与正在观察的所述至少一个第二多媒体内容(2)和所述至少一个第一多媒体内容(I)之间的关联性有关的至少一条信息(11)的至少一个第二存储器(202)，所述信息是通过所述用户界面(204)接收的并且与语义集合有关，其中，为了至少比较所述第二条语义信息与所述第一条语义信息并且处理至少一个第一信息状态，所述处理器(203)适于处理与所述至少一个用户标识符、所述至少一个第一多媒体内容(I)和所述至少一个第二多媒体内容(2)、以及与关联性有关的所述至少一条信息(11)有关的信息，并且其中，所述第二存储器(202)适于存储所述至少一个第一信息状态，并且其中，为了详尽描述代表所述第一存储器(201)中的至少一个第三多媒体内容(3)的至少一个第二信息状态，所述处理器(203)进一步适于处理与所述至少一个第一信息状态以及与所述多个多媒体内容有关的信息，其中，所述处理器适于和与所述多个多媒体内容有关的多个状态中的至少一个其它状态进行比较。8.根据权利要求7所述的系统，其中，所述系统适于实现根据权利要求1?6中的任一项所述的方法。9.一种包括当在计算机上执行时实现根据权利要求1?6中的任一项所述的方法的指令的计算机程序。10.根据权利要求9所述的计算机程序，其中，所述程序包含通过根据ResourceDescript1n Framework 标准使用 Web Ontology Language 编译的指令。
【专利摘要】本发明涉及一种用于通过多媒体平台(101)推荐多媒体内容的方法，其中，多媒体平台(101)包含可通过至少一个用户界面(10)观察的多个多媒体内容，该方法包括以下的步骤：多媒体平台(101)从用户界面(10)接收至少一个第一命令(204)以选择与至少一条第一语义信息相关的至少一个第一多媒体内容(1)；多媒体平台(101)从用户界面(10)接收用户标识符、第二命令以选择与至少一条第二语义信息相关的至少一个第二多媒体内容(2)，并且进一步接收与正在观察的第二多媒体内容(2)和第一多媒体内容(1)之间的关联性有关的、涉及语义集合的至少一条信息(11)；多媒体平台(101)通过第二条语义信息和第一条语义信息之间的比较处理(12)代表用户标识符、第一多媒体内容(1)和第二多媒体内容(2)以及关联性(11)的至少一个第一状态；多媒体平台基于第一处理状态(12)以及与多个多媒体内容有关的多个状态的至少一个其它状态的比较推荐代表至少一个第三多媒体内容(3)的至少一个第二状态。本发明还涉及用于推荐多媒体内容的相关系统。
【IPC分类】G06F17/30
【公开号】CN104903888
【申请号】CN201380052774
【发明人】A·梅西纳, S·梅塔, M·蒙塔诺罗
【申请人】意大利广播电视股份公司, 意大利希思卫电子发展股份公司
【公开日】2015年9月9日
【申请日】2013年10月4日
【公告号】EP2904523A1, US20150278351, WO2014054025A1
【技术领域】
[0001 ] 本发明涉及用于推荐多媒体内容的方法和系统。
【背景技术】
[0002]当今，可访问的多媒体内容是巨量的并且不断增加。在众多用户之间不断产生、存档和共享非常大量的信息(图像、视频、文档、社交网络上的评论、…)。在这种背景下，用户获取关注的信息的方式显得十分重要。
[0003]为了检索一般的关注内容，用户可发出文本格式的搜索请求，该搜索请求被称为询问。随后，信息搜索和检索系统分析询问的内容并且将其与可用内容的适当的“指数”相比较。通常基于内容分析预定和构建这种指数。众所周知，与多媒体内容自身相关的信息在文献中被称为“元数据”。
[0004]系统然后通过使用不同的模态和度量返回最满足通过询问表达的用户请求的内容。
[0005]元数据在该内容搜索和检索过程中的重要性是显然的。元数据越多且越有代表性，则内容识别和检索过程越有效。
[0006]为了有利于该多媒体内容搜索和检索过程，使用“推荐系统”，其功能是以更好的精度识别可预见用户的需求和期望的多媒体内容。
[0007]从描述了包含向用户提供定制的程序引导的推荐系统的媒体服务器的文件US2007/0208718A1，获知多媒体内容推荐系统的一个例子。
[0008]一般地，基本上能够识别以下归纳的两种类别的推荐系统。
[0009]合作过滤推荐系统基于由“类似用户”进行的先前选择产生推荐。事实上，用户被分成由一组偏好限定的类型。因此，基于这些合作系统的假定是，可利用一组用户的行为以推断属于该组的单个用户的行为。
[0010]文件US 6438579B1描述了合作推荐系统，其中，根据组行为逻辑，基于由用户自身给出的内容评价与由其它用户给出的其它内容的评价之间的对应关系，向用户提出多媒体内容。
[0011]基于内容的过滤推荐系统通过比较用户的偏好(明确或隐含表达)和他/她已使用的内容的特性和与要推荐的内容相关的元数据或特性来产生推荐。当用户有意地提供他/她的评价时，明确获得用户的偏好；也可通过自动记录和监视用户的行动提取重要的信息。一般通过视听内容分析算法提取用户使用的内容的特性。
[0012]从描述了基于从用户平台接收的用户先前行为提出用户的潜在关注内容的推荐系统的US2011/0125585A1，获知基于内容的推荐系统的一个例子。
[0013]但是，在多媒体内容推荐系统的领域中已知的方案没有证明完全令人满意。
[0014]事实上，希望享受多媒体内容的用户以完全个人的方式与信息搜索和检索系统互动，并且可基于很难事先识别的他/她自身的文化和背景需求决定更深入地探索一些内容而不是其它内容。
[0015]一般地，用户可以以不准确的方式或者通过使用存在同义词的词语表达询问，这可能导致更好的结果。另外，推荐系统使用的一般与重要性或类似性概念相关的预定内容索引必然意味着询问的单义解释。这些方面的结果是，推荐系统会向用户返回不完成满足他/她的需求的结果。
[0016]用户由此不得不与推荐系统进行耗时的互动；但是，在完成搜索之后系统常常“忘记”该互动，使得，即使对于用户自身，也难以在晚些时候重构互动动态。
【发明内容】
[0017]本发明的一个目的是，提供克服现有技术的缺点中的一些的方法和系统。
[0018]特别地，本发明针对提供能够通过利用关于用户与系统之间的互动的信息的表现和存储更有效地检索用户的关注多媒体内容的多媒体内容推荐方法和系统。
[0019]本发明的另一目的是，提供允许使用以利用由用户在其先前完成体验中可能提出的关联性的多媒体内容推荐方法和系统。
[0020]通过加入在所附的权利要求中阐述的特征的用于推荐多媒体内容的方法和相关的系统实现本发明的这些和其它目的，这些权利要求是本说明书的完整部分。
[0021]本发明基于提供用于推荐多媒体内容的方法的一般思想，其中，通过适当的用户界面从用户接收命令以再现至少一个第一多媒体内容连同相关的第一条语义信息；通过适当的用户界面，用户发出与至少一条第二语义信息相关的至少一个第二多媒体内容的选择连同与正在观察的第二多媒体内容和第一多媒体内容之间的关联性有关的信息，所述信息与语义集合有关；系统通过第二条语义信息与第一条语义信息之间的比较来处理代表用户身份、第一多媒体内容和第二多媒体内容、以及关联性的至少一个第一状态；基于第一处理状态并且基于和与所述多个多媒体内容有关的多个状态的至少一个其它状态的比较，推荐代表至少一个第三多媒体内容的至少一个第二状态。
[0022]本发明还涉及一种用于推荐多媒体内容的系统，该系统包括存储多媒体内容和各第一条语义信息的第一存储器、处理器和适于再现至少一个第一多媒体内容的至少一个用户界面。系统还包括适于存储通过用户界面选择的至少一个第二多媒体内容、至少一条第二语义信息和用户界面并且进一步适于存储通过所述用户界面接收并且与语义集合有关的与正在观察的第二多媒体内容和第一多媒体内容之间的关联性有关的至少一条信息的至少一个第二存储器。为了至少比较所述第二条语义信息与所述第一条语义信息并且详尽描述至少一个第一信息状态，处理器适于处理与用户、第一多媒体内容和第二多媒体内容以及关于关联性的信息有关的信息。第二存储器适于存储第一信息状态，并且，处理器进一步适于基于和与所述多个多媒体内容有关的多个状态的至少一个其它状态的比较处理与第一信息状态和多媒体内容有关的信息，以详尽描述代表推荐给用户的第一存储器中的至少一个第三多媒体内容的至少一个第二信息状态。
[0023]以这种方式，系统允许用户表达两个或更多个多媒体内容之间的语义关系，而不仅仅是时间关系。因此，用户可关联任何多媒体内容或“人工产物(artefact)”与资源，从而给予它准确和明确的语义意思。然后，为了提供更有效的推荐，使用可通过推荐系统推断和解释的所述意思。
[0024]因此，这里提出的方案允许克服现有技术的缺点，原因是，首先，它提供基于互动分析和内涵以及用户特性的新的、更完整的多媒体内容推荐方式。
[0025]该方案提供明显的优点，并且更有效地执行推荐系统的功能。
[0026]作为结果，系统可出于改善特定用户、更一般地说用户社团的体验的目的利用由互动产生的大量信息。
[0027]这里提出的方法和系统允许关联由用户产生的其它多媒体内容(音频、视频、文本或它们的集合)与正在观察的内容的给定组以及通过集合观察和产生的内容创建复杂的内容。
[0028]同时，用户能够与表征和充实用户与系统之间的互动的各多媒体内容信息关联。
[0029]本发明优于现有技术的根本优点在于，用户能够向系统提供远多于当前交换信息的信息，由此重新建立系统与用户之间的平衡。可以推测，这种平衡可在更高的用户信息需求适应性上提高信息系统的性能，这完全可通过这里提出的先进的互动功能表达。
[0030]事实上，可通过系统更有效地利用正在再现的多媒体内容流中的可用的增加的表现，由此减少索引内容与用户请求之间的关联性的不确定性。
[0031 ] 在这里提出的方案中，信息搜索和检索处理以更有效的方式跟随由享受多媒体内容的用户实施的关联处理。
[0032]有利地，提出的本发明允许填补现在在用户询问和对其中包含的信息的实际需求之间存在的间隙。
[0033]同时，提出的本发明允许填补解释用户观察的内容时的大量可能的阴影与推荐系统以永久和可用的方式保留这种信息的一般能力之间的间隙。
【附图说明】
[0034]从通过非限制性例子供给的以下的详细描述和附图，本发明的其它目的和优点将变得更加明显，其中，
[0035]图1例示用于推荐多媒体内容的方法。
[0036]图2例示用于推荐多媒体内容的系统。
[0037]图3例示关于用户的多媒体内容的一般推荐；
[0038]图4例示关于用户的多个多媒体内容的一般推荐；
[0039]图5表不多媒体内容的推荐的例子；
[0040]图6表示多媒体内容的推荐的第二例子。
[0041]在附图中，类似的要素、动作或装置在不同的图中由相同的附图标记表示。
【具体实施方式】
[0042]图1例示用于推荐多媒体内容的方法。
[0043]用户10在诸如允许访问视频、图像、音频、文本和/或其它多媒体内容的多媒体平台的多媒体平台上享受多媒体内容。
[0044]该多媒体平台是一般可通过使用诸如计算机、“连接TV/IPTV”电视机、智能电话、个人数字助理、平板机等通过因特网访问的现在可用的大量的多媒体平台的代表和例示。
[0045]用户10可与多媒体平台互动以检索多媒体内容:在步骤101中，根据本发明，用户10与多媒体平台互动，由此开始导致内容推荐的处理。在步骤101中进行的所述互动可以为几种类型，其中，用户10为了满足他/她的需求以加深他/她在特定主题的知识搜索多媒体内容；例如，用户10可浏览最近加载的多媒体内容的预定列表；或者进行基于关键词的内容搜索或者浏览已推荐内容的列表。
[0046]用户10通过将在后面更详细地描述的适当的用户界面(可被视为包含于同一附图标记10中)与多媒体平台互动。并且，多媒体平台通过用户标识符识别用户10，该用户标识符在本发明中可被视为例如通过已知的用户名和密码系统与 用户自身的身份对应。
[0047]在步骤102中，用户希望观察多媒体平台上的多媒体内容I ;因而，用户10通过适当的用户界面发出命令，以使得多媒体平台再现所述多媒体内容1，不管是视频、音频还是图像等。在本文中，由用户10实施的行动“观察”不应被理解为限于用户10(例如，甚至可不关注正在播放的视频，从而使其在背景中不发音)的实际观看；事实上，它意味着包括与用户10发出的选择命令和通过多媒体平台进行的内容I的随后的呈现或再现有关的可能的方案。
[0048]在步骤103中，用户10通过其用户界面在平台上加载另一多媒体内容2，从而使其与在步骤102中刚刚观察的多媒体内容I关联。例如，用户10可加载驻留于其自身的终端的存储器中的视频2，或者甚至从诸如与其连接的照相机的第三装置加载。必须指出，用户10加载的多媒体内容2可采取用户10在与多媒体平台互动时可产生的几种形式:这种多媒体内容可以是视听材料、标签、文本注释、音频等。以这种方式，在不同的“状态”之间移动的用户10的互动可被模型化，其中，从一种“状态”到另一种状态的迀移不排他性地通过多媒体内容的实现或观察专门出现，而也通过加载附加的多媒体内容。
[0049]在本说明书的范围内，术语“状态”的含义与根据数学物理和系统理论的状态的定义具有一定的关联性。
[0050]在这种框架中，“动态系统”的概念代表可通过一般的数学模型描述时间演化的系统。这种数学模型的特征是使当前“状态”与将来和/或过去状态接合的适当的定律。因此，多媒体内容系统实际上是可假定或大或小的多个状态的动态系统。
[0051]在本说明书中，选择将动态系统的“状态”定义为其系统的特性的一组值，这些值定义其在任意时刻的状况。
[0052]模型的定义允许从与先前状态有关的信息开始获知系统随时间的演化，S卩，其随后的状态。如上所述，通过用户的多媒体内容的实现可被视为受这种动态系统的支配。
[0053]在多媒体内容推荐系统的情况下，“状态”是用户多媒体实现对所处的特定状况。获知或者甚至更好地预见这种动态系统的演化导致可更有效地满足用户需求的推荐系统。
[0054]因此，必须定义表征多媒体内容的实现的特定的一组变量；变量的数量越高，则描述实现的粒度越大。但是，考虑的信息量越多，则越难以管理系统的演化。以下描述可在本发明的示例性实施例中使用的特定的变量。
[0055]因此，在本说明书中定义的术语“状态”的一种可能的替代性构想是“信息状态”。
[0056]在步骤103中的加载动作中，用户10隐含地或者明确地表达在步骤102中观察的内容与在步骤103中加载的内容之间的关联性11 ;所述关联11表达用户10正在观察的第一多媒体内容I和第二多媒体内容2之间的密切关系，这在后面将变得更加明显。
[0057]可通过提供描述内容自身的信息的文本数据之间的语义比较表达所述关联11，这些信息诸如例如为注释、评论、标题、总结等。
[0058]所述关联11也可以是逻辑关联性，诸如，例如，共享、正例、反例、对照、建议、基准、来源、贡献、含义、衍生、询问。这种最后类型的关联(询问)将用户为了搜索其它的内容使用文本内容(一系列的关键词)或多媒体内容(基准图像)的经典情况模型化。
[0059]所述关联11也可以是基于时间或者逻辑因果的关联，诸如，例如，前一 /下一、先前、后继。
[0060]所述关联11也可以是结构性或成分性的关联或集合性的关联，诸如，例如，一部分，集合。这种类型的关联基元允许构成可识别为“复合”多媒体对象的多媒体对象的集合。
[0061]当然，可以假定，作为明显的一般化，除了可在多媒体平台上得到的预定的关联以夕卜，用户10可定义特定的关联11。
[0062]在步骤104中，多媒体平台外推与在步骤102和103中出现的状态有关的多条抽象信息，特别是包含以下方面的包含:
[0063]—用户10的标识符；
[0064]一正在观察的第一多媒体内容I的标识符；
[0065]一正在观察的第一多媒体内容I的第一条语义信息；
[0066]-由用户10加载的第二多媒体内容2的标识符；
[0067]一正在观察的第二多媒体内容2的第二条语义信息；
[0068]一关于语义集合的代表刚刚进行的关联11的标识符。
[0069]存储与用户10的互动有关的上述信息连同多媒体内容的可能性提供自动掌握并且允许加深可从这种复杂数据导出的知识。并且，特定形式的存储可允许在多个多媒体平台之间共享信息，由此改善用户10的多媒体体验。
[0070]在步骤105中，多媒体平台处理在步骤104中外推的信息，以重构将向用户10推荐的另一多媒体内容3识别为潜在关注的至少一个其它状态。
[0071]为了根据在互动模型中设定的参数特别是基于与与多媒体内容有关的多个状态的至少一个其它状态的比较推荐多媒体内容，在步骤105中进行的推荐利用“DataMining”引擎，该“Data Mining”引擎利用在步骤104中存储的以适当且优选标准语法表达的信息。
[0072]优选地，基于在加载内容2时由用户10设定的特定关联11，由系统建立特定的推荐机制。
[0073]以这种方式，不简单地通过时间序列给出由用户的互动构建的“路径”:用户从语义观点选择将他/她认为接近即有关的那些多媒体资源“接合”在一起。另外，用户还能够通过将精确的语义资格归因于它表达所述接合。
[0074]在这一点上，使得两个或更多个状态之间的明确语义(即，关系类型)可用，系统可给予用户更接近其需要的推荐。
[0075]例如，如果用户通过“对立”概念关联第二多媒体内容2与第一多媒体内容1，那么系统可利用这种明确的知识以掌握第二多媒体内容2的哪种特性最背离第一多媒体内容1，并由此推断具有这种特性的任何其它内容也可被归为“对立”。
[0076]类似地，如果用户通过逻辑因果“随之发生”概念关联第二多媒体内容2与第一多媒体内容1，那么系统可利用这种概念的固有传递性以在内容之间建立因果网络，这允许通过从多媒体内容2开始到达并向用户10推荐可在这种网络中到达的内容。
[0077]最后，如果用户通过合成“集合”概念关联第二多媒体内容2与第一多媒体内容1，由此隐含地创建基于用户限定的逻辑相互相关的一组对象，那么系统可通过分析集合多媒体内容2和I的哪些特性共通并然后基于这种特性推荐更类似于多媒体内容2和I的其它对象来利用这种情况。
[0078]从所有这些，出现了这样一种方案，S卩，该方案与偏好先验限定的推荐方案(例如，特定的合作推荐方法)的现有技术不同，系统可实现自适应的推荐接近。
[0079]以上例示的方法丰富并且改善用户在多媒体内容推荐过程中的参与。
[0080]在更宽的框架中，通过使用多媒体内容之间的成分算子以产生“新”集合内容，用户还能够通过使用观察的多媒体内容和由其产生的多媒体内容构成“新”集合多媒体内容。同时，用户认为这些多媒体内容具有它们在与正在观察的多媒体内容的互动中具有的特定关联，不管是隐含的还是明确的。这种机制潜在地在多媒体内容之间建立复合递归的无限循环，这代表了与现有技术的推荐系统相比的进步。
[0081 ] 在优选的实施例中，多媒体平台将参与多媒体内容的实现的用户的互动的过程模型化，从而通过基于称为 OWL (Web Ontology Language)的 RDF (Resource Descript1nFramework)标准的形式语言代表它。OWL语言是World Wide Web公开和共享的语义标记语言。
[0082]通过使用OWL语言，可以通过类、类之间的关系以及属于类的个体将参照图1描述的互动过程形式化。可通过应用实现推理和演绎过程的自动推理方法，在逻辑上从本体论语义的分析导出没有明确呈现的这些关系。
[0083]以下列出使用OWL语言的优选实施例中的本体论类。
[0084]用户:参与在一个或更多个装置上实现多媒体内容的人。用户是多媒体体验的主要参与者。
[0085]事件:一般真实事件的抽象表现。
[0086]状态:由单义识别一组互动原子和它们在多媒体体验的给定状态中的角色的一组“变量”或“坐标”识别的特定事件。
[0087]使用事件:每当用户决定实际使用可观察物时(例如，当用户读取文本、观察视频、......时)出现的特定事件。
[0088]多媒体体验:复杂的一组事件(状态和使用事件)，代表用户在给定的时间间隔内实现一定数量的多媒体内容。
[0089]多媒体对象:为了产生多媒体内容可由装置处理的任意类型的数据，例如，视频、音频、文本格式。多媒体对象的描述可包含其低级特性(例如，视频的“颜色直方图”)。多媒体对象可在多媒体体验的状态的过程中起可观察物或伪像的角色。多媒体对象包含以下类型的对象:
[0090]一文本(Text)；
[0091]—图像(Image)；
[0092]—视频(Video)；
[0093]—音视频(Aud1visual)；
[0094]一音频(Aud1)。
[0095]互动原子:可观察物和伪像的抽象表现。
[0096]可观察物:用户可在特定的状态中在其多媒体体验过程中决定使用的特定多媒体对象。可观察物是用户在特定状态中可见的任何多媒体对象(例如，图形界面中的图像) 。
[0097]伪像:在处于特定状态中时由用户添加到可观察物的特定多媒体对象。伪像是用户在其多媒体体验的特定状态中主动产生或者选择的任何多媒体对象(例如，标签、注释、
声音)O
[0098]角色:在处于特定状态中时表现互动原子(例如，可观察物和伪像)的功能的一类元数据。例如，如果用户向文本部分(伪像)添加注释图像(可观察物)的意图，那么这种文本的角色将是“注释”。
[0099]在RDF语言中，通过“三重体(triplet) ”即Subject-Verb-Object描述一般语句或信息(即，任何简单的概念)。“Verb”代表“主体”与“对象”接合的关系/性能。用于表达所述语句的语法需要:
[0100]一范围(或共域)，S卩，代表“对象”的类
[0101]一域，S卩，可应用关系(“Verb”)并且代表“主体”的类
[0102]以下列出使用OWL语言的优选实施例中的本体论类之间的关系。
[0103].characterizesArtefact:
[0104]域:‘Multimedia Object’，范围:‘Artefact’。该性能表达在一定状态中多媒体对象具有伪像角色的事实。
[0105].characterizesMExp
[0106]域:‘State’，范围:‘Multimedia Experience’。该性能使多媒体体验与其构成状态接合。
[0107].characterizesObservable
[0108]域:‘Multimedia Object’，范围:‘Observable’。该性能表达在一定状态中多媒体对象具有可观察物角色的事实。
[0109].composedBy
[0110]域:‘Interact1nAtom’，范围:^ Interact1n Atom，。该性能考虑两个互动原子之间的成分(例如，空间或时间关系)。
[0111].describesState
[0112]域:‘Observable’，范围:‘State’。该性能关联可观察物与各状态。
[0113].followsState
[0114]域:‘State’，范围:‘State’。该性能将状态的时间序列模型化。它是过渡性能。
[0115].hasArtefact
[0116]域:‘State’，范围:‘Artefact’。该性能使状态与各构成伪像接合。
[0117].hasMultimediaExperience
[0118]域:‘User’，范围:‘Multimedia Experienced该性能关联用户与多媒体体验。
[0119].hasObservable
[0120]域:‘State’，范围:‘Observable^该性能使状态与各构成可观察物接合。
[0121].hasRole
[0122]域:‘Interact1n Atom’，范围:‘Role’D该性能在处于特定状态中时关联角色与互动原子(可观察物或伪像)。
[0123].hasUsageEvent
[0124]域:‘Observable’，范围:‘UsageEvent’。该性能在处于特定状态中时记录可观察物的实际使用。
[0125].hasUser
[0126]域:‘MultimediaExperience’，范围:‘User’。该性能关联多媒体体验与各用户。
[0127].partOf
[0128]域:‘Interact1nAtom，，范围:‘ Interact1n Atom，。该性能是 ‘composedBy，的反面，并且允许构成互动原子与各实体之间的逆转接合。
[0129].perturbsState
[0130]域:‘Artefact’，范围:‘State’。该性能表达状态与伪像之间的关系。
[0131].precedesState
[0132]域:‘State’，范围:‘State’。该性能是‘followsState’ 的反面。
[0133].isSemanticallyReIatedTo
[0134]域:‘State’，范围:‘State’。该性能将状态之间的语义关系模型化。
[0135]提出的本体论允许通过映射多媒体对象将参与多媒体体验的用户“模型化”。当用户通过观察内容并且加载其它的内容与多媒体平台互动时，他/她导致由多媒体平台解释的信息状态的变化。用户可通过关联其与其它的多媒体内容丰富一定的多媒体内容，由此修改平台的信息状态。一般地，模型可完全捕获用户的行为、其与任何多媒体内容的互动以及对象在互动中扮演的角色。
[0136]图2例示用于推荐多媒体内容的多媒体平台或系统的实施例。
[0137]用于推荐多媒体内容的系统包括存储诸如视频、音频、图像、文本等的多个多媒体内容的第一存储器201。系统还包括与第一存储器201操作连接的存储器202和处理器
203。一般地，存储器202可任意地为易失性存储器或者是非易失性存储器，而存储器201优选是永久存储器。处理器203适于访问存储器202并且对存储于其中的数据执行动作。
[0138]系统还包括使得用户10(参见图1)能够访问多媒体平台的至少一个用户界面
204。通过用户界面204，用户可再现和观察至少一个第一多媒体内容。通过用户界面204，用户还可将另一多媒体内容加载到存储器202中。通过用户界面204，用户还可用信号表示刚刚加载的第二多媒体内容与正在观察的第一多媒体内容之间的表达为数字信息的关联。
[0139]处理器203适于将与用户(10，参照图1)、正在观察的第一多媒体内容(1，参见图1)、正在加载的第二多媒体内容(2，参见图1)、关于第一和第二多媒体内容的语义信息、以及它们之间的关联(11，图1)有关的信息处理为语义集合。
[0140]为了详细描述并且计算代表要推荐到用户的第一存储器201中的第三多媒体内容(3，图1)的至少一个第二信息状态，处理器203可由此通过首先计算存储于存储器202中的至少一个第一信息状态并且通过处理与第一信息状态和存储于平台的存储器201中的多个多媒体内容有关的信息选择用户潜在关注的其它的多媒体内容(3，参见图1)。
[0141]这种处理通过根据邻近规则与与平台的多个多媒体内容有关的多个可能的其它状态的比较发生。
[0142]图3代表通过前面描述的信息状态之间的过渡获得的向用户的多媒体内容推荐。
[0143]如上面概述的那样，用户实施的信息搜索和检索处理包含从一个“状态”到另一“状态”的系统的演化。在多媒体内容的实现中，“状态”由与用户10关联以及与用户10可在给定的空间时间和逻辑背景中使用的多媒体内容关联的一组特性代表。
[0144]从一种状态到另一状态的过渡在用户关联多媒体内容与平台上的可用的另一多媒体内容关联的动作之后出现。
[0145]在状态301中，用户观察多媒体平台上的多媒体内容30。如上面描述的那样，用户决定通过规定在附图中由内容30和31的成分相互例示的关联信息关联多媒体内容30与另一多媒体内容31，由此进入状态301中。在状态303中，基于关于状态302的信息，多媒体平台向用户推荐另一多媒体内容32。
[0146]用户的每个动作由此具有改变与用户可观察并且提供的多媒体内容并且与它们的相互关联有关的信息状态的效果。
[0147]图4代表通过先前描述的信息状态之间的过渡获得的向用户的多个多媒体内容的推荐。
[0148]在功能水平上，每当用户表达互动原语时，出现从一种状态向另一状态的过渡。这种互动原语的数量和质量依赖于限定的角色以及平台上可用的成分潜力。
[0149]在状态401中，用户观察多媒体内容40，通过该多媒体内容40，他/她通过成分关联另一内容41，由此进入状态402中。从状态402开始，多媒体平台推荐与多个潜在状态403a、403b、403c对应的多个多媒体内容。推荐方法可然后被迭代重复，从而到达非常复杂的集合状态并允许有效、完全地利用使得用户可用的信息。用户的互动可被假定迭代无限的次数。当从一种状态切换到下一状态时，与多媒体内容关联的信息相互嵌套，由此产生复杂和信息丰富的结构。推荐方法的可能的迭代由各标签k-1、k、k+Ι与不同的状态401、402、403关联的事实强调，k是大于或等于I的整数。
[0150]也可构想的一定多媒体内容的推荐依赖于先前状态的任意数量(甚至大于I)并且可从这些先前状态推断的信息在提供其它多媒体内容的推荐时同时发生的实施例。这种实施例可捕获更丰富和更复杂的方案以最佳地满足用户的希望。
[0151]在特定的实施例中，可以例如定义通过OWL语言表达的一组互动原语如下:
[0152].add ?artefact (I) ;role (I) >)原语添加伪像及其特定的角色。
[0153].add ?observable (k) ;role (k) >)原语添加可观察物及其特定的角色。
[0154].find-similar (observable (I))原语找到与可观察物(I) “类似”的对象。
[0155]将关于用户与这种系统之间的互动的复杂信息永久存储 于例如推荐系统的存储器中的可能性允许通过已知的多媒体内容索引和检索系统可基于的data mining, machinelearning and knowledge discovery技术大量地直接利用这种信息。这进一步强调基于这里提出的信息模型设置附加的推荐技术的可能性，这可完全利用以后的大量的信息。
[0156]以下描述表示用于推荐多媒体内容的方法的几个实施例的功能的一些例子。
[0157]参照图5，用户可加载多媒体内容，从而将其关联规定为注释。用户通过观察星体501开始其多媒体体验:用户处于由可观察物(I)表征的状态“I”中，这里，i表示大于或等于O的整数。随后，用户通过搜索并找到与初始星体类似的星体502即可观察物(2)与多媒体平台互动。这动作导致状态迀移:从“i”到“i+1”。最后，用户决定收集两个星体并且将两个可观察物集合到复杂内容{observable (I)，observable (2)} 503中。对于该对象，用户添加注释“这两个星体是类似的”；由特定互动原语限定的该动作导致从状态“ i+Ι ”到状态“i+2”的迀移。通过考虑文本信息“类似”和两个星体501和502的图像，多媒体平台将能够例如通过依赖于图像搜索引擎向用户推荐类似星体的其它图像504。
[0158]参照图6，用户可加载多媒体内容，从而将其关联规定为评论。用户通过观察视频601开始其多媒体体验:其偶像Bruffon在2015的2月5日对Lemme的比赛中所犯的“失误”。这是由可观察物(I)表征的状态“i”。由于对守门员的失误感到难过，因此他决定通过记录其声音留下评论:包含用户发出语句“Bruffon你仍然最棒”的音轨为伪像602。用户决定将该声音剪辑602添加为评论，从而将其与初始视频关联。该动作导致从“i”到“i+Ι”的状态迀移。多媒体平台配有重构用户说出的文本的声音转录引擎，并且，通过将声音“Bruffon”视为与视频描述有关，将能够在状态“i+2”中向用户推荐Bruffon的其它视频 603。
[0159]以下给出其它的例子，这些例子不与任何特定的附图具体关联，并且可通过参照已描述的图3和图4被完全理解。
[0160]用户可加载多媒体内容，从而将其关联规定为来源。
[0161]用户阅读因特网上的关于在电视节目中出现的事实的文章“wl”。在这种情况下，用户也在技术上处于由可观察物(I)表征的状态“i”中。
[0162]然后，用户决定搜索刚刚在因特网上观看的引起“wl”的内容的电视节目。用户搜索并找到“tvl”;该动作将状态“i”变为“i+Ι”。最后，用户决定通过关联“来源”角色与可观察物“tvl”收集两个内容(web和TV)。由特定的互动原语限定的该关联将状态“i+Ι”变为 “i+2，，。
[0163]用户可加载多媒体内容，从而将其关联规定为派生和注释。
[0164]用户通过收听包含歌曲特别是70年代的著名打击乐的音频剪辑开始其多媒体体验:在技术上，用户处于由可观察物(I)表征的状态“i”中。随后，用户通过搜索并找到与初始歌曲的新式封面可观察物(2)有关的最近的音乐视频与系统互动。该动作导致从“i”到“i+Ι”的状态迀移。用户将角色规定为来自初始音频剪辑的“派生”。最后，用户决定通过用注释“该歌曲的视频是封面”注释该收集(复杂可观察物)收集音频剪辑和视频。由特定的互动原语规定的该动作将状态“i+Ι”变为“i+2”。多媒体平台然后返回70年代的原创乐队创作的歌曲的其它新式封面。用户可加载多媒体内容，从而将其关联规定为询问。
[0165]通过阅读花边新闻文章开始其多媒体体验:用户处于由可观察物(I)表征的状态“i”中。该文章包含书面的文本和照片。文本告诉著名美国演员的最后的绯闻，而照片表现他在流行电影中的场景。从照片即可观察物(2)，用户识别场景，但不能记得提取它的电影的标题。用户然后选择照片，由此将状态从“i”变为“i+1”，并且使用它作为“询问”，从而将其与该著名美国演员的名字关联。多媒体平台然后返回提取该场景的电影的预告片。
[0166]用户可加载多媒体内容，从而将其关联规定为祖先和后继。
[0167]用户通过观察他的孙女尝试吹灭她的第一个生日蜡烛的有趣照片开始其多媒体体验。用户处于由可观察物⑴表征的状态“i”中。用户了解，在同一文件夹中，存在在该照片之前几个月拍摄的他的孙女的视频即可观察物(2)。对于后者，用户决定向像伪“可观察物2”添加祖先角色，由此产生“可观察物3”:该状态由此从“i”变为“i+Ι”。该动作导致祖父(即，用户)记起为其孙女出生前写的诗。该诗即“可观察物3”已保存于桌面上。在关掉计算机之前，祖父决定关联视频与照片(像伪)，从而用所述诗将它们解释为后继。通过面部识别软件，多媒体平台关联该诗与诸如照片和视频的其它的多媒体内容，从而表征孙女。
[0168]用户可加载多媒体内容，从而将其关联规定为含义和建议。
[0169]用户Rossi小姐仅喜欢观察TV上的烹饪内容。而其丈夫Rossi先生主要观看与体育内容有关的电视节目。
[0170]Rossi小姐在其单独在家时通过打开其互动电视机并且调到正在广播关于Calabria典型美食产品的节目(可观察物(I))的CHANNELX(状态“i”)开始其多媒体体验。在这一点上，女人决定向系统传送这样一种事实，即，当单独观看TV时，只喜欢处理与当前正在广播的事项类似的事项的节目。通过按压(例如)遥控器上的蓝色键，女人开始特定的动作:集成到电视机中的视频照相机拍摄照片，从而记录Rossi小姐的脸等。
[0171]现在假定，通过使用由用户拍摄的照片，系统可通过已知的技术识别人脸并由此识别其身份。
[0172]照片(伪像)被赋予含义角色。状态从“i”变为“i+1”。
[0173]晚上，Rossi先生下班。其妻子在厨房准备晚饭。在坐在桌面旁之前，Rossi先生决定看一会TV。他打开TV，TV自动调到CHANNELX(状态“i”)即他的妻子最后观看的频道。Rossi先生坐在TV前，TV现在正在广播他不太感兴趣的内容(可观察物(k))。不知道选择哪个节目并且懒得检查节目单，Rossi先生询问系统的建议(角色)。
[0174]通过简单地按压(例如)遥控器上的红色按钮，集成到电视机中的视频照相机拍摄另一照片(伪像)。系统识别用户并且基于过去保存的信息(例如，关于昨晚或前一天观看的节目的信息)提出正在实时广播重要橄榄球比赛的节目。
[0175]作为例子，以下的参数可构成可能的“实现-用户”系统(连同出于简化的原因没有列出的其它参数):genre、geographic posit1n、event type 等。
[0176]所述参数可采取以下的值(连同这里出于简化的原因没有考虑的其它值):
[0177]Genre:政治、体育、新闻等
[0178]geographic posit1n:意大利、德国等
[0179]event type:音乐会、地震等
[0180]现在假定在初始时刻tO“实现-用户”系统处于由state(tO):政治、意大利、选举等表征的“状态” state (tO)中。
[0181]在该初始状态中，系统还没有关于用户偏好的信息。推荐系统可根据现有技术基于预定的方案(协作或者基于内容的系统)推荐多媒体内容。
[0182]在某个时刻，用户选择使用他根据他的希望选择的第二多媒体内容，该希望甚至不属于上述的预定方案。
[0183]在通过用户实现之后，实现状况从初始状态state (tO)切换到随后的state (tl)，例如，state(tl):政治、德国、选举等。
[0184]在该阶段，推荐系统自动检测在两个连续的状态即state(tO)和state(tl)之间存在的关系。事实上，两个状态的特性参数在与信息的语义条关联的一个栏即“地理位置”上不同。换句话说，状态state (tO)和state(tl)通过明确的语义关系接合，该语义关系是机器可读的并且其可用性依赖于互动模型的形式化所用的特定本体论。
[0185]当使用多媒体内容时，用户由此被赋予从一种状态“跳”到另一状态并且根据由所述本体论提供的各种关系“集合”这些状态的可能性。
[0186]这里是关系的几个例子:
[0187]state (tO)与 state (tl)类似，
[0188]state (tO)由 state (tl)导致，
[0189]state (tO)与 state (tl)不同，
[0190]等等…
[0191]继续以上的例子，用户选择根据其希望选择的第二多媒体内容，并由此从state (tO)跳到 state (tl)。
[0192]在该点上，用户决定通过关系state (tO)与state (tl)类似接合所述状态。
[0193]推荐系统使用与多媒体内容关联的语义信息和与不同的状态有关的语义集合信息；这些语义集合信息可提供为:
[0194](i)隐含关系，S卩，状态的特性参数，允许识别用户处于哪个状态；和
[0195](ii)明确关系，由用户自身表达。
[0196]在本例子中，用户隐含地向推荐系统传送在语义上接合两个状态的关系，在这种情况下，为“不同的地理位置”。
[0197]所述隐含关系变为推荐系统可提供“潜在” state (t2)的演化模型。
[0198]state (t2):政治、瑞典、选举等
[0199]这里使用的术语“潜在”考虑这样一种事实，S卩，对于用户来说，当选择state(tl)的内容时，不强制必须导致实现在state(t2)上失败:许多其它替代方案也是可能的。
[0200]由用户提出的每个实现选择可由此确认推荐系统提供关于多媒体内容的推荐的可靠性。
[0201]继续该例子，在用户实际上决定使用与状态state(t2)关联的内容的情况下，推荐系统将产生其它的潜在的state (t3):
[0202]state (t3):政治、罗马尼亚、选举等
[0203]用户具有通过一种或更多种关系接合两个(或更多个)多媒体内容的可能性。
[0204]一般地，推荐系统适于通过由用户实施的动作通过比较两个不同状态的特性参数获取关于存在于两个或更多个状态之间的关系的信息，不管状态是不是隐含的。
[0205]换句话说，多媒体平台在接收用于选择与各条语义信息关联的第二多媒体内容的命令时能够接收(不管是隐含还是明确)关于由用户观察的多媒体内容之间的关联的信息，该关联与语义集合有关。
[0206]关于明确关系的使用，假定用户结束初始实现f0(以上的例子中提到)，并且，甚至在一些时间之后，开始另一 f I (本例子提到)。
[0207]假定在所述fl中用户重新进入与在f0中到达的状态相同的状态state(tl)中，但未必来自f0开始的同一状态state (tO)。
[0208]在该点上，推荐系统可通过添加其它的语义集合信息即state (tO)与state (tl)类似向用户推荐状态state (tO)的特性内容(政治、意大利、选举等)。
[0209]通过与不同的多媒体内容与状态关联的各条语义信息之间的语义集合的形式化，推荐系统可使自身适于用户的特定选择，该在原则上依赖于实现的状态以及沿多媒体实现路径遇到的任何先前的状态。
[0210]当增加系统的复杂性时，这允许产生可更好地满足用户请求的多媒体内容的语义隹A
口 O
[0211]应当注意，完全从产生状态自身的时间顺序逻辑解放状态之间的这种集合的“后验”使用。
[0212]大量的例子也表示，本发明的主要优点中的一个在于，提出的方法可将参与某个组的多媒体内容的实现的用户的互动模型化，并且，用户被赋予添加其它的多媒体内容、同时还关联特定角色与这种内容的可能性。
[0213]提出的系统和方法允许保持跟踪信息并且详细描述用户实施的调查处理，该用户可以以丰富和复杂的方式丰富给定多媒体内容其自身的其它内容。以这种方式，由于搜索和检索系统可完全利用模型的大量信息，因此极其有利于可能的信息搜索和检索阶段。事实上，搜索和检索系统可通过使用关于与用户互连的对象关联的角色连同由用户自身提供的分组的成分信息动态丰富其指数。基于本方法的推荐系统可由此更好地满足用户的要求。
[0214]提出的方法和系统特别适于通过在计算机上加载和执行的计算机程序实现。
[0215]所述计算机优选属于计算机的网络，例如，通过因特网被连接，其中，装置中的至少一个，特别是用户可访问的一个，是PC、笔记本电脑、平板电脑、智能电话、媒体中心、电视机或其他同等功能的设备。
[0216]本领域技术人员可以理解，提出的方法可存在各种变化。例如，这里参照OWL语言没有限制地描述了本体论；但是，可以使用其它的语言，诸如，例如，XML Schema。
[0217]并且，关于参与多媒体内容的实现的用户或用户社团的行为的信息可在各种技术平台上被有效地记录、共享和再使用。
[0218]并且，方法可被同时集成到诸如互动TV、移动电话、平板电脑、PC的不同装置中。以这种方式，多个装置的用户的行为可被跟踪，然后，可对新应用使用这种信息。
【主权项】
1.一种用于通过多媒体平台(101)推荐多媒体内容的方法，其中，所述多媒体平台(101)包含可通过至少一个用户界面(10)观察的多个多媒体内容，该方法包括以下的步骤: 一所述多媒体平台(101)从所述至少一个用户界面(10)接收至少一个第一命令(204)以选择与至少一条第一语义信息相关的至少一个第一多媒体内容(I); 一所述多媒体平台(101)从所述至少一个用户界面(10)接收用户标识符、第二命令以选择与至少一条第二语义信息相关的至少一个第二多媒体内容(2)，并且进一步接收与正在观察的所述至少一个第二多媒体内容(2)和所述至少一个第一多媒体内容(I)之间的关联性有关的至少一条信息(11)，所述至少一条信息(11)与语义集合有关； 一所述多媒体平台(101)通过所述第二条语义信息和所述第一条语义信息之间的比较来处理(12)代表所述用户标识符、所述至少一个第一多媒体内容(I)和所述至少一个第二多媒体内容(2)、以及所述关联性(11)的至少一个第一状态； 一所述多媒体平台基于所述至少一个第一处理状态(12)并基于和与所述多个多媒体内容有关的多个状态的至少一个其它状态的比较来推荐代表至少一个第三多媒体内容(3)的至少一个第二状态。2.根据权利要求1所述的方法，其中，从所述至少一个用户界面(10)接收的所述至少一个第二多媒体内容(2)是通过所述至少一个用户界面(10)的获取装置直接产生的内容。3.根据权利要求1或2所述的方法，其中，所述至少一个第二多媒体内容(2)包含图像和音频，优选为视频。4.根据权利要求1?3中的任一项所述的方法，其中，从与所述第一条语义信息以及与所述第二条语义信息相关的文本信息之间的文本比较获得所述至少一条语义集合信息(Il)05.根据权利要求1?4中的任一项所述的方法，其中，还从与正在观察的所述至少一个第一多媒体内容(I)以及与所述至少一个第二多媒体内容(2)的接收的时刻相关的时间信息之间的时间比较，获得与关联性有关的所述至少一条信息(11)。6.根据权利要求1?5中的任一项所述的方法，其中，所述第一状态和所述第二状态与适于代表所述推荐系统的相应状况的多条存储的信息相关。7.一种用于推荐多媒体内容的系统，包括:存储多个多媒体内容和多个相应的第一条语义信息的第一存储器(201)，处理器(203)和适于再现至少一个第一多媒体内容(I)的至少一个用户界面(204);适于存储通过所述用户界面(204)选择的至少一个第二多媒体内容(2)、至少一条第二语义信息和用户标识符并且进一步适于存储与正在观察的所述至少一个第二多媒体内容(2)和所述至少一个第一多媒体内容(I)之间的关联性有关的至少一条信息(11)的至少一个第二存储器(202)，所述信息是通过所述用户界面(204)接收的并且与语义集合有关，其中，为了至少比较所述第二条语义信息与所述第一条语义信息并且处理至少一个第一信息状态，所述处理器(203)适于处理与所述至少一个用户标识符、所述至少一个第一多媒体内容(I)和所述至少一个第二多媒体内容(2)、以及与关联性有关的所述至少一条信息(11)有关的信息，并且其中，所述第二存储器(202)适于存储所述至少一个第一信息状态，并且其中，为了详尽描述代表所述第一存储器(201)中的至少一个第三多媒体内容(3)的至少一个第二信息状态，所述处理器(203)进一步适于处理与所述至少一个第一信息状态以及与所述多个多媒体内容有关的信息，其中，所述处理器适于和与所述多个多媒体内容有关的多个状态中的至少一个其它状态进行比较。8.根据权利要求7所述的系统，其中，所述系统适于实现根据权利要求1?6中的任一项所述的方法。9.一种包括当在计算机上执行时实现根据权利要求1?6中的任一项所述的方法的指令的计算机程序。10.根据权利要求9所述的计算机程序，其中，所述程序包含通过根据ResourceDescript1n Framework 标准使用 Web Ontology Language 编译的指令。
【专利摘要】本发明涉及一种用于通过多媒体平台(101)推荐多媒体内容的方法，其中，多媒体平台(101)包含可通过至少一个用户界面(10)观察的多个多媒体内容，该方法包括以下的步骤：多媒体平台(101)从用户界面(10)接收至少一个第一命令(204)以选择与至少一条第一语义信息相关的至少一个第一多媒体内容(1)；多媒体平台(101)从用户界面(10)接收用户标识符、第二命令以选择与至少一条第二语义信息相关的至少一个第二多媒体内容(2)，并且进一步接收与正在观察的第二多媒体内容(2)和第一多媒体内容(1)之间的关联性有关的、涉及语义集合的至少一条信息(11)；多媒体平台(101)通过第二条语义信息和第一条语义信息之间的比较处理(12)代表用户标识符、第一多媒体内容(1)和第二多媒体内容(2)以及关联性(11)的至少一个第一状态；多媒体平台基于第一处理状态(12)以及与多个多媒体内容有关的多个状态的至少一个其它状态的比较推荐代表至少一个第三多媒体内容(3)的至少一个第二状态。本发明还涉及用于推荐多媒体内容的相关系统。
【IPC分类】G06F17/30
【公开号】CN104903888
【申请号】CN201380052774
【发明人】A·梅西纳, S·梅塔, M·蒙塔诺罗
【申请人】意大利广播电视股份公司, 意大利希思卫电子发展股份公司
【公开日】2015年9月9日
【申请日】2013年10月4日
【公告号】EP2904523A1, US20150278351, WO2014054025A1
最新回复(0)