基于推测的社会关系的行为建议的制作方法
专利名称：基于推测的社会关系的行为建议的制作方法
技术领域：
本发明涉及从个人图像集合来推测社会关系并建议行为方式。
背景技术：
客户图像集合已经普遍深入开展。从这些集合中对有意义的信息进行语义挖掘已经是机器学习和计算机视觉社区中的活跃的研究领域。大量的工作正致力于对象识别问题，即检测特定类型的对象，例如人脸、汽车、草、水、天空等等。这项工作主要依赖于利用可在图像中获得的低水平视觉特征(例如颜色、纹理和线条)。近年来，对例如场景检测和行为识别的更复杂的信息的语义提取的关注日益提高。例如，某人可能想要根据照片是拍摄于室内还是室外来对照片进行分组，或者将工作照和休闲照分开。这一问题的解决方案主要依赖于采用衍生特征，例如出现在图像中的人，某种对象在图像中出现或不出现，等等。通常，在这种场景下采用集体推测能力。例如，对于一具体的照片，可能难以判断其为工作还是空闲，但是看看其他位置和时间相似的照片，可能就更容易做出相同的预测。这条研究线索的目的是使人们对数字图像集合的认识方式发生演变一从一束像素值到高复杂性且有意义的对象，可询问所述对象以获得信息，或以对用户有意义的方式自动组织所述对象。随着语义理解的进一步发展，人们能够在观察足够多的图像之后推测出现在相同照片中的人与人之间的关系:他们是家庭成员、朋友、仅仅是熟人、或只是偶然在相同时间和相同地点出现的陌生人。换言之，客户照片通常不会和陌生人在一起拍摄，但经常和朋友以及家人在一起拍摄。检测和预测这样的关系可能是朝着构建智能照相机以及智能图像管理系统前进的重要一步。已知通过分析图像来检测人并猜测被检测人的年龄和性别。此外，几种系统提供了基于人口统计学信息的广告建议。例如，在美国专利号7，362，919中，图像被布置在主题化册页上，其中图形元素基于图像中的人的年龄和性别。相似地，在美国专利号7，174，029中，采用视频照相机来监控环境、检测人、确定某人的人口统计学档案、并基于该人口统计学档案向此人提供广告。尽管这些方法对于对单个人有吸引力的广告来说是有用的，但是对于不与单个人相关而是与多人之间共享的社会关系相关的产品进行广告来说不是有效的。
发明内容
根据本发明，提供了一种对图像集合中的个人之间的社会关系进行分类以建议可能的行为方式的方法，包括:a)搜索该集合以识别个人，并确定他们的性别和他们的年龄范围；b)利用所识别的个人的性别和年龄范围推测他们之间的至少一种社会关系；以及c)利用所推测的至少一种社会关系建议可能的行为方式。本发明的特征和优点包括利用与个人身份、年龄和性别信息相关联的个人图像集合来自动地发现出现在该个人图像中的各个人之间的社会关系类型，并因此提供了一种建议可能的行为方式的系统，所述行为方式例如为产品建议、活动、共享机会或社交网络链接。
图1是可采用本发明的系统的图示；图2是实现本发明的一个实施例的流程图；图3是显示社会关系类型的本体结构的表格；图4a和4b描述了图像和从该图像推测的相应的社会关系的不例；图5描述了利用在图像集合中发现的社会关系建立家庭树，在图像集合中搜索图像，并向用户提供建议的系统；图6提供了示例性的图像集合以及发现的社会关系；图7描述了家庭树；以及图8描述了基于社会关系建议的产品。部件清单10本系统12计算装置14索引服务器16图像服务器20通信网络22获得个人图像集合24识别图像中频繁出现的人(人脸检测/识别)26提取证据，包括人的同时出现、人的年龄和性别28存储识别的人和相关联的证据30从提取的证据推测与人相关联的社会关系32针对推测的社会关系搜索/组织图像集合35社会关系类型的本体结构40示例图像42示例关系50示例图像52示例关系102图像集合104社会关系检测器106社会关系108建议器110可能行为方式112存储器114家庭树116关系询问
118图像选择器120询问输出122显示器124用户输入126地理位置130兄妹的图像132母女的图像134兄妹的图像136图像138图像140母子社会关系142基于社会关系的图形。
具体实施例方式本发明是一种在客户图像集合中自动检测社会关系的方法。例如，给定两张出现在图像中的人脸，人们意欲推测他们彼此是配偶而不仅仅是朋友。甚至在掌握了关于各个人脸的年龄、性别和身份的 附加信息时，该任务也是极其困难的。照片中可能存在什么样的信息从而能够区分“朋友”或“配偶”关系呢？但是当集体地观察一组相关的照片时，该任务就容易处理得多了。具体地，第三方个人(除了照片中的主人公和拍照师之外)可基于经验规则对上述任务进行很好的猜测，所述经验规则例如:a)夫妻通常倾向于只拍摄他们自己，相反地，朋友通常成群出现，以及b)有小孩的夫妻通常和他们的孩子一起出现在照片中。该方法的优点是人们甚至可以说出关于在给定的集合中从未(或很少)一起拍照的某些人之间的关系的有意义的东西。例如，如果A(男性)和小孩出现在一组照片中，B(女性)和同一小孩出现在其他照片中，并且A和B出现在几张其他照片中，那么很可能他们是配偶关系，并且是和他们一起照相的这个小孩的父母。本发明以有意义的方式获取上述经验规则。在建立这些规则时，需要考虑几个关键问题:(a)这些毕竟只是经验规则，因此不总是正确的。(b)可以同时采用很多规则，必须小心地组合这些规则。(c)在某些场景下，很多规则可能彼此冲突。解决这些问题的一个好方法是马尔可夫逻辑(“马尔可夫逻辑网络”(“MarkovLogic Networks”)，作者 M.Richardson 和 P.Domingos,发表于 Machine Learning, 62:107-136，pp.1-43,01/26/2006.6)，其提供了一种以数学的合理途径组合一阶逻辑规则的框架。每个规则被视为软约束(与逻辑中的硬约束相反)，其重要性由与之相关联的真值权重确定。权重越高，规则越重要。换言之，给出两个冲突的规则，在其他各方面都相同的情况下，应确信具有更高权重的规则的置信度更高。权重可以从训练数据学习。进一步地，除了由本领域专家提供的规则之外，马尔可夫逻辑也提供了利用该数据学习新规则的能力，从而增强了背景知识。然后利用这些学习的规则(以及它们的权重)在可能的关系组上进行集体推测。如后文所述，也可采用噪声预测器(用于年龄和性别)作为系统的输入，来构建用来预测关系、年龄和性别的集体模型。预测了一个元素有助于预测其他元素，反之亦然。例如，确认两个人性别相同可以帮助排除配偶关系，反之亦然。对一个照片的推测可延及其他照片，从而提高整体准确度。统计关系模型将例如一阶逻辑的关系语言能力和例如马尔可夫网络的概率模型相结合。这提供了为范围内的关系(例如我们的情况中的各种社会关系)明确地建模的能力，同时也明确地考虑到不确定性(例如经验规则不可能总是正确)。近年来，在这个领域有大量的研究。能力最强的这类模型之一是马尔可夫逻辑(马尔可夫网络(“Markov LogicNetworks” )，作者 M.Richardson 和 P.Domingos,发表于 Machine Learning, 62: 107-136,PP.1-43,01/26/2006)。其结合了一阶逻辑能力和马尔可夫网络来限定潜在对象的特征分布(例如在我们的范围内的年龄、性别、面部特征)和他们之间的关系(例如在我们的范围内的各种社会关系)。这是通过为一阶原理中的每个公式附加真值权重来实现的，其中权重(粗略地)表示了公式的重要性。形式上，马尔可夫网络L被定义为一组对(Fi，wi)，Fi是一阶逻辑的公式，wi是实数。给定一组常数C,基础训练预测(ground predicates)集合X
的特定配置X的概率如下:
权利要求
1.一种对图像集合中的个人之间的社会关系进行分类以建议可能行为方式的方法，该方法包括: a)搜索所述集合以识别个人并确定他们的性别和他们的年龄范围； b)利用识别的个人的所述性别和年龄范围来推测他们之间的至少一种社会关系；以及 c)利用至少一种推测的社会关系来建议可能行为方式。
2.根据权利要求1所述的方法，其中所述可能行为方式包括建议产品广告、针对特定的一个或多个产品的潜在客户、图像产品、活动、共享机会、或在线社交网络中的链接。
3.根据权利要求2所述的方法，其中所述产品广告提供给集合拥有者，所述广告中的产品涉及特定节日。
4.根据权利要求1所述的方法，其中所述可能行为方式被建议给除了集合拥有者之外的人。
5.根据权利要求2所述的方法，其中所述图像产品与来自所述图像集合的图像结合，其中所述推测的社会关系发现自所述图像集合。
6.根据权利要求2所述的方法，其中所述活动包括教育活动、与运动相关的活动、与兴趣爱好相关的活动、或与健康或医药相关的活动。
7.根据权利要求1所述的方法，其中集合拥有者的地理位置被用来建议所述行为方式。
8.一种从图像集合产生家庭树的方法，该方法包括: a)搜索集合以识别个人，并确定他们的性别和他们的年龄范围； b)利用识别的所述个人的所述性别和年龄范围来推测个人之间的至少两种社会关系; c)利用至少两种推测的社会关系来产生家庭树；以及 d)存储所述家庭树,使所述家庭树与所述集合关联。
9.根据权利要求8所述的方法，进一步包括基于所述家庭树搜索图像集合。
10.一种将图像集合中的个人之间的社会关系进行分类以搜索图像集合的方法，该方法包括: a)搜索所述集合以识别个人并确定他们的性别和他们的年龄范围； b)利用识别的所述个人的所述性别和年龄范围推测个人之间的至少一种社会关系；以及 c)基于推测的所述社会关系搜索图像集合。
全文摘要
一种对图像集合中的个人之间的社会关系进行分类以建议可能行为方式的方法，该方法包括搜索所述集合以识别个人并确定他们的性别和他们的年龄范围；利用识别的个人的所述性别和所述年龄范围来推测他们之间的至少一种社会关系；以及利用推测的至少一种社会关系建议可能行为方式。
文档编号G06Q30/02GK103119620SQ200980138668
公开日2013年5月22日 申请日期2009年10月20日 优先权日2008年10月25日
发明者A·C·加拉格尔, J·罗 申请人:高智83基金会有限责任公司
技术领域：
本发明涉及从个人图像集合来推测社会关系并建议行为方式。
背景技术：
客户图像集合已经普遍深入开展。从这些集合中对有意义的信息进行语义挖掘已经是机器学习和计算机视觉社区中的活跃的研究领域。大量的工作正致力于对象识别问题，即检测特定类型的对象，例如人脸、汽车、草、水、天空等等。这项工作主要依赖于利用可在图像中获得的低水平视觉特征(例如颜色、纹理和线条)。近年来，对例如场景检测和行为识别的更复杂的信息的语义提取的关注日益提高。例如，某人可能想要根据照片是拍摄于室内还是室外来对照片进行分组，或者将工作照和休闲照分开。这一问题的解决方案主要依赖于采用衍生特征，例如出现在图像中的人，某种对象在图像中出现或不出现，等等。通常，在这种场景下采用集体推测能力。例如，对于一具体的照片，可能难以判断其为工作还是空闲，但是看看其他位置和时间相似的照片，可能就更容易做出相同的预测。这条研究线索的目的是使人们对数字图像集合的认识方式发生演变一从一束像素值到高复杂性且有意义的对象，可询问所述对象以获得信息，或以对用户有意义的方式自动组织所述对象。随着语义理解的进一步发展，人们能够在观察足够多的图像之后推测出现在相同照片中的人与人之间的关系:他们是家庭成员、朋友、仅仅是熟人、或只是偶然在相同时间和相同地点出现的陌生人。换言之，客户照片通常不会和陌生人在一起拍摄，但经常和朋友以及家人在一起拍摄。检测和预测这样的关系可能是朝着构建智能照相机以及智能图像管理系统前进的重要一步。已知通过分析图像来检测人并猜测被检测人的年龄和性别。此外，几种系统提供了基于人口统计学信息的广告建议。例如，在美国专利号7，362，919中，图像被布置在主题化册页上，其中图形元素基于图像中的人的年龄和性别。相似地，在美国专利号7，174，029中，采用视频照相机来监控环境、检测人、确定某人的人口统计学档案、并基于该人口统计学档案向此人提供广告。尽管这些方法对于对单个人有吸引力的广告来说是有用的，但是对于不与单个人相关而是与多人之间共享的社会关系相关的产品进行广告来说不是有效的。
发明内容
根据本发明，提供了一种对图像集合中的个人之间的社会关系进行分类以建议可能的行为方式的方法，包括:a)搜索该集合以识别个人，并确定他们的性别和他们的年龄范围；b)利用所识别的个人的性别和年龄范围推测他们之间的至少一种社会关系；以及c)利用所推测的至少一种社会关系建议可能的行为方式。本发明的特征和优点包括利用与个人身份、年龄和性别信息相关联的个人图像集合来自动地发现出现在该个人图像中的各个人之间的社会关系类型，并因此提供了一种建议可能的行为方式的系统，所述行为方式例如为产品建议、活动、共享机会或社交网络链接。
图1是可采用本发明的系统的图示；图2是实现本发明的一个实施例的流程图；图3是显示社会关系类型的本体结构的表格；图4a和4b描述了图像和从该图像推测的相应的社会关系的不例；图5描述了利用在图像集合中发现的社会关系建立家庭树，在图像集合中搜索图像，并向用户提供建议的系统；图6提供了示例性的图像集合以及发现的社会关系；图7描述了家庭树；以及图8描述了基于社会关系建议的产品。部件清单10本系统12计算装置14索引服务器16图像服务器20通信网络22获得个人图像集合24识别图像中频繁出现的人(人脸检测/识别)26提取证据，包括人的同时出现、人的年龄和性别28存储识别的人和相关联的证据30从提取的证据推测与人相关联的社会关系32针对推测的社会关系搜索/组织图像集合35社会关系类型的本体结构40示例图像42示例关系50示例图像52示例关系102图像集合104社会关系检测器106社会关系108建议器110可能行为方式112存储器114家庭树116关系询问
118图像选择器120询问输出122显示器124用户输入126地理位置130兄妹的图像132母女的图像134兄妹的图像136图像138图像140母子社会关系142基于社会关系的图形。
具体实施例方式本发明是一种在客户图像集合中自动检测社会关系的方法。例如，给定两张出现在图像中的人脸，人们意欲推测他们彼此是配偶而不仅仅是朋友。甚至在掌握了关于各个人脸的年龄、性别和身份的 附加信息时，该任务也是极其困难的。照片中可能存在什么样的信息从而能够区分“朋友”或“配偶”关系呢？但是当集体地观察一组相关的照片时，该任务就容易处理得多了。具体地，第三方个人(除了照片中的主人公和拍照师之外)可基于经验规则对上述任务进行很好的猜测，所述经验规则例如:a)夫妻通常倾向于只拍摄他们自己，相反地，朋友通常成群出现，以及b)有小孩的夫妻通常和他们的孩子一起出现在照片中。该方法的优点是人们甚至可以说出关于在给定的集合中从未(或很少)一起拍照的某些人之间的关系的有意义的东西。例如，如果A(男性)和小孩出现在一组照片中，B(女性)和同一小孩出现在其他照片中，并且A和B出现在几张其他照片中，那么很可能他们是配偶关系，并且是和他们一起照相的这个小孩的父母。本发明以有意义的方式获取上述经验规则。在建立这些规则时，需要考虑几个关键问题:(a)这些毕竟只是经验规则，因此不总是正确的。(b)可以同时采用很多规则，必须小心地组合这些规则。(c)在某些场景下，很多规则可能彼此冲突。解决这些问题的一个好方法是马尔可夫逻辑(“马尔可夫逻辑网络”(“MarkovLogic Networks”)，作者 M.Richardson 和 P.Domingos,发表于 Machine Learning, 62:107-136，pp.1-43,01/26/2006.6)，其提供了一种以数学的合理途径组合一阶逻辑规则的框架。每个规则被视为软约束(与逻辑中的硬约束相反)，其重要性由与之相关联的真值权重确定。权重越高，规则越重要。换言之，给出两个冲突的规则，在其他各方面都相同的情况下，应确信具有更高权重的规则的置信度更高。权重可以从训练数据学习。进一步地，除了由本领域专家提供的规则之外，马尔可夫逻辑也提供了利用该数据学习新规则的能力，从而增强了背景知识。然后利用这些学习的规则(以及它们的权重)在可能的关系组上进行集体推测。如后文所述，也可采用噪声预测器(用于年龄和性别)作为系统的输入，来构建用来预测关系、年龄和性别的集体模型。预测了一个元素有助于预测其他元素，反之亦然。例如，确认两个人性别相同可以帮助排除配偶关系，反之亦然。对一个照片的推测可延及其他照片，从而提高整体准确度。统计关系模型将例如一阶逻辑的关系语言能力和例如马尔可夫网络的概率模型相结合。这提供了为范围内的关系(例如我们的情况中的各种社会关系)明确地建模的能力，同时也明确地考虑到不确定性(例如经验规则不可能总是正确)。近年来，在这个领域有大量的研究。能力最强的这类模型之一是马尔可夫逻辑(马尔可夫网络(“Markov LogicNetworks” )，作者 M.Richardson 和 P.Domingos,发表于 Machine Learning, 62: 107-136,PP.1-43,01/26/2006)。其结合了一阶逻辑能力和马尔可夫网络来限定潜在对象的特征分布(例如在我们的范围内的年龄、性别、面部特征)和他们之间的关系(例如在我们的范围内的各种社会关系)。这是通过为一阶原理中的每个公式附加真值权重来实现的，其中权重(粗略地)表示了公式的重要性。形式上，马尔可夫网络L被定义为一组对(Fi，wi)，Fi是一阶逻辑的公式，wi是实数。给定一组常数C,基础训练预测(ground predicates)集合X
的特定配置X的概率如下:
权利要求
1.一种对图像集合中的个人之间的社会关系进行分类以建议可能行为方式的方法，该方法包括: a)搜索所述集合以识别个人并确定他们的性别和他们的年龄范围； b)利用识别的个人的所述性别和年龄范围来推测他们之间的至少一种社会关系；以及 c)利用至少一种推测的社会关系来建议可能行为方式。
2.根据权利要求1所述的方法，其中所述可能行为方式包括建议产品广告、针对特定的一个或多个产品的潜在客户、图像产品、活动、共享机会、或在线社交网络中的链接。
3.根据权利要求2所述的方法，其中所述产品广告提供给集合拥有者，所述广告中的产品涉及特定节日。
4.根据权利要求1所述的方法，其中所述可能行为方式被建议给除了集合拥有者之外的人。
5.根据权利要求2所述的方法，其中所述图像产品与来自所述图像集合的图像结合，其中所述推测的社会关系发现自所述图像集合。
6.根据权利要求2所述的方法，其中所述活动包括教育活动、与运动相关的活动、与兴趣爱好相关的活动、或与健康或医药相关的活动。
7.根据权利要求1所述的方法，其中集合拥有者的地理位置被用来建议所述行为方式。
8.一种从图像集合产生家庭树的方法，该方法包括: a)搜索集合以识别个人，并确定他们的性别和他们的年龄范围； b)利用识别的所述个人的所述性别和年龄范围来推测个人之间的至少两种社会关系; c)利用至少两种推测的社会关系来产生家庭树；以及 d)存储所述家庭树,使所述家庭树与所述集合关联。
9.根据权利要求8所述的方法，进一步包括基于所述家庭树搜索图像集合。
10.一种将图像集合中的个人之间的社会关系进行分类以搜索图像集合的方法，该方法包括: a)搜索所述集合以识别个人并确定他们的性别和他们的年龄范围； b)利用识别的所述个人的所述性别和年龄范围推测个人之间的至少一种社会关系；以及 c)基于推测的所述社会关系搜索图像集合。
全文摘要
一种对图像集合中的个人之间的社会关系进行分类以建议可能行为方式的方法，该方法包括搜索所述集合以识别个人并确定他们的性别和他们的年龄范围；利用识别的个人的所述性别和所述年龄范围来推测他们之间的至少一种社会关系；以及利用推测的至少一种社会关系建议可能行为方式。
文档编号G06Q30/02GK103119620SQ200980138668
公开日2013年5月22日 申请日期2009年10月20日 优先权日2008年10月25日
发明者A·C·加拉格尔, J·罗 申请人:高智83基金会有限责任公司
最新回复(0)