用于在情景环境中显示物品图像的增强现实系统方法和装置的制作方法
专利名称：用于在情景环境中显示物品图像的增强现实系统方法和装置的制作方法
技术领域：
本申请通常涉及电子商务(e-commerce)领域,并且尤其涉及ー种计算机实现的 增强现实物品图像覆盖方法和系统。
背景技术：
在线购物和拍卖网站(例如电子商务公司)上的物品列表可能经常提供与要销售的物品相关的图像以补充该物品的文字描述。该图像可以是数字照片、图画的形式，或者在某些情况下可以是视频剪辑或这些形式的任意組合。对某些物品来说，可能有提供物品不同角度和视图的多个图像(例如数码照片)。在一些示例中，这些图像可以在情景环境中，诸如客厅中的沙发。在其他示例中，物品图像可以仅仅描述该物品而没有情景环境。
本发明的实施例通过示例而非限制方式在附图中被图示，其中相同的附图标记表示相同的元素，其中图I是网络的概略图示，在该网络中可以实现用于向处理系统提供修改后的视觉数据的示例性的增强现实系统；图2是根据一种示例性实施例的示例性的增强现实模块的框图；图3是根据示例性实施例的提供修改后的视觉数据的方法的流程图；图4是根据示例性实施例的用于增强现实系统的占位物的示例。图5A-B是根据一种实施例的示例性的示例性用户界面,所述示例性用户界面图示了摄像机捕捉环境中的占位物以及作为结果的情景环境中的增强现实显示；以及图6是计算机系统形式的示例性机器的示意图，在该计算机系统中可以执行ー组指令，用于使该机器执行在这里论述的方法中的任意ー种或多种。
具体实施例方式论述了这样的系统和方法，用于在物品即将出现在位于摄像机捕捉环境中位置时，在屏幕上显示物品图像。在下面的描述中，出于说明的目的，为了能够彻底理解本发明的实施例，阐述了许多特定的细节。然而，很明显对本领域技术人员来说，没有这些特定的细节也可以实施本发明。下面的详细说明包括对附图的參考，这些附图构成详细说明的一部分。附图示出了按照示例性实施例的图例。这些示例性实施例(它们在这里也称为“示例”)被充分详细地描述，以使得本领域技术人员能够实施本主題。实施例可以组合，可以利用其它的实施例，或者在不背离权利要求的范围的情况下可以做出结构上、逻辑上和电气上的改变。因此，下面的详细说明不应被理解为限制性的，范围由随附的权利要求及其等同物确定。增强现实通常是指通过计算机形成的影像创建混合虚拟和真实世界的环境。真实环境中的元素与虚拟图像在实时环境中混合在一起，从而为用户提供以其他方式无法完全获得的信息和视觉效果。在诸如在线交易平台之类的在线公布系统中，在卖方可发布供出售物品的场合，可能想要看看特定物品出现在用户指定位置上的样子以有助于用户做出购买決定。例如，正在考虑购买放在客厅的沙发的用户可能需要确定沙发要放在哪里，并且通常想确定这个沙发出现在客厅里的样子。用户也许希望在不实际拥有该沙发的情况下看到沙发出现在客厅里的样子。此外，用户可能更喜欢比较各种各样 的沙发，从房间中的不同角度去观察沙发看起来有什么不同，甚至在不物理地移动实际家具的情况下在沙发四周围绕其他物品以创造家具总体效果。在示例性实施例中，增强现实系统可以为用户提供这样的能力，在由摄像机捕捉的环境中(例如客厅)放置及重新放置虚拟的沙发(及附加物品，如果想要的话)，而不需要实际沙发的物理移动。在一种示例性实施例中，该方法允许用户在实际物品将要放置的位置上放置标志物(例如，诸如一片带有鲜明对比标志的纸张和独特物体之类的占位物)。该方法利用例如视频摄像机来记录在该位置中放置的标志物的图像，将捕捉到的图像发送到增强现实系统，并且接收在所选位置上放置的真实物品的图像。在各种实施例中，标志物(例如占位物)可以是具有独特标志的纸张(8. 5”X 11”)，并且用户可以下载、打印并且将它放置在该位置上。服务器从用户系统中接收在该位置的占位物的视频流，检测该占位物，并且向用户系统发送回用物品代替该标志物的修改后的视频流用以显示。在各种示例性实施例中，包含物品选择的输入从客户端被接收以生成占位物，并且用以生成该占位物的信息被提供给输入源(例如，该客户端)或具有输出功能的处理系统。占位物可能位于其中的摄像机捕捉环境的视频数据被接收。分析该输入以检测该占位物，井根据该分析检索图像。视觉数据被修改以包含与该图像相关联的图像数据，在ー些实施例中，所述可能是该图像的覆盖物，并且修改后的视觉数据可被提供给输入源(例如，用户的处理系统)或者另处理系统。在一些示例性实施例中，可以根据该分析来修改检索到的图像，以根据由占位物信息确定的放置信息和环境来对物品图像覆盖物进行缩放和定向。在一种示例性实施例中，占位物可以是打印出来的具有独特标志(例如，条形码、对比鮮明的图像、ニ维数据码)的纸张，该独特标志可由用户通过家庭计算机系统打印。在ー些示例性实施例中，该纸张也可以是由其它处理系统可识别的。在一些实施例中，单个的占位物可以通用于多个物品，并可交替地用于代表多个物品。例如，在用户希望在同一个位置比较第一物品和第二物品时，占位物可以可交替地代表第一和第二物品二者，不需要生成两个占位物。在一些实施例中，可以使用单个占位物，而无需将该占位物与任何特定物品关联起来。參考图I论述了ー种示例性增强现实系统。图I是网络的概略图示，在其中可以实现用于向处理系统110提供修改后的视觉数据的示例性增强现实系统100。如图所示，该增强现实系统100可以包括处理系统110和服务器120。在一种示例性实施例中，该服务器120可以托管(host)在线交易平台。处理系统110可以运行诸如网络浏览应用之类的应用116，并且可以通过网络130具有对服务器120的访问权。该网络130可以是公共网络(例如，互联网、无线网络等等)或者专用网络(例如，局域网(LAN)、广域网(WAN)、内部网等等)。在一种实施例中，基于网络的交易平台可以提供一种或多种市场环境应用、支付应用以及其他资源。市场环境应用可以向访问该市场环境的用户提供许多市场环境功能及服务。同样地， 支付应用可以向用户提供许多支付服务与功能。基于网络的交易平台可以显示在交易平台上列出的各种物品。然而，本说明书中论述的实施例不限于基于网络的交易平台。在另外的实施例中，可以使用其它的公布平台，诸如社交网站、新闻聚合网站、门户网站、基于网络的广告平台，或者任何其它向用户显示物品的系统。处理系统110可以包括用以捕捉情景环境(例如，客厅)的摄像机源112(例如，视频摄像机或者数字照相机)和用以呈现该情景环境的视觉输出114(例如，液晶显示器等)，并且，在一种示例性实施例中，该视觉输出用以呈现增强的环境。服务器120包括物品图像源122和增强现实应用124。在一些实施例中，可以将服务器120可通信地耦合到一个或多个数据库140，数据库可以存储物品图像142。在一种示例性实施例中，处理系统110可以向服务器120发送请求，以修改由摄像机源112捕捉到的情景环境。在ー些实施例中，来自处理系统110的请求可以包括用户所选物品。在一种实施例中，在服务器120处的增强现实应用124可以检测该请求，并且向处理系统110提供占位物生成信息，以生成与该用户所选物品相关联的占位物。一旦接收到占位物生成信息，控制处理系统110的用户可以例如通过打印由增强现实应用124提供的占位物的图像来产生占位物。在一些示例性实施例中，占位物可以是具有独特标志的普通信纸大小(例如，8. 5” XII”)的纸张，其示例在下面的图4中被图示并描述。该独特标志可以由增强现实应用124用于识别情景环境中的占位物以及确定由摄像机捕捉到的情景环境中的用户所选物品的期望位置。在一些实施例中，可以利用显示具有独特标志的占位物的辅助显示设备(例如，移动电话显示器)来生成占位物。在其它的实施例中，用户可以利用占位物生成信息、通过在诸如纸张或者三维物体之类的物体上对该独特标志进行绘制和/或涂色来物理地创建占位物。在一些实施例中，除了用户所选物品之外，基于所接收到的由摄像机收集的视觉数据，可以定制占位物生成信息及相关独特标志，以容纳环境的元素。例如，可以通过考虑环境(例如，房间)的尺寸来产生占位物生成信息。在另ー种示例性实施例中，增强现实应用124可以接收并处理从处理系统110及可通信地耦合到处理系统Iio的摄像机源112接收的视觉数据，并将修改后的视觉数据提供回处理系统110。例如，摄像机源112可以收集占位物位于其中的情景环境的视觉数据。在一些实施例中，应用116之一可以接收视觉数据。应用116可以通过网络130向服务器120的增强现实应用124提供视觉数据。增强现实应用124可以分析视觉数据以检测与位于捕捉到的情景环境内的占位物相关联的占位物信息，并且也可以由该占位物信息确定放置信息。基于占位物信息、放置信息或其任意组合，增强现实应用124可以从服务器120的物品图像源122中检索图像。在一些实施例中，增强现实应用124从可通信地耦合到服务器120的数据库140中存储的物品图像142中检索该图像。增强现实应用124随后可以修改该视觉数据，以使其包括与所检索的物品图像相关联的图像数据。在一些实施例中，增强现实应用124可以基于所确定的放置信息、用修改后的图像数据来修改视觉数据。在ー些实施例中，增强现实应用124随后向处理系统110提供修改后的视觉数据，以在视觉输出114上进行视觉显示。在一些实施例中，处理系统110可以包括物品图像源，诸如在处理系统110上存储的物品图像库。在一种示例性实施例中，用户可以通过摄像机源112(例如，数字照相机)创建ー个或多个物品的图像库。在一种实施例中，在服务器120上托管的应用可以用于识别图像中描绘的物品(见美国专利申请序列No. 12/371，882)，并且增强现实应用124可以向处理系统提供来自服务器120的占位物生成信息。在一些示例性实施例中，处理系统110可以托管增强现实应用124，并且可以在不使用网络130和服务器120的情况下向诸如处理系统110提供修改后的视觉数据。图2是根据一种示例性实施例的示例性增强现实模块210的框图200。如图2所示，增强现实模块210包括输入接收器模块220、信息提供器模块222、视觉数据接收器模块224、检测模块226、放置确定模块228、检索模块230以及修改模块232。增强现实系统的这 些模块可以通过总线240可通信地耦合到其它模块。输入接收器模块220可被配置为接收开始增强现实应用(例如，图I的增强现实应用124)的请求。该请求可以包括与被选物品相关联的物品信息。在一种实施例中，输入接收器模块220可被配置为接收来自诸如图I的处理系统110之类的源的请求(例如，输入)。输入接收器模块220可被配置为接收来自处理器系统的附加信息，诸如，例如摄像机技术规范、所捕捉的情景环境的照明和尺寸信息、数据传输率、帧刷新率、以及处理系统110的其他技术规范和本领域普通技术人员所熟知的环境參数。信息提供器模块222可被配置为基于从输入接收器模块220接收到的请求和物品信息来确定占位物生成信息。占位物生成信息可以包括生成占位物的指令(例如，机器可读指令)。在一些实施例中，占位物生成信息可以是机器可读信息，诸如，例如电子文档。在一种实施例中，信息提供器模块222可以产生可递送到请求源(例如，处理系统110)或者任何其它处理系统的文件。例如，信息提供器模块222可以以任意ー种格式或几种格式的组合(例如，便携式文档格式(PDF)、微软的WORD文档、联合图像专家组(JPEG)格式等等)生成电子文档或图像文件。在操作中，用户可以与处理系统交互以选择物品列表。该用户可以发送生成用于在环境中放置的占位物的请求。输入接收器模块220可以接收该请求，在一些实施例中，该请求可以包括识别用户所选物品列表的信息，并且信息提供器模块222可以生成电子文档并且将该文档递送到请求源(例如，处理系统110)。在一些实施例中，生成占位物的请求可以包括所选物品列表。在一些实施例中，用户可以接收占位物生成指令而不选择或发送生成占位物的请求。视觉数据接收器模块224从诸如处理系统110之类的客户端接收视觉数据，该客户端可通信地耦合到诸如数字照相机、视频摄像机(例如，网络摄像头)等等摄像机。在示例性实施例中，用户可以放置摄像机以捕捉并观察情景环境，该用户可能想要在该情景环境中查看物品出现在该环境中的样子。在一些实施例中，视觉数据接收器模块224可以处理摄像机捕捉到的一部分或者全部视觉数据，以确定视觉环境的參数。例如，视觉数据接收器模块224可以确定捕捉环境的參数，包括照明、角度、尺寸、重力朝向等等，并且可以确定摄像机的细节，诸如帧刷新率、变焦能力、摄像机型号信息等等。检测模块226检测可能包含在接收到的视觉数据中的占位物信息。在一种实施例中，占位物信息(例如，用以生成文档的机器可读指令)与摄像机的可观察位置内(例如，在摄像机捕捉到的情景环境内)放置的占位物相关联，该摄像机与处理系统(例如，客户端设备)可通信地耦合，处理系统在视觉数据接收器模块224处向增强现实模块210提供由摄像机接收到的视觉数据。在示例中，占位物的独特标志可以由耦合到处理系统的摄像机捕捉，然后这些独特标志可以被检测模块226进行检测为代表捕捉环境中的占位物。在一种实施例中，检测模块226可被配置为解析从视觉数据接收器模块224接收的视觉数据，以确定接收到的视觉数据在视觉数据内是否包含占位物信息。在一些实施例中，检测模块226可以验证占位物信息，以例如确定该占位物信息与输入接收器模块220处接收的被选物品是否匹配。在一些实施例中，检测模块226可被配置为在占位物信息与所选物品不匹配时通知客户端(例如，处理系统110)。在一种示例中，检测模块226可以向客户端源提供建议，以诸如重新创建占位物、重新放置占位物等等。放置确定模块228可被配置为使用与视觉数据一起接收到的占位物信息来确定占位物的放置信息。在一种实施例中，放置确定模块228可以基于占位物信息来确定与该 占位物相关联的各种特征。例如，放置确定模块228可以确定包括由摄像机捕捉到的情景环境中的占位物的坐标和大体位置在内的特征，并且可以确定朝向、缩放因子、照明效果以及在情景环境中遮挡占位物的任何遮挡物等等。在一种示例性实施例中，放置确定模块228可被配置为向检索模块230提供包含特征的放置信息。在一种示例性实施例中，放置确定模块228可被配置为基于占位物的独特标志确定占位物的放置信息。这些独特标志可以如上文所述由检测模块226检测。检索模块230可被配置为在检测到由摄像机捕捉到的占位物的图像时检索物品的图像。检索模块230可以基于占位物的独特标志检索图像。在检索被选物品的图像时，检索模块230可以结合从检测模块226和放置确定模块228接收到的信息。在一种实施例中，检索模块230可以如上文所述基于从占位物信息确定的和从放置确定模块228接收到的占位物的被确定的特征来从物品的多个图像中选择图像。在一种示例性实施例中，检索模块230可以利用所确定的特征从多个图像中选择最适合的图像。在一些实施例中，检索模块230可以检索或确定物品诸如高度、长度以及宽度等物理尺寸，并且可以根据物品的物理尺寸和/或占位物的特征，从多个图像中选择最适合的图像。在一种示例中，检索模块230可被配置为根据物品的物理尺寸和占位物的特征，修改与检索到的图像相关联的图像数据，以诸如在情景环境中代表按比例缩放并且定向的图像。修改模块232可被配置为根据放置信息来修改所接收的视觉数据，以使视觉数据中包含与所检索的图像相关联的图像数据。在一些实施例中，修改模块232可被配置为修改所接收的视觉数据，以使其包含由检索模块230生成的修改后的视觉数据。在一种示例性实施例中，修改模块232可以向提供物品选择和/或对增强现实的选择的客户端(例如，处理系统110)返回修改后的视觉数据。应该注意的是，尽管图2示出了独立于其他模块的特定模块，但是其它实施例可以在单个的部件内包含一个或多个模块。另外，可以提供这样的实施例作为单个模块的图2所示部件可以被实现为两个或多个部件。參考图3-6论述由增强现实模块210执行的各种操作。图3是根据一种示例性实施例的用以提供修改后的视觉数据的方法300的流程图。方法300可以通过处理逻辑来执行，处理逻辑可以包含硬件(例如，专用逻辑、可编程逻辑、微码等等)、(诸如在通用计算机系统或者专用机器上运行的)软件或两者的组合。在一种示例性实施例中，处理逻辑可以以图I中的增强现实应用124的形式驻留在图I中所示的服务器120处。如图3中所示，方法300开始于操作310，此时服务器120从客户端(例如，图I的处理系统110)接收输入，该输入包含物品选择。在操作320，方法300可以基于接收到的输入提供用以生成占位物的生成信息。该生成信息可被提供给处理系统110，以允许用户利用打印机生成占位物或者利用视觉显示设备(例如，移动电话屏幕、摄相机屏幕等等)观察占位物。图4中示出了占位物的ー种示例，下面将详细说明。在操作330，方法300接收来自客户端(例如，处理系统110)的视觉数据。在一 种实施例中，视觉数据可以由与客户端可通信地耦合的摄像机捕捉。在操作340，方法300检测包括在视觉数据中的占位物信息；该占位物信息与由摄像机捕捉到的情景环境中放置的占位物相关联。在操作350，方法300利用占位物信息确定放置信息。在操作360，方法300基于占位物检索与该占位物相关联的物品的图像。在操作370，方法300參照放置信息修改接收到的视觉数据，以将与检索到的图像相关联的图像数据包含到视觉数据中。在示例中，可以修改检索到的图像，以使捕捉到的环境的各个尺寸、朝向等与由检索图像所代表的物品的尺寸、朝向等一致。在一些实施例中，方法300的操作370可以给在操作310处提供输入的客户端(例如，处理系统110)提供修改后的视觉数据。现在用户可以以在环境中出现的样子来观察物品。图4是根据一种示例性实施例的、用于增强现实系统100 (例如，都在图I中的处理系统110、服务器120和网络130)的物理占位物400的示例。在一种示例中，在接收到包括物品选择的输入时，增强现实系统100为该输入所源自的客户端源或者一些实施例中的任意其它处理系统(例如，移动电话)提供生成信息以生成具有独特标志402-424的占位物400。如前所述，生成信息可以是文档、图像、计算机可读指令等，以用于利用诸如打印机(例如，在可打印的印刷品的情况下)或显示屏幕(例如，移动电话的显示屏幕，在不可打印的数字文件的情况下)之类的渲染仪器来生成占位物400。在一些实施例中，占位物400可以是具有独特标志402-424的标准纸张(例如，尺寸约为8. 5” X 11”)。在其它的实施例中，占位物400可以是电子形式的可显示指令集，用以在移动电话或者辅助显示屏幕上进行显示。在其它的实施例中，占位物400可以是三维物体。占位物400可以包括箭头402、404、406及408中的任意ー个或多个，这些箭头为增强现实系统100提供占位物400的向上和向下的朝向，以例如在由摄像机捕捉时确定占位物400的朝向。在一种实施例中，增强现实系统100可以用箭头402、404、406及408的任意组合来校准处理系统110的图I的摄像机源112。在一种示例性实施例中，箭头402、404,406及408可以以顺时针方向形成，从而允许增强现实系统100首先确定顶边与底边朝向。当页面翻转时，由增强现实系统100确定的朝向可以翻转180°。在一种示例性实施例中，任何有方向的可区分的形状都可以取代箭头402、404、406及408中的ー个或多个。在一种实施例中，当从原来的朝向沿着不同的轴旋转页面时，增强现实系统100可以利用箭头402、404、406及408来在占位物400的四个角之间进行区分。在示例中，当用户在摄像机捕捉到的环境中旋转占位物400吋，增强现实系统100检测该旋转，并且在图I的视觉输出114上呈现情景环境中的物品时，旋转相应的检索到的物品图像。在一种示例性实施例中，占位物400包括中央矩形410，所述中央矩形410可以规定占位物400的初始检测。在一些实施例中，当占位物400在诸如礼堂或者户外环境的开放环境中被放置得距离摄像机很远时，增强现实系统100可以在其它独特标志之前初始检测中央矩形410。在其它示例性实施例中，中央矩形410可以用相对于占位物400来说尺寸较对大并且通常位于占位物400中央附近的任何设计来代替。如图4所示，占位物400包括用相异的颜色掩盖的阴影物体412和414，以提供用于检测占位物400的朝向、比例和距离的 占位物400的不同范围。增强现实系统可以采用阴影物体412和414来确定左右和深度维度的朝向。占位物400还可以包括线标志416、418、420和422，以协助增强现实系统改善占位物400的第三维度。在一种实施例中，第一和第二组线416和418内的线中每组都是等距的。第一和第二组线416和418可以提供物体的深度和缩放因子。通过已知的方法，增强现实系统可以基于任意或全部的箭头402、404、406及408、中央矩形410、阴影物体412和414以及线标志416、418、420和422来对图像进行定向和缩放。在一种实施例中，占位物400的独特标志可以包含识别标志424，所述识别标志424可以是检验所生成的占位物400是否与所选物品匹配时使用的物品识别信息。在其它的实施例中，这些附加的识别标志424可以包含或者可以參考与所选物品相关的附加信息，诸如，价格、库存以及与所选物品相关的建议物品。在一些示例性实施例中，在情景环境中，附加信息可以与物品的图像一起是可呈现的。在一些实施例中，附加的识别标志424可以有助于唯一地识别环境中ー个以上的占位物400，并因此允许在情景环境中同时呈现多个物品。在一些实施例中，识别标志424可以是ー维条形码、ニ维条形码或者任何其它与所选物品可唯一地关联的标志。在一些实施例中，可以生成不是与ー个特定物品可关联而是可以交替地用于代表多于ー个物品的占位物。图5A-B是根据一种示例性实施例的示例性用户界面502A和502B的截屏500A和500B，其中图示了摄像机捕捉的环境中的占位物550和情景环境中显示的作为结果的增强现实图像560。在一种实施例中，用户可以引导摄像机朝向诸如用户的客厅之类的位置，这可以为增强现实提供情景环境。用户界面502A图示了摄像机捕捉的环境(例如，客厅)的视觉画面504A。在一些实施例中，用户界面502A和502B可以包含选项按钮506、508和510。选项按钮506可被选择以增强现实，选项按钮508可被选择以购买物品，并且选项按钮510可被选择以对物品出价。例如，用户可以选择诸如灯之类的物品，并且调整摄像机的方向以观察用户想要放置灯的环境(例如，卧室)。该用户可以在客户端(例如，图I的处理系统110)选择增强现实选项按钮506以将输入与物品选择信息一起提供给服务器(例如，图I的服务器120)。服务器120可以为客户端(例如，处理系统110)提供生成信息以生成占位物，诸如图4中所描述的占位物400，并且该用户可以将该占位物放置到摄像机捕捉的环境中。截屏500A图示了图5A的用户界面502A，其中占位物550在视觉画面504A中的摄像机捕捉环境内可见。在服务器120处的图I的增强现实应用124接收从客户端设备(例如，处理系统110)可观察的(包含占位物550的视觉画面504A中所示的)摄像机捕捉环境的视觉数据。增强现实应用124检测与包含在该视觉数据中的占位物550相关联的占位物信息，并且通过该占位物信息确定放置信息。然后，增强现实应用124检索与该占位物550相关联的物品的图像。在一些实施例中，占位物550的独特标志可以用于确定哪个物品与该占位物相关联，或是可从物品的多个图像中选择物品的哪ー个图像。增强现实应用124为客户端设备(例如，处理系统110)提供修改后的视觉数据，包括与所选物品的检索到的图像相关联的图像数据。在一些实施例中，增强现实应用124用图像数据取代占位物信息，以诸如修改接收到的视觉数据并在视觉画面504B中可观察的摄像机捕捉的环境内显示该物品的替代图像。在一种示例性实施例中，如图5B中所示，增强现实应用124可以通过提供覆盖图像数据代替占位物信息来修改接收到的视觉数据，以诸如在视觉画面504B中可观察的摄像机捕捉的环境内显示物品图像的覆盖物(例如，增强现实图像560)图6示出了内部可执行ー组指令的计算机系统600的示例形式的机器的示意图，所述指令使该机器执行在此论述的任何ー个或多个方法。在替换的实施例中，该机器作为单机设备运行，或者可以与其它机器连接(例如，连网)。在网络化部署的情况下，该机器可以运行以具有服务器-客户端网络中的服务器或客户机的能力，或者作为端对端(或分布式)网络的对等机器来运行。该机器可以是个人计算机(PC)、平板电脑、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络家电、网络路由器、交換机或网桥，或者任何能够执行指定将被该机器采纳的特定动作的ー组指令(顺序的或其它方式的)的机器。此外，虽然只举例说明了多个机器，术语“机器”也还应理解为包括単独或共同执行在此论述的一个或多个方法的ー组(或多组)指令的机器的任何集合。示例性计算机系统600包括处理器602(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者都有)、主存储器604和静态存储器606，它们通过总线608彼此通信。计算机系统600还可以包括视频显示単元610 (例如，液晶显示器(IXD)或阴极射线管(CRT))。计算机系统600也包括字母数字输入设备612 (例如，键盘)、用户界面(UI)导航设备614(例如，光标控制设备)、盘驱动单元616、信号发生设备618 (例如，扬声器)和网络接ロ设备620。盘驱动单元616包括存储ー组或多组指令以及数据结构(例如，软件624)的机器可读介质622，所述指令及数据结构由在此描述的ー种或多种方法或功能使用或体现所述方法或功能。在由计算机系统600执行期间，软件624也可以完全或者至少部分地驻留在主存储器604和/或处理器602内部，也与主存储器604和处理器602 —起构成机器可读介质。软件624还可以利用多种众所周知的传输协议中的任意ー种(例如，超文本传输协议(HTTP))通过网络接ロ设备620在网络626上被发送或接收。尽管在示例性实施例中将机器可读介质622表示为单个介质，但是术语“机器可读介质”应被理解为包括存储ー组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。术语“机器可读介质”也应被理解为包括任何能够存储、编码或传送由机器执行的ー组指令并使机器能够执行本公开的实施例的任意ー种或多种方法、或者能够存储、编码或传送由这样ー组指令使用或与这样ー组指令相关联的数据结构的介质。术语“机器可读介质”因此被理解为包括但不限于固态存储器、光学和磁性介质和载波信号。这种介质也可以包括但不限于硬盘、软盘、闪存卡、数字视频光盘、随机存取存储器(RAM)、只读存储器(ROM)等等。在这里描述的实施例可以在包含在计算机上安装的软件的运行环境中、硬件中、或者在软件和硬件的组合中实现。这样，已描述了增强现实系统。虽然已经參考特定的示例性实施例描述了实施例，很明显，在不背离发明主题的较宽的主g和范围的情况下，可以对这些实施例进行多种修 改和改变。因此，本说明书及附图应被视为例示性而不是限制性的。
权利要求
1.一种系统，包括 视觉数据接收器模块，用于从客户端接收视觉数据； 检测模块，用于检测所述视觉数据中包含的占位物信息，所述占位物信息与占位物相关联; 放置确定模块，用于使用所述占位物信息确定放置信息； 检索模块，用于基于所述占位物的独特标志检索与所述占位物相关联的物品图像；和 修改模块，用于參考所述放置信息来修改接收到的视觉数据，从而将与检索到的图像相关联的图像数据包括到所述视觉数据中。
2.如权利要求I所述的系统，还包括 输入接收器模块，用于接收包含物品选择的输入；和 信息提供器模块，用于基于接收到的输入来提供用于生成所述占位物的生成信息。
3.如权利要求I所述的系统，其中，所述放置确定模块用于确定缩放因子。
4.如权利要求I所述的系统，其中，所述检索模块用于检测与所述占位物相关联的独特标志物。
5.如权利要求3所述的系统，其中，所述图像检索模块用于 确定物品的尺寸；和 利用确定后的物品尺寸和确定后的物品的缩放因子，修改该检索到的物品图像。
6.如权利要求I所述的系统，其中，所述检测模块还用于检测所述占位物的对比度和所述占位物的边界的变化中的至少ー个。
7.如权利要求I所述的系统，其中，所述修改模块还用于检索与物品相关联的信息以和物品图像一起显不。
8.如权利要求I所述的系统，其中，所述检索模块用于访问图像的数据库，并基于确定后的所述占位物的參数从物品的多个图像中选择物品图像。
9.如权利要求I所述的系统，其中，所述放置确定模块还用于基于所述占位物与摄像机之间的距离确定缩放因子，并基于所述占位物相对于摄像机的角度确定朝向因子。
10.一种计算机可执行方法，包括 从客户端接收视觉数据； 检测所述视觉数据中包含的占位物信息，所述占位物信息与占位物相关联； 使用所述占位物信息确定放置信息； 基于所述占位物的独特标志，检索与所述占位物相关联的物品的图像；和 使用处理器，參考所述放置信息来修改接收到的视觉数据，从而将与检索到的图像相关联的图像数据包括到所述视觉数据中。
11.如权利要求10所述的方法，还包括 接收包含物品选择的输入；和 基于接收到的输入提供用于生成所述占位物的生成信息。
12.如权利要求10所述的方法，其中，确定放置信息还包括基于所述放置信息确定缩放因子。
13.如权利要求12所述的方法，其中，检索与占位物相关联的物品的图像还包括參考确定后的缩放因子来选择所述图像。
14.如权利要求10所述的方法，其中，检索与占位物相关联的物品的图像还包括 确定所述物品的尺寸；和 參考所述物品的确定后的尺寸和确定后的缩放因子，修改检索到的物品的图像。
15.如权利要求12所述的方法，其中，确定缩放因子还包括检测所述占位物的对比度和边界部分的变化中的至少ー个。
16.如权利要求10所述的方法，其中，检索与占位物相关联的物品的图像还包括 访问图像的数据库；和 基于所述放置信息，从多个图像中选择物品的图像。
17.如权利要求10所述的方法，其中，修改接收到的视觉数据还包括用物品图像信息代替占位物信息。
18.如权利要求10所述的方法，其中，确定放置信息还包括 基于所述占位物与摄像机之间的距离确定缩放因子；和 基于所述占位物相对于摄像机的角度确定朝向因子。
19.如权利要求18所述的方法，其中，參考放置信息修改接收到的视觉数据从而包括检索到的图像还包括 參考缩放因子和朝向因子修改检索图像；和 用修改后的检索的图像数据修改接收到的视觉数据。
20.ー种包含指令的机器可读介质，当该指令由机器执行时使得机器执行以下操作 接收包括物品选择的输入； 基于接收到的输入提供用于生成占位物的生成信息； 从客户端接收视觉数据； 检测所述视觉数据中包含的占位物信息，所述占位物信息与所述占位物相关联； 使用所述占位物信息确定放置信息； 基于所述占位物的独特标志，检索与所述占位物相关联的物品的图像；和使用处理器，參考所述放置信息来修改接收到的视觉数据，从而将与检索到的图像相关联的图像数据包括到所述视觉数据中。
全文摘要
在为客户端提供用于在情景环境中显示的物品图像的系统和方法的示例性实施例中，用户选择用于在情景环境中显示的物品，并且该用户放置耦合到处理系统的摄像机用以捕捉情景环境。生成标志物并且该标志物与用户所选物品相关联。在示例性实施例中，将所生成的标志物放在情景环境内的位置，并且用户的处理系统向服务器发送摄像机所捕捉环境的视觉数据流。在示例性实施例中，用户的处理设备接收包含该物品的图像的修改后的数据流，并且用户的处理设备在与标志物相同的位置显示物品图像。
文档编号G09G5/00GK102667913SQ201080059424
公开日2012年9月12日 申请日期2010年12月21日 优先权日2009年12月22日
发明者埃里克·J·法拉洛, 约翰·泰普雷 申请人:电子湾有限公司
技术领域：
本申请通常涉及电子商务(e-commerce)领域,并且尤其涉及ー种计算机实现的 增强现实物品图像覆盖方法和系统。
背景技术：
在线购物和拍卖网站(例如电子商务公司)上的物品列表可能经常提供与要销售的物品相关的图像以补充该物品的文字描述。该图像可以是数字照片、图画的形式，或者在某些情况下可以是视频剪辑或这些形式的任意組合。对某些物品来说，可能有提供物品不同角度和视图的多个图像(例如数码照片)。在一些示例中，这些图像可以在情景环境中，诸如客厅中的沙发。在其他示例中，物品图像可以仅仅描述该物品而没有情景环境。
本发明的实施例通过示例而非限制方式在附图中被图示，其中相同的附图标记表示相同的元素，其中图I是网络的概略图示，在该网络中可以实现用于向处理系统提供修改后的视觉数据的示例性的增强现实系统；图2是根据一种示例性实施例的示例性的增强现实模块的框图；图3是根据示例性实施例的提供修改后的视觉数据的方法的流程图；图4是根据示例性实施例的用于增强现实系统的占位物的示例。图5A-B是根据一种实施例的示例性的示例性用户界面,所述示例性用户界面图示了摄像机捕捉环境中的占位物以及作为结果的情景环境中的增强现实显示；以及图6是计算机系统形式的示例性机器的示意图，在该计算机系统中可以执行ー组指令，用于使该机器执行在这里论述的方法中的任意ー种或多种。
具体实施例方式论述了这样的系统和方法，用于在物品即将出现在位于摄像机捕捉环境中位置时，在屏幕上显示物品图像。在下面的描述中，出于说明的目的，为了能够彻底理解本发明的实施例，阐述了许多特定的细节。然而，很明显对本领域技术人员来说，没有这些特定的细节也可以实施本发明。下面的详细说明包括对附图的參考，这些附图构成详细说明的一部分。附图示出了按照示例性实施例的图例。这些示例性实施例(它们在这里也称为“示例”)被充分详细地描述，以使得本领域技术人员能够实施本主題。实施例可以组合，可以利用其它的实施例，或者在不背离权利要求的范围的情况下可以做出结构上、逻辑上和电气上的改变。因此，下面的详细说明不应被理解为限制性的，范围由随附的权利要求及其等同物确定。增强现实通常是指通过计算机形成的影像创建混合虚拟和真实世界的环境。真实环境中的元素与虚拟图像在实时环境中混合在一起，从而为用户提供以其他方式无法完全获得的信息和视觉效果。在诸如在线交易平台之类的在线公布系统中，在卖方可发布供出售物品的场合，可能想要看看特定物品出现在用户指定位置上的样子以有助于用户做出购买決定。例如，正在考虑购买放在客厅的沙发的用户可能需要确定沙发要放在哪里，并且通常想确定这个沙发出现在客厅里的样子。用户也许希望在不实际拥有该沙发的情况下看到沙发出现在客厅里的样子。此外，用户可能更喜欢比较各种各样 的沙发，从房间中的不同角度去观察沙发看起来有什么不同，甚至在不物理地移动实际家具的情况下在沙发四周围绕其他物品以创造家具总体效果。在示例性实施例中，增强现实系统可以为用户提供这样的能力，在由摄像机捕捉的环境中(例如客厅)放置及重新放置虚拟的沙发(及附加物品，如果想要的话)，而不需要实际沙发的物理移动。在一种示例性实施例中，该方法允许用户在实际物品将要放置的位置上放置标志物(例如，诸如一片带有鲜明对比标志的纸张和独特物体之类的占位物)。该方法利用例如视频摄像机来记录在该位置中放置的标志物的图像，将捕捉到的图像发送到增强现实系统，并且接收在所选位置上放置的真实物品的图像。在各种实施例中，标志物(例如占位物)可以是具有独特标志的纸张(8. 5”X 11”)，并且用户可以下载、打印并且将它放置在该位置上。服务器从用户系统中接收在该位置的占位物的视频流，检测该占位物，并且向用户系统发送回用物品代替该标志物的修改后的视频流用以显示。在各种示例性实施例中，包含物品选择的输入从客户端被接收以生成占位物，并且用以生成该占位物的信息被提供给输入源(例如，该客户端)或具有输出功能的处理系统。占位物可能位于其中的摄像机捕捉环境的视频数据被接收。分析该输入以检测该占位物，井根据该分析检索图像。视觉数据被修改以包含与该图像相关联的图像数据，在ー些实施例中，所述可能是该图像的覆盖物，并且修改后的视觉数据可被提供给输入源(例如，用户的处理系统)或者另处理系统。在一些示例性实施例中，可以根据该分析来修改检索到的图像，以根据由占位物信息确定的放置信息和环境来对物品图像覆盖物进行缩放和定向。在一种示例性实施例中，占位物可以是打印出来的具有独特标志(例如，条形码、对比鮮明的图像、ニ维数据码)的纸张，该独特标志可由用户通过家庭计算机系统打印。在ー些示例性实施例中，该纸张也可以是由其它处理系统可识别的。在一些实施例中，单个的占位物可以通用于多个物品，并可交替地用于代表多个物品。例如，在用户希望在同一个位置比较第一物品和第二物品时，占位物可以可交替地代表第一和第二物品二者，不需要生成两个占位物。在一些实施例中，可以使用单个占位物，而无需将该占位物与任何特定物品关联起来。參考图I论述了ー种示例性增强现实系统。图I是网络的概略图示，在其中可以实现用于向处理系统110提供修改后的视觉数据的示例性增强现实系统100。如图所示，该增强现实系统100可以包括处理系统110和服务器120。在一种示例性实施例中，该服务器120可以托管(host)在线交易平台。处理系统110可以运行诸如网络浏览应用之类的应用116，并且可以通过网络130具有对服务器120的访问权。该网络130可以是公共网络(例如，互联网、无线网络等等)或者专用网络(例如，局域网(LAN)、广域网(WAN)、内部网等等)。在一种实施例中，基于网络的交易平台可以提供一种或多种市场环境应用、支付应用以及其他资源。市场环境应用可以向访问该市场环境的用户提供许多市场环境功能及服务。同样地， 支付应用可以向用户提供许多支付服务与功能。基于网络的交易平台可以显示在交易平台上列出的各种物品。然而，本说明书中论述的实施例不限于基于网络的交易平台。在另外的实施例中，可以使用其它的公布平台，诸如社交网站、新闻聚合网站、门户网站、基于网络的广告平台，或者任何其它向用户显示物品的系统。处理系统110可以包括用以捕捉情景环境(例如，客厅)的摄像机源112(例如，视频摄像机或者数字照相机)和用以呈现该情景环境的视觉输出114(例如，液晶显示器等)，并且，在一种示例性实施例中，该视觉输出用以呈现增强的环境。服务器120包括物品图像源122和增强现实应用124。在一些实施例中，可以将服务器120可通信地耦合到一个或多个数据库140，数据库可以存储物品图像142。在一种示例性实施例中，处理系统110可以向服务器120发送请求，以修改由摄像机源112捕捉到的情景环境。在ー些实施例中，来自处理系统110的请求可以包括用户所选物品。在一种实施例中，在服务器120处的增强现实应用124可以检测该请求，并且向处理系统110提供占位物生成信息，以生成与该用户所选物品相关联的占位物。一旦接收到占位物生成信息，控制处理系统110的用户可以例如通过打印由增强现实应用124提供的占位物的图像来产生占位物。在一些示例性实施例中，占位物可以是具有独特标志的普通信纸大小(例如，8. 5” XII”)的纸张，其示例在下面的图4中被图示并描述。该独特标志可以由增强现实应用124用于识别情景环境中的占位物以及确定由摄像机捕捉到的情景环境中的用户所选物品的期望位置。在一些实施例中，可以利用显示具有独特标志的占位物的辅助显示设备(例如，移动电话显示器)来生成占位物。在其它的实施例中，用户可以利用占位物生成信息、通过在诸如纸张或者三维物体之类的物体上对该独特标志进行绘制和/或涂色来物理地创建占位物。在一些实施例中，除了用户所选物品之外，基于所接收到的由摄像机收集的视觉数据，可以定制占位物生成信息及相关独特标志，以容纳环境的元素。例如，可以通过考虑环境(例如，房间)的尺寸来产生占位物生成信息。在另ー种示例性实施例中，增强现实应用124可以接收并处理从处理系统110及可通信地耦合到处理系统Iio的摄像机源112接收的视觉数据，并将修改后的视觉数据提供回处理系统110。例如，摄像机源112可以收集占位物位于其中的情景环境的视觉数据。在一些实施例中，应用116之一可以接收视觉数据。应用116可以通过网络130向服务器120的增强现实应用124提供视觉数据。增强现实应用124可以分析视觉数据以检测与位于捕捉到的情景环境内的占位物相关联的占位物信息，并且也可以由该占位物信息确定放置信息。基于占位物信息、放置信息或其任意组合，增强现实应用124可以从服务器120的物品图像源122中检索图像。在一些实施例中，增强现实应用124从可通信地耦合到服务器120的数据库140中存储的物品图像142中检索该图像。增强现实应用124随后可以修改该视觉数据，以使其包括与所检索的物品图像相关联的图像数据。在一些实施例中，增强现实应用124可以基于所确定的放置信息、用修改后的图像数据来修改视觉数据。在ー些实施例中，增强现实应用124随后向处理系统110提供修改后的视觉数据，以在视觉输出114上进行视觉显示。在一些实施例中，处理系统110可以包括物品图像源，诸如在处理系统110上存储的物品图像库。在一种示例性实施例中，用户可以通过摄像机源112(例如，数字照相机)创建ー个或多个物品的图像库。在一种实施例中，在服务器120上托管的应用可以用于识别图像中描绘的物品(见美国专利申请序列No. 12/371，882)，并且增强现实应用124可以向处理系统提供来自服务器120的占位物生成信息。在一些示例性实施例中，处理系统110可以托管增强现实应用124，并且可以在不使用网络130和服务器120的情况下向诸如处理系统110提供修改后的视觉数据。图2是根据一种示例性实施例的示例性增强现实模块210的框图200。如图2所示，增强现实模块210包括输入接收器模块220、信息提供器模块222、视觉数据接收器模块224、检测模块226、放置确定模块228、检索模块230以及修改模块232。增强现实系统的这 些模块可以通过总线240可通信地耦合到其它模块。输入接收器模块220可被配置为接收开始增强现实应用(例如，图I的增强现实应用124)的请求。该请求可以包括与被选物品相关联的物品信息。在一种实施例中，输入接收器模块220可被配置为接收来自诸如图I的处理系统110之类的源的请求(例如，输入)。输入接收器模块220可被配置为接收来自处理器系统的附加信息，诸如，例如摄像机技术规范、所捕捉的情景环境的照明和尺寸信息、数据传输率、帧刷新率、以及处理系统110的其他技术规范和本领域普通技术人员所熟知的环境參数。信息提供器模块222可被配置为基于从输入接收器模块220接收到的请求和物品信息来确定占位物生成信息。占位物生成信息可以包括生成占位物的指令(例如，机器可读指令)。在一些实施例中，占位物生成信息可以是机器可读信息，诸如，例如电子文档。在一种实施例中，信息提供器模块222可以产生可递送到请求源(例如，处理系统110)或者任何其它处理系统的文件。例如，信息提供器模块222可以以任意ー种格式或几种格式的组合(例如，便携式文档格式(PDF)、微软的WORD文档、联合图像专家组(JPEG)格式等等)生成电子文档或图像文件。在操作中，用户可以与处理系统交互以选择物品列表。该用户可以发送生成用于在环境中放置的占位物的请求。输入接收器模块220可以接收该请求，在一些实施例中，该请求可以包括识别用户所选物品列表的信息，并且信息提供器模块222可以生成电子文档并且将该文档递送到请求源(例如，处理系统110)。在一些实施例中，生成占位物的请求可以包括所选物品列表。在一些实施例中，用户可以接收占位物生成指令而不选择或发送生成占位物的请求。视觉数据接收器模块224从诸如处理系统110之类的客户端接收视觉数据，该客户端可通信地耦合到诸如数字照相机、视频摄像机(例如，网络摄像头)等等摄像机。在示例性实施例中，用户可以放置摄像机以捕捉并观察情景环境，该用户可能想要在该情景环境中查看物品出现在该环境中的样子。在一些实施例中，视觉数据接收器模块224可以处理摄像机捕捉到的一部分或者全部视觉数据，以确定视觉环境的參数。例如，视觉数据接收器模块224可以确定捕捉环境的參数，包括照明、角度、尺寸、重力朝向等等，并且可以确定摄像机的细节，诸如帧刷新率、变焦能力、摄像机型号信息等等。检测模块226检测可能包含在接收到的视觉数据中的占位物信息。在一种实施例中，占位物信息(例如，用以生成文档的机器可读指令)与摄像机的可观察位置内(例如，在摄像机捕捉到的情景环境内)放置的占位物相关联，该摄像机与处理系统(例如，客户端设备)可通信地耦合，处理系统在视觉数据接收器模块224处向增强现实模块210提供由摄像机接收到的视觉数据。在示例中，占位物的独特标志可以由耦合到处理系统的摄像机捕捉，然后这些独特标志可以被检测模块226进行检测为代表捕捉环境中的占位物。在一种实施例中，检测模块226可被配置为解析从视觉数据接收器模块224接收的视觉数据，以确定接收到的视觉数据在视觉数据内是否包含占位物信息。在一些实施例中，检测模块226可以验证占位物信息，以例如确定该占位物信息与输入接收器模块220处接收的被选物品是否匹配。在一些实施例中，检测模块226可被配置为在占位物信息与所选物品不匹配时通知客户端(例如，处理系统110)。在一种示例中，检测模块226可以向客户端源提供建议，以诸如重新创建占位物、重新放置占位物等等。放置确定模块228可被配置为使用与视觉数据一起接收到的占位物信息来确定占位物的放置信息。在一种实施例中，放置确定模块228可以基于占位物信息来确定与该 占位物相关联的各种特征。例如，放置确定模块228可以确定包括由摄像机捕捉到的情景环境中的占位物的坐标和大体位置在内的特征，并且可以确定朝向、缩放因子、照明效果以及在情景环境中遮挡占位物的任何遮挡物等等。在一种示例性实施例中，放置确定模块228可被配置为向检索模块230提供包含特征的放置信息。在一种示例性实施例中，放置确定模块228可被配置为基于占位物的独特标志确定占位物的放置信息。这些独特标志可以如上文所述由检测模块226检测。检索模块230可被配置为在检测到由摄像机捕捉到的占位物的图像时检索物品的图像。检索模块230可以基于占位物的独特标志检索图像。在检索被选物品的图像时，检索模块230可以结合从检测模块226和放置确定模块228接收到的信息。在一种实施例中，检索模块230可以如上文所述基于从占位物信息确定的和从放置确定模块228接收到的占位物的被确定的特征来从物品的多个图像中选择图像。在一种示例性实施例中，检索模块230可以利用所确定的特征从多个图像中选择最适合的图像。在一些实施例中，检索模块230可以检索或确定物品诸如高度、长度以及宽度等物理尺寸，并且可以根据物品的物理尺寸和/或占位物的特征，从多个图像中选择最适合的图像。在一种示例中，检索模块230可被配置为根据物品的物理尺寸和占位物的特征，修改与检索到的图像相关联的图像数据，以诸如在情景环境中代表按比例缩放并且定向的图像。修改模块232可被配置为根据放置信息来修改所接收的视觉数据，以使视觉数据中包含与所检索的图像相关联的图像数据。在一些实施例中，修改模块232可被配置为修改所接收的视觉数据，以使其包含由检索模块230生成的修改后的视觉数据。在一种示例性实施例中，修改模块232可以向提供物品选择和/或对增强现实的选择的客户端(例如，处理系统110)返回修改后的视觉数据。应该注意的是，尽管图2示出了独立于其他模块的特定模块，但是其它实施例可以在单个的部件内包含一个或多个模块。另外，可以提供这样的实施例作为单个模块的图2所示部件可以被实现为两个或多个部件。參考图3-6论述由增强现实模块210执行的各种操作。图3是根据一种示例性实施例的用以提供修改后的视觉数据的方法300的流程图。方法300可以通过处理逻辑来执行，处理逻辑可以包含硬件(例如，专用逻辑、可编程逻辑、微码等等)、(诸如在通用计算机系统或者专用机器上运行的)软件或两者的组合。在一种示例性实施例中，处理逻辑可以以图I中的增强现实应用124的形式驻留在图I中所示的服务器120处。如图3中所示，方法300开始于操作310，此时服务器120从客户端(例如，图I的处理系统110)接收输入，该输入包含物品选择。在操作320，方法300可以基于接收到的输入提供用以生成占位物的生成信息。该生成信息可被提供给处理系统110，以允许用户利用打印机生成占位物或者利用视觉显示设备(例如，移动电话屏幕、摄相机屏幕等等)观察占位物。图4中示出了占位物的ー种示例，下面将详细说明。在操作330，方法300接收来自客户端(例如，处理系统110)的视觉数据。在一 种实施例中，视觉数据可以由与客户端可通信地耦合的摄像机捕捉。在操作340，方法300检测包括在视觉数据中的占位物信息；该占位物信息与由摄像机捕捉到的情景环境中放置的占位物相关联。在操作350，方法300利用占位物信息确定放置信息。在操作360，方法300基于占位物检索与该占位物相关联的物品的图像。在操作370，方法300參照放置信息修改接收到的视觉数据，以将与检索到的图像相关联的图像数据包含到视觉数据中。在示例中，可以修改检索到的图像，以使捕捉到的环境的各个尺寸、朝向等与由检索图像所代表的物品的尺寸、朝向等一致。在一些实施例中，方法300的操作370可以给在操作310处提供输入的客户端(例如，处理系统110)提供修改后的视觉数据。现在用户可以以在环境中出现的样子来观察物品。图4是根据一种示例性实施例的、用于增强现实系统100 (例如，都在图I中的处理系统110、服务器120和网络130)的物理占位物400的示例。在一种示例中，在接收到包括物品选择的输入时，增强现实系统100为该输入所源自的客户端源或者一些实施例中的任意其它处理系统(例如，移动电话)提供生成信息以生成具有独特标志402-424的占位物400。如前所述，生成信息可以是文档、图像、计算机可读指令等，以用于利用诸如打印机(例如，在可打印的印刷品的情况下)或显示屏幕(例如，移动电话的显示屏幕，在不可打印的数字文件的情况下)之类的渲染仪器来生成占位物400。在一些实施例中，占位物400可以是具有独特标志402-424的标准纸张(例如，尺寸约为8. 5” X 11”)。在其它的实施例中，占位物400可以是电子形式的可显示指令集，用以在移动电话或者辅助显示屏幕上进行显示。在其它的实施例中，占位物400可以是三维物体。占位物400可以包括箭头402、404、406及408中的任意ー个或多个，这些箭头为增强现实系统100提供占位物400的向上和向下的朝向，以例如在由摄像机捕捉时确定占位物400的朝向。在一种实施例中，增强现实系统100可以用箭头402、404、406及408的任意组合来校准处理系统110的图I的摄像机源112。在一种示例性实施例中，箭头402、404,406及408可以以顺时针方向形成，从而允许增强现实系统100首先确定顶边与底边朝向。当页面翻转时，由增强现实系统100确定的朝向可以翻转180°。在一种示例性实施例中，任何有方向的可区分的形状都可以取代箭头402、404、406及408中的ー个或多个。在一种实施例中，当从原来的朝向沿着不同的轴旋转页面时，增强现实系统100可以利用箭头402、404、406及408来在占位物400的四个角之间进行区分。在示例中，当用户在摄像机捕捉到的环境中旋转占位物400吋，增强现实系统100检测该旋转，并且在图I的视觉输出114上呈现情景环境中的物品时，旋转相应的检索到的物品图像。在一种示例性实施例中，占位物400包括中央矩形410，所述中央矩形410可以规定占位物400的初始检测。在一些实施例中，当占位物400在诸如礼堂或者户外环境的开放环境中被放置得距离摄像机很远时，增强现实系统100可以在其它独特标志之前初始检测中央矩形410。在其它示例性实施例中，中央矩形410可以用相对于占位物400来说尺寸较对大并且通常位于占位物400中央附近的任何设计来代替。如图4所示，占位物400包括用相异的颜色掩盖的阴影物体412和414，以提供用于检测占位物400的朝向、比例和距离的 占位物400的不同范围。增强现实系统可以采用阴影物体412和414来确定左右和深度维度的朝向。占位物400还可以包括线标志416、418、420和422，以协助增强现实系统改善占位物400的第三维度。在一种实施例中，第一和第二组线416和418内的线中每组都是等距的。第一和第二组线416和418可以提供物体的深度和缩放因子。通过已知的方法，增强现实系统可以基于任意或全部的箭头402、404、406及408、中央矩形410、阴影物体412和414以及线标志416、418、420和422来对图像进行定向和缩放。在一种实施例中，占位物400的独特标志可以包含识别标志424，所述识别标志424可以是检验所生成的占位物400是否与所选物品匹配时使用的物品识别信息。在其它的实施例中，这些附加的识别标志424可以包含或者可以參考与所选物品相关的附加信息，诸如，价格、库存以及与所选物品相关的建议物品。在一些示例性实施例中，在情景环境中，附加信息可以与物品的图像一起是可呈现的。在一些实施例中，附加的识别标志424可以有助于唯一地识别环境中ー个以上的占位物400，并因此允许在情景环境中同时呈现多个物品。在一些实施例中，识别标志424可以是ー维条形码、ニ维条形码或者任何其它与所选物品可唯一地关联的标志。在一些实施例中，可以生成不是与ー个特定物品可关联而是可以交替地用于代表多于ー个物品的占位物。图5A-B是根据一种示例性实施例的示例性用户界面502A和502B的截屏500A和500B，其中图示了摄像机捕捉的环境中的占位物550和情景环境中显示的作为结果的增强现实图像560。在一种实施例中，用户可以引导摄像机朝向诸如用户的客厅之类的位置，这可以为增强现实提供情景环境。用户界面502A图示了摄像机捕捉的环境(例如，客厅)的视觉画面504A。在一些实施例中，用户界面502A和502B可以包含选项按钮506、508和510。选项按钮506可被选择以增强现实，选项按钮508可被选择以购买物品，并且选项按钮510可被选择以对物品出价。例如，用户可以选择诸如灯之类的物品，并且调整摄像机的方向以观察用户想要放置灯的环境(例如，卧室)。该用户可以在客户端(例如，图I的处理系统110)选择增强现实选项按钮506以将输入与物品选择信息一起提供给服务器(例如，图I的服务器120)。服务器120可以为客户端(例如，处理系统110)提供生成信息以生成占位物，诸如图4中所描述的占位物400，并且该用户可以将该占位物放置到摄像机捕捉的环境中。截屏500A图示了图5A的用户界面502A，其中占位物550在视觉画面504A中的摄像机捕捉环境内可见。在服务器120处的图I的增强现实应用124接收从客户端设备(例如，处理系统110)可观察的(包含占位物550的视觉画面504A中所示的)摄像机捕捉环境的视觉数据。增强现实应用124检测与包含在该视觉数据中的占位物550相关联的占位物信息，并且通过该占位物信息确定放置信息。然后，增强现实应用124检索与该占位物550相关联的物品的图像。在一些实施例中，占位物550的独特标志可以用于确定哪个物品与该占位物相关联，或是可从物品的多个图像中选择物品的哪ー个图像。增强现实应用124为客户端设备(例如，处理系统110)提供修改后的视觉数据，包括与所选物品的检索到的图像相关联的图像数据。在一些实施例中，增强现实应用124用图像数据取代占位物信息，以诸如修改接收到的视觉数据并在视觉画面504B中可观察的摄像机捕捉的环境内显示该物品的替代图像。在一种示例性实施例中，如图5B中所示，增强现实应用124可以通过提供覆盖图像数据代替占位物信息来修改接收到的视觉数据，以诸如在视觉画面504B中可观察的摄像机捕捉的环境内显示物品图像的覆盖物(例如，增强现实图像560)图6示出了内部可执行ー组指令的计算机系统600的示例形式的机器的示意图，所述指令使该机器执行在此论述的任何ー个或多个方法。在替换的实施例中，该机器作为单机设备运行，或者可以与其它机器连接(例如，连网)。在网络化部署的情况下，该机器可以运行以具有服务器-客户端网络中的服务器或客户机的能力，或者作为端对端(或分布式)网络的对等机器来运行。该机器可以是个人计算机(PC)、平板电脑、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络家电、网络路由器、交換机或网桥，或者任何能够执行指定将被该机器采纳的特定动作的ー组指令(顺序的或其它方式的)的机器。此外，虽然只举例说明了多个机器，术语“机器”也还应理解为包括単独或共同执行在此论述的一个或多个方法的ー组(或多组)指令的机器的任何集合。示例性计算机系统600包括处理器602(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者都有)、主存储器604和静态存储器606，它们通过总线608彼此通信。计算机系统600还可以包括视频显示単元610 (例如，液晶显示器(IXD)或阴极射线管(CRT))。计算机系统600也包括字母数字输入设备612 (例如，键盘)、用户界面(UI)导航设备614(例如，光标控制设备)、盘驱动单元616、信号发生设备618 (例如，扬声器)和网络接ロ设备620。盘驱动单元616包括存储ー组或多组指令以及数据结构(例如，软件624)的机器可读介质622，所述指令及数据结构由在此描述的ー种或多种方法或功能使用或体现所述方法或功能。在由计算机系统600执行期间，软件624也可以完全或者至少部分地驻留在主存储器604和/或处理器602内部，也与主存储器604和处理器602 —起构成机器可读介质。软件624还可以利用多种众所周知的传输协议中的任意ー种(例如，超文本传输协议(HTTP))通过网络接ロ设备620在网络626上被发送或接收。尽管在示例性实施例中将机器可读介质622表示为单个介质，但是术语“机器可读介质”应被理解为包括存储ー组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。术语“机器可读介质”也应被理解为包括任何能够存储、编码或传送由机器执行的ー组指令并使机器能够执行本公开的实施例的任意ー种或多种方法、或者能够存储、编码或传送由这样ー组指令使用或与这样ー组指令相关联的数据结构的介质。术语“机器可读介质”因此被理解为包括但不限于固态存储器、光学和磁性介质和载波信号。这种介质也可以包括但不限于硬盘、软盘、闪存卡、数字视频光盘、随机存取存储器(RAM)、只读存储器(ROM)等等。在这里描述的实施例可以在包含在计算机上安装的软件的运行环境中、硬件中、或者在软件和硬件的组合中实现。这样，已描述了增强现实系统。虽然已经參考特定的示例性实施例描述了实施例，很明显，在不背离发明主题的较宽的主g和范围的情况下，可以对这些实施例进行多种修 改和改变。因此，本说明书及附图应被视为例示性而不是限制性的。
权利要求
1.一种系统，包括 视觉数据接收器模块，用于从客户端接收视觉数据； 检测模块，用于检测所述视觉数据中包含的占位物信息，所述占位物信息与占位物相关联; 放置确定模块，用于使用所述占位物信息确定放置信息； 检索模块，用于基于所述占位物的独特标志检索与所述占位物相关联的物品图像；和 修改模块，用于參考所述放置信息来修改接收到的视觉数据，从而将与检索到的图像相关联的图像数据包括到所述视觉数据中。
2.如权利要求I所述的系统，还包括 输入接收器模块，用于接收包含物品选择的输入；和 信息提供器模块，用于基于接收到的输入来提供用于生成所述占位物的生成信息。
3.如权利要求I所述的系统，其中，所述放置确定模块用于确定缩放因子。
4.如权利要求I所述的系统，其中，所述检索模块用于检测与所述占位物相关联的独特标志物。
5.如权利要求3所述的系统，其中，所述图像检索模块用于 确定物品的尺寸；和 利用确定后的物品尺寸和确定后的物品的缩放因子，修改该检索到的物品图像。
6.如权利要求I所述的系统，其中，所述检测模块还用于检测所述占位物的对比度和所述占位物的边界的变化中的至少ー个。
7.如权利要求I所述的系统，其中，所述修改模块还用于检索与物品相关联的信息以和物品图像一起显不。
8.如权利要求I所述的系统，其中，所述检索模块用于访问图像的数据库，并基于确定后的所述占位物的參数从物品的多个图像中选择物品图像。
9.如权利要求I所述的系统，其中，所述放置确定模块还用于基于所述占位物与摄像机之间的距离确定缩放因子，并基于所述占位物相对于摄像机的角度确定朝向因子。
10.一种计算机可执行方法，包括 从客户端接收视觉数据； 检测所述视觉数据中包含的占位物信息，所述占位物信息与占位物相关联； 使用所述占位物信息确定放置信息； 基于所述占位物的独特标志，检索与所述占位物相关联的物品的图像；和 使用处理器，參考所述放置信息来修改接收到的视觉数据，从而将与检索到的图像相关联的图像数据包括到所述视觉数据中。
11.如权利要求10所述的方法，还包括 接收包含物品选择的输入；和 基于接收到的输入提供用于生成所述占位物的生成信息。
12.如权利要求10所述的方法，其中，确定放置信息还包括基于所述放置信息确定缩放因子。
13.如权利要求12所述的方法，其中，检索与占位物相关联的物品的图像还包括參考确定后的缩放因子来选择所述图像。
14.如权利要求10所述的方法，其中，检索与占位物相关联的物品的图像还包括 确定所述物品的尺寸；和 參考所述物品的确定后的尺寸和确定后的缩放因子，修改检索到的物品的图像。
15.如权利要求12所述的方法，其中，确定缩放因子还包括检测所述占位物的对比度和边界部分的变化中的至少ー个。
16.如权利要求10所述的方法，其中，检索与占位物相关联的物品的图像还包括 访问图像的数据库；和 基于所述放置信息，从多个图像中选择物品的图像。
17.如权利要求10所述的方法，其中，修改接收到的视觉数据还包括用物品图像信息代替占位物信息。
18.如权利要求10所述的方法，其中，确定放置信息还包括 基于所述占位物与摄像机之间的距离确定缩放因子；和 基于所述占位物相对于摄像机的角度确定朝向因子。
19.如权利要求18所述的方法，其中，參考放置信息修改接收到的视觉数据从而包括检索到的图像还包括 參考缩放因子和朝向因子修改检索图像；和 用修改后的检索的图像数据修改接收到的视觉数据。
20.ー种包含指令的机器可读介质，当该指令由机器执行时使得机器执行以下操作 接收包括物品选择的输入； 基于接收到的输入提供用于生成占位物的生成信息； 从客户端接收视觉数据； 检测所述视觉数据中包含的占位物信息，所述占位物信息与所述占位物相关联； 使用所述占位物信息确定放置信息； 基于所述占位物的独特标志，检索与所述占位物相关联的物品的图像；和使用处理器，參考所述放置信息来修改接收到的视觉数据，从而将与检索到的图像相关联的图像数据包括到所述视觉数据中。
全文摘要
在为客户端提供用于在情景环境中显示的物品图像的系统和方法的示例性实施例中，用户选择用于在情景环境中显示的物品，并且该用户放置耦合到处理系统的摄像机用以捕捉情景环境。生成标志物并且该标志物与用户所选物品相关联。在示例性实施例中，将所生成的标志物放在情景环境内的位置，并且用户的处理系统向服务器发送摄像机所捕捉环境的视觉数据流。在示例性实施例中，用户的处理设备接收包含该物品的图像的修改后的数据流，并且用户的处理设备在与标志物相同的位置显示物品图像。
文档编号G09G5/00GK102667913SQ201080059424
公开日2012年9月12日 申请日期2010年12月21日 优先权日2009年12月22日
发明者埃里克·J·法拉洛, 约翰·泰普雷 申请人:电子湾有限公司
最新回复(0)