增强现实的设备和方法
增强现实的设备和方法
【技术领域】
[0001]本发明涉及一种用于增强现实体验的设备和方法，尤其涉及一种用于在具有摄像机的手持装置中提供增强现实体验的设备和方法。
【背景技术】
[0002]增强现实正在各种平台上使用，包括电视机，平视显示器，以及在一定的程度上的手持装置，比如手机。在增强现实中，使用计算机产生的输入来增强对现实世界环境的观察。
[0003]手持设备比如手机，摄像机的使用已经通过小的专业的下载程序的应用而提高，这些小的专业下载程序非正式地称为应用程序(apps)。许多这些应用程序包括计算机产生的视觉效果，该视觉效果可以通过摄像机，与“实时视图”结合，为用户提供用于改进图像或娱乐的增强现实的程度。然而，由于大多数手持装置的处理能力有限，并缺乏具有内置框架的功能代码库，因此将录像片段合并到摄像机的实时视图内被认为较为困难。
【发明内容】
[0004]本发明的实施例目的在于，提供一种用于将明显地移动着的图像合并入手持装置的实时摄像机视图内的设备和方法。
[0005]本发明由所附的独立权利要求来限定，在所述独立权利要求中将会涉及。进一步地，优选的特征可在从属权利要求中找到。
[0006]根据本发明的一个方面，提供了一种用于在具有摄像机的手持装置的显示器上显示增强现实的设备，所述设备包括背景识别单元、虚拟图像检索单元以及虚拟图像定位单元，所述背景识别单元用于识别由所述装置捕获的至少一幅真实图像的背景，所述虚拟图像检索单元用于在显示器中选择和显示虚拟图像，所述虚拟图像定位单元用于在显示器中定位所述虚拟图像，其中，所述设备被设置为显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0007]优选地，所述虚拟图像为已经预先存储的虚拟图像。
[0008]在优选的设置中，所述虚拟图像包括一系列静止图像，所述静止图像取自移动视频。
[0009]替代性地或附加地，所述虚拟图像可包括连续的移动视频图像。
[0010]所述虚拟图像可包括人或动物的图像，或可以为任何其他“现实世界”对象或项目。
[0011]在优选的实施例中，所述背景识别单元用于以通过比较视场中至少一个对象和来自多个对象中的储存数据来识别背景。优选地，所述图像检索单元用于根据由所述背景识别单元确定的背景信息，来从多个存储图像中选择一幅图像。优选地，所述定位单元用于根据由所述背景识别单元确定的背景信息，来定位所述虚拟图像。
[0012]通过所述定位单元的图像的定位可包括在显示器中调整所述图像大小，还可包括相对于由所述背景识别单元确定的背景信息而在显示器中锚定所述图像。
[0013]所述背景识别单元和/或所述虚拟图像检索单元，和/或所述虚拟图像定位单元可包括进程，所述进程在使用中被设置为由一个或多个电子处理装置来执行。
[0014]本发明也包括一种在具有摄像机的手持装置的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，以及在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0015]优选地，所述虚拟图像为已经预先存储的虚拟图像。
[0016]在优选的设置中，所述虚拟图像包括一系列静止图像，所述静止图像取自移动视频。
[0017]在优选的实施例中，所述方法包括通过比较视场中的至少一个对象和多个对象中的储存数据，来识别背景。优选地，所述方法包括根据所述背景识别单元确定的背景信息，从多个存储图像中选择一幅图像。优选地，所述方法也包括根据所述背景识别单元确定的背景信息，定位所述虚拟图像。
[0018]通过所述定位单元的图像的定位可包括在显示器中调整所述图像大小，还可包括相对于由所述背景识别单元确定的背景信息而在显示器中锚定所述图像。
[0019]本发明也包括一种程序，该程序用于致使一个装置执行在具有摄像机的手持设备的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，以及在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0020]所述程序可包含在app中。所述app也可包含数据，比如虚拟图像数据。
[0021]所述虚拟图像可包括一系列静止图像，所述静止图像取自移动视频。
[0022]本发明也包括一种计算机程序产品，该产品中存储、携带或传输程序、或通过一程序而用于致使一个装置执行在具有摄像机的手持设备的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，并在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0023]所述虚拟图像可包括一系列静止图像，所述静止图像取自移动视频。
[0024]本发明还包括这里提及的特征或限制的任何结合，除了互相排斥的特征的结合。
【附图说明】
[0025]通过例举的方式，现在仅参考附图描述本发明的优选实施例:
图1展示了根据本发明的一个优选实施例中，虚拟图像叠加在真实图像的摄像机视图上;
图2简要地展示了根据本发明的一个实施例，背景识别过程中第一步骤；
图3和3a表示了背景识别过程中替换的第一步骤的示意图，在所述替换的第一步骤中，摄像机实时视图中有多个可见对象；
图4简要地展示了用在本发明一个实施例中的动画技术；
图5简要地展示了根据本发明的一个实施例的定位过程； 图6展示了根据本发明实施例的用于虚拟图像的可选的用户控制的示意图；
图7表示了图6图像中的锚定过程中的第一步骤；
图8表示了图7的锚定过程中的另一步骤；
图9展示了根据本发明的一个实施例的替换锚定过程；
图10展示了根据本发明的一个实施例，对虚拟图像自动调整大小过程的示意图；
图11简要地展示了替换方案中对虚拟图像自动调整大小的过程的示意图；
图12-15展示了根据本发明的一个实施例，拍摄合并的真实图像和虚拟图像的照片的过程的不同步骤；
图16简要地展示了用于获取合并的真实图像和虚拟图像的视频片段的过程；
图17为根据本发明的一个实施例，在摄像机的实时视图中显示虚拟图像的过程的一些关键步骤的流程示意图。
[0026]
【具体实施方式】
[0027]以下描述的实施例的目的在于提供增强现实体验给手持装置的用户，比如手机，其结合了电子处理器、摄像机和显示器。尤其地，取自视频片段的图像和实时摄像机视图一起显示在手持装置的显示器中，以创建视频中的物体即虚拟活动图像实时存在于摄像机的视场中的幻象。
[0028]关于这点，术语“现实世界”图像表示取自现实的图像，比如使用电子照片捕获技术获得的例如视频记录的物理现实世界情景。
[0029]为此，装置必须进行各种处理，包括从摄像机视图中 获取背景信息，得到恰当的虚拟图像，在摄像机视图中定位该虚拟图像，可选地相对于背景地随意地锚定虚拟图像，以及可选地在摄像机视图中调整该虚拟图像大小。
[0030]这些处理可由手持装置的电子处理器执行。
[0031]用于重构虚拟活动图像的必要数据，连同用于促进要操作其来提供增强现实体验的必要处理的一个或多个程序，以专用程序或软件应用的形式、如众所周知的app，被下载到手持装置中。优选地，可以更新app来呈现新的视觉体验给用户。
[0032]下面详细描述的第一实施例是用作旅游景点导游的增强现实系统，在该系统中，将人物的虚拟图像显示在现实世界摄像机视图中，通过相关的音频文件，来提供关于景点的信息。
[0033]参见图1，图1简要地展示了手持装置的摄像机10，在这种情况下，摄像机10瞄准了著名对象12，该对象12对于设备来说是可识别的，以及瞄准了扮演历史人物的男演员的活动虚拟图像14，选择男演员是因为其和对象12关联。装置基于一组独特的矩阵点12a识别出在这种情况下为雕塑的对象，这些矩阵点12a已在早些阶段储存在下载的app中，且这些矩阵点12a能为设备提供背景信息，该背景信息对后续的虚拟图像14的选择、显示和操作是必要的。
[0034]活动虚拟图像14作为取自视频文件的一系列静止图像而储存在装置中，并在下载app、以及在确定背景之后选择了恰当的一音频文件时，与该恰当的音频文件同步。
[0035]看图2，图2表示了所选择的虚拟图像14，虚拟图像14显示在装置的摄像机视图中，在对象12的旁边。
[0036]图3展示了装置检测多个对象的场景。在这种情况下，检测对象12，并检测另外的对象16和18。装置显示所有的三个对象，连同叠加在三个对象上的各自的虚拟按钮，从而用户可以通过触摸屏幕上恰当的按钮来选择感兴趣的对象，如图3a所示。
[0037]图4简要地展示了一种用于使虚拟图像动画化的方法。该方法使用早已存在的技术，即在绿光屏背景上(未示出)将活动图像切割成一系列静止帧20。接着，该装置随后回放这一系列的静止图像，必要时去除绿光屏背景。当单独的图像以大于每秒6帧的速度更替时，人类眼睛将它们作为连续的活动图像。可选地为MP3格式的音轨和动画同步播放，以加强连续视频片段的幻象。在该实施例中，动画形象是罗马士兵，他的评论和动作和通过摄像机显示观察到的景点有关。
[0038]图5简要地展示了一种用于相对于对象12定位图像14的技术。在特定的app生成过程中，当第一次调查特定场景时，创意总监基于一系列艺术和实际因素将为虚拟图像选择最佳位置。一旦选择了最佳位置，系统使用三角法计算图像在现实世界空间坐标X，y和z相对于对象12的位置。另一种是在对象中确定零点，并使用从零点开始的绝对坐标X，y和/或z来定位图像。
[0039]图6展示了用户如何相对于对象重新调整图像的大小或重新定位图像。可以使用食指和拇指捏和摊开技术22，同时触摸屏幕来调整图像的大小。可以使用拖放技术24来移动图像，也能通过双指双击技术26来激活或释放锚定系统(下面描述)。在播放模式中，也提供虚拟暂停按钮28，该虚拟暂停按钮28在暂停模式时转换为虚拟播放按钮(未示出)。
[0040]为了保持人物实际上存在于景点旁边的幻象，必要的是，人物即图像14的位置空间上应相对于对象12锚定。这是因为通过摄像机观察对象和虚拟图像的同时如果用户移动时，相对于摄像机屏幕固定的图像很快不能保持真实的幻象。
[0041]图7示意了本发明的一个实施例的锚定系统。该系统使用预定义的算法来寻找对象，该对象可以是突出的，也可以是在摄像机视图中有明确形状的。一旦几个对象的位置确定，系统使用高级三角法技术评估在摄像机视图中显示的场景，并分配比例数据给虚拟图像。接着，系统在X，y和Z方向上相对于其现实世界背景来锁定该图像。
[0042]图8更详细地示意了根据本发明上述实施例的锚定系统。首先，标签30表示锚定系统已经激活。接着，装置动态地检测到摄像机视图的最近对象32。在这种情况下，所使用的方法是通过检测模式的算法来识别对象，而不是使用预处理的矩阵点(根据图1的例子)。这使得算法寻找现实世界对象，根据该对象，能锚定性能即虚拟图像。例如，算法能识别斯诺克台(snooker table)的四个边缘。这允许了改进的锚定技术，因为创建了基于特定对象或对象类型的允许更高或更低阈值的应用。一种合适的以前考虑的算法是FAST (Features from Accelerated Segment Test，来自加速段测试的特征)。
[0043]接着，通过装置检测第二对象34，来提供深度信息。随后，图像锚定到第一对象，即:确定图像相对于第一对象32位置在X，y和z坐标上的位置。接着，该装置定期检查，以确定对象模式，即对象32和34是否已经发生变化，如果用户所持的装置已经移动了，这将会发生。如果装置确定有运动，装置将重新扫描视场，并确定对象32和34的最初模式的最接近匹配，来确保虚拟图像14的位置仍是正确的。
[0044]上述方法允许用户有效地且无形地在任何位置上将锚锁定到显示器中的已知对象处。如果没有特定的对象作为参考，比如开放的领域，接着系统首先返回到预加载的识别库，接着如果没有识别出视图，则使用数字式罗盘和GPS参考来将图像固定在真实空间的位置。
[0045]由锚定系统承载的GPS和数字式罗盘的使用如图9所示。这种结构通过使用沿着罗盘支承件的GPS坐标来构建基本现实世界地图。GPS坐标用于锁定已知经度和玮度配置，同时支承件用于由用户检测360度圆周运动。如果系统检测到这样的运动，接着，影片返回到其初始锁定的位置。动画使用算法而返回，该算法基于移动的距离，为坐标提供承认返回的阻滞度和速度的平滑、快速的返回。
[0046]图像相对于摄像机视图中的对象而言的表观尺寸，对于维持真实的幻象也是重要的。图10表示了自动调整大小操作，在该操作中，当正在通过摄像机设备观察对象的用户移动以靠近或远离对象时，相对于对象12调整图像14。
[0047]当用户移向或远离对象12时，通过装置采用复杂的算法来平滑地调整图像的尺寸。可采用摄像机镜头的自动对焦功能来提供关于距离对象的改变的数据。如果该装置不具有自动对焦功能，则可以使用关于其原点的存储数据来计算到识别的对象的距离。当可用时，两种技术都可以使用，以提供更准确的读取。
[0048]或者，用户可以使用上述的捏放技术22来手动地重新调整图像14的大小。
[0049]如果系统检测到相对狭窄的位置，如室内位置，或中世纪的街道场景，装置自动调整图像的大小到大的尺寸，从而保持真实。图11在描述了在这种情况下放大的图像14。
[0050]系统也能捕获承载有真实视图和虚拟图像的静止或视频图像。图12-15示意了用于拍摄包含虚拟图像14的照片的过程。图12中，真实的人36走入场景，在该场景中，人物的虚拟图像14已经定位。在图13中，拍照并储存，以及记录虚拟图像的坐标。在图14中，系统后处理图像14，并自动检测视角。接着，再保存该合成图像。在图15中，通过用于访问几个常用媒体的虚拟按钮38，邀请用户来分享储存的 合成图像。可以用类似的方法来记录和分享短的视频序列。
[0051]根据上面描述的实施例，图16示意了一个整个过程的例子。
[0052]在进程开始的步骤100处。步骤102中，从数据库中读取对象识别规则。在步骤104处，装置读取视图，并在步骤106处，装置检查可识别模式。装置循环直至检测到模式。一旦检测到模式，在步骤108处，从库中选取恰当的活动图像。在步骤110处，定位图像并开始播放。步骤112等候用户输入。可供使用的选择有:退出114，重新调整大小116，锚定118或重定位120。如果用户在步骤114选择退出app，该app在步骤122停止。否则在步骤124处继续播放视频图像。
[0053]图17表示了一个替换的实施例，在该实施例中，根据用户位置，对象识别数据库40分成若干个小的数据库42，44，46，48。检查对象三个或三个以上的对象的角度50，一旦已经检测到对象，启动虚拟图像52。
[0054]上面描述的例子使用触摸控制，这和描述的实施例不同。然而，该设备支持这个，可采用非接触手势来控制装置。相似地，当设备支持时，使用声音命令来控制设备。
[0055]当通过装置的摄像机观察时背景信息可来自“现实世界”图像，或来自二维图像，比如打印的片段，照片或电子现实的图像。这使得在多种环境中，比如看印刷出版物或广告，上述的技术可用于提高用户体验。在一个实施例(未示出)中，可以使得虚拟图案从这样的二维背景上升或“弹出”。
[0056]可采用图像处理技术来产生虚拟图像的虚拟影子，从而来提高虚拟图像是真实的感觉。类似地，可采用图像处理技术来相对于通过装置观察的真实世界的背景来平衡虚拟图像的明显亮度。
[0057]虽然上面描述的例子是二维视图体验，这里描述的技术也可应用于明显的三维视图体验，该装置支持这个，比如以3D视频播放格式。
[0058]在上面描述中，术语“虚拟图像”指的是事先捕获的或单独采集的图像，优选地，其为活动图像，即显示在装置的显示器上，同时，用户通过装置的摄像机看真实的，或最近的图像或正在捕获的图像。从不同的现实来说，虚拟图像本身是真实的，有效地将其从其他现实取出并移植到另一个现实，该另一个现实为观察者从他的设备的显示器上看到的现实。
[0059]虽然致力于上述描述来注意本发明的这些被认为是特别重要的特征，需要知道的是，申请人请求关于任何可专利性的特征或参考这里的特征的组合，和/或附图中所示的保护，不论是否在上述中特别强调。
【主权项】
1.用于在具有摄像机的手持装置的显示器上显示增强现实的设备，所述设备包括背景识别单元、虚拟图像检索单元以及虚拟图像定位单元，所述背景识别单元用于从由所述装置捕获的至少一幅真实图像中识别背景，所述虚拟图像检索单元用于选择和在所述显示器中显示虚拟图像，所述虚拟图像定位单元用于在所述显示器中定位所述虚拟图像，其中，所述设备被配置为显示包括电子捕获的、活动的现实世界图像的虚拟图像。2.根据权利要求1所述的设备，其特征在于，所述虚拟图像包括取自移动视频的一系列静止图像。3.根据权利要求1或2所述的设备，其特征在于，所述虚拟图像包括连续的活动视频图像。4.根据权利要求1-3中任一项所述的设备，其特征在于，所述虚拟图像包括人物、动物或其他现实世界对象或物体的图像。5.根据上述权利要求中任一项所述的设备，其特征在于，所述背景识别单元在使用中被配置为通过将视场中至少一个对象与来自多个对象的储存数据进行比较而识别背景。6.根据上述权利要求中任一项所述的设备，其特征在于，所述图像检索单元在使用中被配置为根据由所述背景识别单元确定的背景信息，从多个储存的图像中选择图像。7.根据上述权利要求中任一项所述的设备，其特征在于，所述定位单元在使用中被配置为根据由所述背景识别单元确定的背景信息，定位所述虚拟图像。8.根据上述权利要求中任一项所述的设备，其特征在于，通过所述定位单元进行的所述图像的定位包括在所述显示器中调整所述图像大小。9.根据上述权利要求中任一项所述的设备，其特征在于，利用所述定位单元的所述图像的定位包括:相对于由所述背景识别单元确定的背景信息而在显示器中锚定所述图像。10.一种用于在具有摄像机的手持装置的显示器上显示增强现实的方法，所述方法包括从由所述装置捕获的至少一幅真实图像中识别背景，以及在所述显示器中选择和定位虚拟图像，其中所述方法包括显示包含电子捕获的、活动现实世界图像的虚拟图像。11.根据权利要求10所述的方法，其特征在于，所述方法包括显示虚拟图像，所述虚拟图像包括取自移动视频的一系列静止图像。12.根据权利要求10或11所述的方法，其特征在于，所述方法包括通过将视场中至少一个对象与来自多个对象的储存数据相比较从而识别背景。13.根据权利要求10-12中任一项所述的方法，其特征在于，所述方法包括根据确定的背景信息，从多个储存的图像中选择图像。14.根据权利要求10-13中任一项所述的方法，其特征在于，所述方法也包括根据由所述背景识别单元确定的背景信息，定位所述虚拟图像。15.根据权利要求10-14中任一项所述的方法，其特征在于，所述图像的定位包括调整所述图像在所述显示器中的大小。16.根据权利要求10-15中任一项所述的方法，其特征在于，所述图像的定位还包括相对于由所述背景识别单元确定的背景信息将所述图像锚定在所述显示器中。17.用于使得装置执行在具有摄像机的手持装置的显示器上显示增强现实的方法的程序，所述方法包括从由所述设备捕获的至少一幅真实图像中识别背景，以及在所述显示器中选择和定位虚拟图像，其中，所述方法包括显示包含电子捕获的、活动现实世界图像的虚拟图像。18.—种计算机产品，该产品中存储、携带或传输程序、或通过一程序用于使得装置来执行在具有摄像机的手持装置的显示器上显示增强现实的方法，所述方法包括从由所述装置捕获的至少一幅真实图像中识别背景，以及在所述显示器中选择和定位虚拟图像，其特征在于，所述方法包括显示包含电子捕获的、活动现实世界图像的虚拟图像。
【专利摘要】为手持装置的用户、比如手机用户，提供增强现实的体验，该手机结合了电子处理器、摄像机和显示器。尤其地，取自视频片段的图像和实时摄像机视图一起显示在手持装置的显示器中，以产生幻象，即视频中的主体即虚拟活动图像实时存在于摄像机的视场中。在本文中，术语“现实世界”图像表示采取自现实的图像，比如使用电子照片捕获技术例如视频记录的物理的现实世界情况。手持装置的摄像机(10)瞄准了著名对象12,该对象12对于装置来说是可识别的。显示扮演历史人物的男演员的活动虚拟图像(14)，该图像(14)由于其与对象(12)的相关性而被选择。
【IPC分类】G06K9/00, H04N5/262, H04N5/232
【公开号】CN104904195
【申请号】CN201380054244
【发明人】克里斯托弗-乔治·奈特, 詹姆斯-帕特里克·莱利
【申请人】2Mee 有限公司
【公开日】2015年9月9日
【申请日】2013年9月12日
【公告号】EP2896200A1, US20150242688, WO2014041352A1
【技术领域】
[0001]本发明涉及一种用于增强现实体验的设备和方法，尤其涉及一种用于在具有摄像机的手持装置中提供增强现实体验的设备和方法。
【背景技术】
[0002]增强现实正在各种平台上使用，包括电视机，平视显示器，以及在一定的程度上的手持装置，比如手机。在增强现实中，使用计算机产生的输入来增强对现实世界环境的观察。
[0003]手持设备比如手机，摄像机的使用已经通过小的专业的下载程序的应用而提高，这些小的专业下载程序非正式地称为应用程序(apps)。许多这些应用程序包括计算机产生的视觉效果，该视觉效果可以通过摄像机，与“实时视图”结合，为用户提供用于改进图像或娱乐的增强现实的程度。然而，由于大多数手持装置的处理能力有限，并缺乏具有内置框架的功能代码库，因此将录像片段合并到摄像机的实时视图内被认为较为困难。
【发明内容】
[0004]本发明的实施例目的在于，提供一种用于将明显地移动着的图像合并入手持装置的实时摄像机视图内的设备和方法。
[0005]本发明由所附的独立权利要求来限定，在所述独立权利要求中将会涉及。进一步地，优选的特征可在从属权利要求中找到。
[0006]根据本发明的一个方面，提供了一种用于在具有摄像机的手持装置的显示器上显示增强现实的设备，所述设备包括背景识别单元、虚拟图像检索单元以及虚拟图像定位单元，所述背景识别单元用于识别由所述装置捕获的至少一幅真实图像的背景，所述虚拟图像检索单元用于在显示器中选择和显示虚拟图像，所述虚拟图像定位单元用于在显示器中定位所述虚拟图像，其中，所述设备被设置为显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0007]优选地，所述虚拟图像为已经预先存储的虚拟图像。
[0008]在优选的设置中，所述虚拟图像包括一系列静止图像，所述静止图像取自移动视频。
[0009]替代性地或附加地，所述虚拟图像可包括连续的移动视频图像。
[0010]所述虚拟图像可包括人或动物的图像，或可以为任何其他“现实世界”对象或项目。
[0011]在优选的实施例中，所述背景识别单元用于以通过比较视场中至少一个对象和来自多个对象中的储存数据来识别背景。优选地，所述图像检索单元用于根据由所述背景识别单元确定的背景信息，来从多个存储图像中选择一幅图像。优选地，所述定位单元用于根据由所述背景识别单元确定的背景信息，来定位所述虚拟图像。
[0012]通过所述定位单元的图像的定位可包括在显示器中调整所述图像大小，还可包括相对于由所述背景识别单元确定的背景信息而在显示器中锚定所述图像。
[0013]所述背景识别单元和/或所述虚拟图像检索单元，和/或所述虚拟图像定位单元可包括进程，所述进程在使用中被设置为由一个或多个电子处理装置来执行。
[0014]本发明也包括一种在具有摄像机的手持装置的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，以及在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0015]优选地，所述虚拟图像为已经预先存储的虚拟图像。
[0016]在优选的设置中，所述虚拟图像包括一系列静止图像，所述静止图像取自移动视频。
[0017]在优选的实施例中，所述方法包括通过比较视场中的至少一个对象和多个对象中的储存数据，来识别背景。优选地，所述方法包括根据所述背景识别单元确定的背景信息，从多个存储图像中选择一幅图像。优选地，所述方法也包括根据所述背景识别单元确定的背景信息，定位所述虚拟图像。
[0018]通过所述定位单元的图像的定位可包括在显示器中调整所述图像大小，还可包括相对于由所述背景识别单元确定的背景信息而在显示器中锚定所述图像。
[0019]本发明也包括一种程序，该程序用于致使一个装置执行在具有摄像机的手持设备的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，以及在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0020]所述程序可包含在app中。所述app也可包含数据，比如虚拟图像数据。
[0021]所述虚拟图像可包括一系列静止图像，所述静止图像取自移动视频。
[0022]本发明也包括一种计算机程序产品，该产品中存储、携带或传输程序、或通过一程序而用于致使一个装置执行在具有摄像机的手持设备的显示器上显示增强现实的方法，所述方法包括从至少一幅由所述装置捕获的真实图像中识别背景，并在显示器上选择和定位虚拟图像，其中，所述方法包括显示虚拟图像，所述虚拟图像包括电子捕获的、活动的现实世界图像。
[0023]所述虚拟图像可包括一系列静止图像，所述静止图像取自移动视频。
[0024]本发明还包括这里提及的特征或限制的任何结合，除了互相排斥的特征的结合。
【附图说明】
[0025]通过例举的方式，现在仅参考附图描述本发明的优选实施例:
图1展示了根据本发明的一个优选实施例中，虚拟图像叠加在真实图像的摄像机视图上;
图2简要地展示了根据本发明的一个实施例，背景识别过程中第一步骤；
图3和3a表示了背景识别过程中替换的第一步骤的示意图，在所述替换的第一步骤中，摄像机实时视图中有多个可见对象；
图4简要地展示了用在本发明一个实施例中的动画技术；
图5简要地展示了根据本发明的一个实施例的定位过程； 图6展示了根据本发明实施例的用于虚拟图像的可选的用户控制的示意图；
图7表示了图6图像中的锚定过程中的第一步骤；
图8表示了图7的锚定过程中的另一步骤；
图9展示了根据本发明的一个实施例的替换锚定过程；
图10展示了根据本发明的一个实施例，对虚拟图像自动调整大小过程的示意图；
图11简要地展示了替换方案中对虚拟图像自动调整大小的过程的示意图；
图12-15展示了根据本发明的一个实施例，拍摄合并的真实图像和虚拟图像的照片的过程的不同步骤；
图16简要地展示了用于获取合并的真实图像和虚拟图像的视频片段的过程；
图17为根据本发明的一个实施例，在摄像机的实时视图中显示虚拟图像的过程的一些关键步骤的流程示意图。
[0026]
【具体实施方式】
[0027]以下描述的实施例的目的在于提供增强现实体验给手持装置的用户，比如手机，其结合了电子处理器、摄像机和显示器。尤其地，取自视频片段的图像和实时摄像机视图一起显示在手持装置的显示器中，以创建视频中的物体即虚拟活动图像实时存在于摄像机的视场中的幻象。
[0028]关于这点，术语“现实世界”图像表示取自现实的图像，比如使用电子照片捕获技术获得的例如视频记录的物理现实世界情景。
[0029]为此，装置必须进行各种处理，包括从摄像机视图中 获取背景信息，得到恰当的虚拟图像，在摄像机视图中定位该虚拟图像，可选地相对于背景地随意地锚定虚拟图像，以及可选地在摄像机视图中调整该虚拟图像大小。
[0030]这些处理可由手持装置的电子处理器执行。
[0031]用于重构虚拟活动图像的必要数据，连同用于促进要操作其来提供增强现实体验的必要处理的一个或多个程序，以专用程序或软件应用的形式、如众所周知的app，被下载到手持装置中。优选地，可以更新app来呈现新的视觉体验给用户。
[0032]下面详细描述的第一实施例是用作旅游景点导游的增强现实系统，在该系统中，将人物的虚拟图像显示在现实世界摄像机视图中，通过相关的音频文件，来提供关于景点的信息。
[0033]参见图1，图1简要地展示了手持装置的摄像机10，在这种情况下，摄像机10瞄准了著名对象12，该对象12对于设备来说是可识别的，以及瞄准了扮演历史人物的男演员的活动虚拟图像14，选择男演员是因为其和对象12关联。装置基于一组独特的矩阵点12a识别出在这种情况下为雕塑的对象，这些矩阵点12a已在早些阶段储存在下载的app中，且这些矩阵点12a能为设备提供背景信息，该背景信息对后续的虚拟图像14的选择、显示和操作是必要的。
[0034]活动虚拟图像14作为取自视频文件的一系列静止图像而储存在装置中，并在下载app、以及在确定背景之后选择了恰当的一音频文件时，与该恰当的音频文件同步。
[0035]看图2，图2表示了所选择的虚拟图像14，虚拟图像14显示在装置的摄像机视图中，在对象12的旁边。
[0036]图3展示了装置检测多个对象的场景。在这种情况下，检测对象12，并检测另外的对象16和18。装置显示所有的三个对象，连同叠加在三个对象上的各自的虚拟按钮，从而用户可以通过触摸屏幕上恰当的按钮来选择感兴趣的对象，如图3a所示。
[0037]图4简要地展示了一种用于使虚拟图像动画化的方法。该方法使用早已存在的技术，即在绿光屏背景上(未示出)将活动图像切割成一系列静止帧20。接着，该装置随后回放这一系列的静止图像，必要时去除绿光屏背景。当单独的图像以大于每秒6帧的速度更替时，人类眼睛将它们作为连续的活动图像。可选地为MP3格式的音轨和动画同步播放，以加强连续视频片段的幻象。在该实施例中，动画形象是罗马士兵，他的评论和动作和通过摄像机显示观察到的景点有关。
[0038]图5简要地展示了一种用于相对于对象12定位图像14的技术。在特定的app生成过程中，当第一次调查特定场景时，创意总监基于一系列艺术和实际因素将为虚拟图像选择最佳位置。一旦选择了最佳位置，系统使用三角法计算图像在现实世界空间坐标X，y和z相对于对象12的位置。另一种是在对象中确定零点，并使用从零点开始的绝对坐标X，y和/或z来定位图像。
[0039]图6展示了用户如何相对于对象重新调整图像的大小或重新定位图像。可以使用食指和拇指捏和摊开技术22，同时触摸屏幕来调整图像的大小。可以使用拖放技术24来移动图像，也能通过双指双击技术26来激活或释放锚定系统(下面描述)。在播放模式中，也提供虚拟暂停按钮28，该虚拟暂停按钮28在暂停模式时转换为虚拟播放按钮(未示出)。
[0040]为了保持人物实际上存在于景点旁边的幻象，必要的是，人物即图像14的位置空间上应相对于对象12锚定。这是因为通过摄像机观察对象和虚拟图像的同时如果用户移动时，相对于摄像机屏幕固定的图像很快不能保持真实的幻象。
[0041]图7示意了本发明的一个实施例的锚定系统。该系统使用预定义的算法来寻找对象，该对象可以是突出的，也可以是在摄像机视图中有明确形状的。一旦几个对象的位置确定，系统使用高级三角法技术评估在摄像机视图中显示的场景，并分配比例数据给虚拟图像。接着，系统在X，y和Z方向上相对于其现实世界背景来锁定该图像。
[0042]图8更详细地示意了根据本发明上述实施例的锚定系统。首先，标签30表示锚定系统已经激活。接着，装置动态地检测到摄像机视图的最近对象32。在这种情况下，所使用的方法是通过检测模式的算法来识别对象，而不是使用预处理的矩阵点(根据图1的例子)。这使得算法寻找现实世界对象，根据该对象，能锚定性能即虚拟图像。例如，算法能识别斯诺克台(snooker table)的四个边缘。这允许了改进的锚定技术，因为创建了基于特定对象或对象类型的允许更高或更低阈值的应用。一种合适的以前考虑的算法是FAST (Features from Accelerated Segment Test，来自加速段测试的特征)。
[0043]接着，通过装置检测第二对象34，来提供深度信息。随后，图像锚定到第一对象，即:确定图像相对于第一对象32位置在X，y和z坐标上的位置。接着，该装置定期检查，以确定对象模式，即对象32和34是否已经发生变化，如果用户所持的装置已经移动了，这将会发生。如果装置确定有运动，装置将重新扫描视场，并确定对象32和34的最初模式的最接近匹配，来确保虚拟图像14的位置仍是正确的。
[0044]上述方法允许用户有效地且无形地在任何位置上将锚锁定到显示器中的已知对象处。如果没有特定的对象作为参考，比如开放的领域，接着系统首先返回到预加载的识别库，接着如果没有识别出视图，则使用数字式罗盘和GPS参考来将图像固定在真实空间的位置。
[0045]由锚定系统承载的GPS和数字式罗盘的使用如图9所示。这种结构通过使用沿着罗盘支承件的GPS坐标来构建基本现实世界地图。GPS坐标用于锁定已知经度和玮度配置，同时支承件用于由用户检测360度圆周运动。如果系统检测到这样的运动，接着，影片返回到其初始锁定的位置。动画使用算法而返回，该算法基于移动的距离，为坐标提供承认返回的阻滞度和速度的平滑、快速的返回。
[0046]图像相对于摄像机视图中的对象而言的表观尺寸，对于维持真实的幻象也是重要的。图10表示了自动调整大小操作，在该操作中，当正在通过摄像机设备观察对象的用户移动以靠近或远离对象时，相对于对象12调整图像14。
[0047]当用户移向或远离对象12时，通过装置采用复杂的算法来平滑地调整图像的尺寸。可采用摄像机镜头的自动对焦功能来提供关于距离对象的改变的数据。如果该装置不具有自动对焦功能，则可以使用关于其原点的存储数据来计算到识别的对象的距离。当可用时，两种技术都可以使用，以提供更准确的读取。
[0048]或者，用户可以使用上述的捏放技术22来手动地重新调整图像14的大小。
[0049]如果系统检测到相对狭窄的位置，如室内位置，或中世纪的街道场景，装置自动调整图像的大小到大的尺寸，从而保持真实。图11在描述了在这种情况下放大的图像14。
[0050]系统也能捕获承载有真实视图和虚拟图像的静止或视频图像。图12-15示意了用于拍摄包含虚拟图像14的照片的过程。图12中，真实的人36走入场景，在该场景中，人物的虚拟图像14已经定位。在图13中，拍照并储存，以及记录虚拟图像的坐标。在图14中，系统后处理图像14，并自动检测视角。接着，再保存该合成图像。在图15中，通过用于访问几个常用媒体的虚拟按钮38，邀请用户来分享储存的 合成图像。可以用类似的方法来记录和分享短的视频序列。
[0051]根据上面描述的实施例，图16示意了一个整个过程的例子。
[0052]在进程开始的步骤100处。步骤102中，从数据库中读取对象识别规则。在步骤104处，装置读取视图，并在步骤106处，装置检查可识别模式。装置循环直至检测到模式。一旦检测到模式，在步骤108处，从库中选取恰当的活动图像。在步骤110处，定位图像并开始播放。步骤112等候用户输入。可供使用的选择有:退出114，重新调整大小116，锚定118或重定位120。如果用户在步骤114选择退出app，该app在步骤122停止。否则在步骤124处继续播放视频图像。
[0053]图17表示了一个替换的实施例，在该实施例中，根据用户位置，对象识别数据库40分成若干个小的数据库42，44，46，48。检查对象三个或三个以上的对象的角度50，一旦已经检测到对象，启动虚拟图像52。
[0054]上面描述的例子使用触摸控制，这和描述的实施例不同。然而，该设备支持这个，可采用非接触手势来控制装置。相似地，当设备支持时，使用声音命令来控制设备。
[0055]当通过装置的摄像机观察时背景信息可来自“现实世界”图像，或来自二维图像，比如打印的片段，照片或电子现实的图像。这使得在多种环境中，比如看印刷出版物或广告，上述的技术可用于提高用户体验。在一个实施例(未示出)中，可以使得虚拟图案从这样的二维背景上升或“弹出”。
[0056]可采用图像处理技术来产生虚拟图像的虚拟影子，从而来提高虚拟图像是真实的感觉。类似地，可采用图像处理技术来相对于通过装置观察的真实世界的背景来平衡虚拟图像的明显亮度。
[0057]虽然上面描述的例子是二维视图体验，这里描述的技术也可应用于明显的三维视图体验，该装置支持这个，比如以3D视频播放格式。
[0058]在上面描述中，术语“虚拟图像”指的是事先捕获的或单独采集的图像，优选地，其为活动图像，即显示在装置的显示器上，同时，用户通过装置的摄像机看真实的，或最近的图像或正在捕获的图像。从不同的现实来说，虚拟图像本身是真实的，有效地将其从其他现实取出并移植到另一个现实，该另一个现实为观察者从他的设备的显示器上看到的现实。
[0059]虽然致力于上述描述来注意本发明的这些被认为是特别重要的特征，需要知道的是，申请人请求关于任何可专利性的特征或参考这里的特征的组合，和/或附图中所示的保护，不论是否在上述中特别强调。
【主权项】
1.用于在具有摄像机的手持装置的显示器上显示增强现实的设备，所述设备包括背景识别单元、虚拟图像检索单元以及虚拟图像定位单元，所述背景识别单元用于从由所述装置捕获的至少一幅真实图像中识别背景，所述虚拟图像检索单元用于选择和在所述显示器中显示虚拟图像，所述虚拟图像定位单元用于在所述显示器中定位所述虚拟图像，其中，所述设备被配置为显示包括电子捕获的、活动的现实世界图像的虚拟图像。2.根据权利要求1所述的设备，其特征在于，所述虚拟图像包括取自移动视频的一系列静止图像。3.根据权利要求1或2所述的设备，其特征在于，所述虚拟图像包括连续的活动视频图像。4.根据权利要求1-3中任一项所述的设备，其特征在于，所述虚拟图像包括人物、动物或其他现实世界对象或物体的图像。5.根据上述权利要求中任一项所述的设备，其特征在于，所述背景识别单元在使用中被配置为通过将视场中至少一个对象与来自多个对象的储存数据进行比较而识别背景。6.根据上述权利要求中任一项所述的设备，其特征在于，所述图像检索单元在使用中被配置为根据由所述背景识别单元确定的背景信息，从多个储存的图像中选择图像。7.根据上述权利要求中任一项所述的设备，其特征在于，所述定位单元在使用中被配置为根据由所述背景识别单元确定的背景信息，定位所述虚拟图像。8.根据上述权利要求中任一项所述的设备，其特征在于，通过所述定位单元进行的所述图像的定位包括在所述显示器中调整所述图像大小。9.根据上述权利要求中任一项所述的设备，其特征在于，利用所述定位单元的所述图像的定位包括:相对于由所述背景识别单元确定的背景信息而在显示器中锚定所述图像。10.一种用于在具有摄像机的手持装置的显示器上显示增强现实的方法，所述方法包括从由所述装置捕获的至少一幅真实图像中识别背景，以及在所述显示器中选择和定位虚拟图像，其中所述方法包括显示包含电子捕获的、活动现实世界图像的虚拟图像。11.根据权利要求10所述的方法，其特征在于，所述方法包括显示虚拟图像，所述虚拟图像包括取自移动视频的一系列静止图像。12.根据权利要求10或11所述的方法，其特征在于，所述方法包括通过将视场中至少一个对象与来自多个对象的储存数据相比较从而识别背景。13.根据权利要求10-12中任一项所述的方法，其特征在于，所述方法包括根据确定的背景信息，从多个储存的图像中选择图像。14.根据权利要求10-13中任一项所述的方法，其特征在于，所述方法也包括根据由所述背景识别单元确定的背景信息，定位所述虚拟图像。15.根据权利要求10-14中任一项所述的方法，其特征在于，所述图像的定位包括调整所述图像在所述显示器中的大小。16.根据权利要求10-15中任一项所述的方法，其特征在于，所述图像的定位还包括相对于由所述背景识别单元确定的背景信息将所述图像锚定在所述显示器中。17.用于使得装置执行在具有摄像机的手持装置的显示器上显示增强现实的方法的程序，所述方法包括从由所述设备捕获的至少一幅真实图像中识别背景，以及在所述显示器中选择和定位虚拟图像，其中，所述方法包括显示包含电子捕获的、活动现实世界图像的虚拟图像。18.—种计算机产品，该产品中存储、携带或传输程序、或通过一程序用于使得装置来执行在具有摄像机的手持装置的显示器上显示增强现实的方法，所述方法包括从由所述装置捕获的至少一幅真实图像中识别背景，以及在所述显示器中选择和定位虚拟图像，其特征在于，所述方法包括显示包含电子捕获的、活动现实世界图像的虚拟图像。
【专利摘要】为手持装置的用户、比如手机用户，提供增强现实的体验，该手机结合了电子处理器、摄像机和显示器。尤其地，取自视频片段的图像和实时摄像机视图一起显示在手持装置的显示器中，以产生幻象，即视频中的主体即虚拟活动图像实时存在于摄像机的视场中。在本文中，术语“现实世界”图像表示采取自现实的图像，比如使用电子照片捕获技术例如视频记录的物理的现实世界情况。手持装置的摄像机(10)瞄准了著名对象12,该对象12对于装置来说是可识别的。显示扮演历史人物的男演员的活动虚拟图像(14)，该图像(14)由于其与对象(12)的相关性而被选择。
【IPC分类】G06K9/00, H04N5/262, H04N5/232
【公开号】CN104904195
【申请号】CN201380054244
【发明人】克里斯托弗-乔治·奈特, 詹姆斯-帕特里克·莱利
【申请人】2Mee 有限公司
【公开日】2015年9月9日
【申请日】2013年9月12日
【公告号】EP2896200A1, US20150242688, WO2014041352A1
最新回复(0)