用于移动设备的平面映射和跟踪的制作方法
用于移动设备的平面映射和跟踪的制作方法
【专利摘要】使用未知的平面对象的图像来执行实时跟踪和映射。捕捉该平面对象的多个图像。新图像被选择为新关键帧。为该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧估计单应性。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构。该图形结构被用于创建该平面对象的映射图。基于该映射图和随后捕捉的图像来跟踪该平面对象。
【专利说明】用于移动设备的平面映射和跟3示
[0001]相关申请的交叉引用
[0002]本申请要求2012 年 5 月 3 日提交的题为 “Planar Mapping and Tracking forMobile Phones (用于移动电话的平面映射和跟踪)”的美国申请N0.13/463, 643的优先权，该美国申请又按照35USC119要求2011年5月27日提交的题为“Planar Mappingand Tracking for Mobile Phones (用于移动电话的平面映射和跟踪)”的美国临时申请N0.61/490，764的优先权，这两件申请皆转让给本申请的受让人并且通过援引纳入于此。
[0003]背景
[0004]背景领域
[0005]本文中所描述的主题内容的实施例一般涉及跟踪和映射，并且尤其涉及移动设备的基于视觉的映射和跟踪。
[0006]相关背景
[0007]近年来，基于模型的跟踪已成为移动设备上的顶尖技术水平。实时地对先验已知的良好纹理化的图像进行自然特征检测和跟踪已由多个团体证明，并且这些技术已在商业应用和软件开发工具中得到使用。
[0008]用单目相机在全三维中映射先验未知的场景并在六个自由度(6D0F)中进行跟踪仍然是困难的任务，在移动设备(诸如蜂窝电话或智能电话)上尤甚。从机器人学中已知的基于扩展卡尔曼滤波器(EKF)的经典办法目前在计算上是不可行的。仅众所周知的平行跟踪和映射(PTAM)系统已被证明作为原型在目前的智能电话上运行。然而，PTAM映射方法基于束调节技术，该技术由于较高的计算需求而随日益增大的映射图大小具有很差的扩展性。
[0009]概述
[0010]使用未知的平面对象的图像来执行实时跟踪和映射。捕捉该平面对象的多个图像。新图像被选择为新关键帧。为该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧估计单应性。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构。该图形结构可以是基于树的图形结构，并且该新关键帧和该多个先前关键帧中的每个先前关键帧是节点，且该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性是这些节点之间的边。该图形结构被用于创建该平面对象的映射图。基于该映射图和随后捕捉的图像来跟踪该平面对象。
[0011]在一个方面，一种方法包括捕捉平面对象的多个图像；将新图像选择为新关键帧；计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性；使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构；使用该图形结构来创建该平面对象的映射图；以及基于该映射图和随后捕捉的图像来跟踪该平面对象。
[0012]在一个方面，一种装置包括能够捕捉平面对象的多个图像的相机；以及耦合至该相机的处理器，该处理器被配置成将新图像选择为新关键帧，计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性，使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构，使用该图形结构来创建该平面对象的映射图，以及基于该映射图和随后捕捉的图像来跟踪该平面对象。
[0013]在一个方面，一种设备包括用于捕捉平面对象的多个图像的装置；用于将新图像选择为新关键帧的装置；用于计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的装置；用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的装置；用于使用该图形结构来创建该平面对象的映射图的装置；以及用于基于该映射图和随后捕捉的图像来跟踪该平面对象的装置。
[0014]在一个方面，一种包括存储于其上的程序代码的非瞬态计算机可读介质，包括用于从捕捉到的平面对象的多个图像中将新图像选为新关键帧的程序代码；用于计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的程序代码；用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的程序代码；用于使用该图形结构来创建该平面对象的映射图的程序代码；以及用于基于该映射图和随后捕捉的图像来跟踪该平面对象的程序代码。
[0015]附图简要说明
[0016]图1解说了能够使用未知的、纹理化的平面对象的所捕捉图像进行实时姿态跟踪和映射的移动设备。
[0017]图2解说了由移动设备用于姿态跟踪和映射的、紧密耦合的跟踪组件和映射组件。
[0018]图3解说了由组织在象限四分树中的两个关键帧内的诸点以及这两个关键帧之间的单应性构成的平面映射图。
[0019]图4是解说用于使用平面对象的所捕捉图像进行实时姿态跟踪和映射的方法的流程图。
[0020]图5解说了姿态图形，其将多个关键帧示为该图形的节点并且将这些关键帧之间的单应性示为该图形中的边。
[0021]图6A、6B、6C和6D解说了对平面图像校正参数化的几何解读。
[0022]图7是解说用于基于姿态一致性来将关键帧候选选择为关键帧的方法的流程图。
[0023]图8解说了与图5中所示的姿态图形相似、但包括关键帧候选F的姿态图形。
[0024]图9解说了用于使用包括新关键帧的节点(姿态)和边(单应性)的图形结构来创建映射图的方法。
[0025]图1OA和IOB解说了用于平面估计和姿态更新的单应性检索操作的不同办法。
[0026]图11是用于相对于平面点映射图来跟踪相机姿态的方法的流程图。
[0027]图12是如以上所讨论的能够使用所捕捉的图像进行姿态跟踪和映射的移动设备的框图。
[0028]详细描述
[0029]图1解说了能够使用例如从相机110获得的所捕捉图像来对未知的、纹理化的平面对象进行实时姿态跟踪和映射的移动设备100，该相机100可以是经校准的单目相机。移动设备100使用基于关键帧以及诸关键帧之间的因平面导致的单应性的映射办法。用图像校正过程按所测得的关键帧间单应性的数目基本上以线性时间解决了估计关键帧姿态的平面重构问题。姿态跟踪使用连续地扩展和细化的平面点映射图来传达稳健估计的姿态。
[0030]移动设备100被示为包括外壳101、显示器102 (其可以是触摸屏显示器)、以及扬声器104和话筒106。显示器102可以呈现由相机110捕捉的图像、地图、或任何其他期望的素材。移动设备100包括跟踪组件120和映射组件130。跟踪组件120通过处理来自相机110的平面环境图像流并计算相机姿态来跟踪相机姿态。跟踪组件120将所选的关键帧提供至映射组件的关键帧候选队列中。映射组件130处理这些关键帧以生成映射图，该映射图随着被捕捉的平面场景的新视图变得可用而被扩大和细化。映射组件130计算关键帧之间因平面导致的单应性并且将它们的关系组织在专用的姿态图形中。映射组件130向跟踪组件120提供点和关键帧的映射图，跟踪组件120用该映射图来跟踪相机姿态。当然，移动设备100可包括与本公开未必相关的附件组件。
[0031]如本文中所使用的，移动设备是指任何便携式电子设备，诸如蜂窝或其它无线通信设备、个人通信系统(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型设备、或者其它合适的移动平台。移动平台可以能够接收无线通信和/或导航信号(诸如导航定位信号)。术语“移动设备”还旨在包括诸如通过短程无线、红外、有线连接、或其他连接与个人导航设备(PND)通信的设备，不管卫星信号接收、辅助数据接收、和/或位置相关处理是发生在该设备处还是在PND处。另外，“移动设备”旨在包括能够捕捉在姿态跟踪和映射中使用的图像的所有电子设备，包括无线通信设备、计算机、膝上型设备、平板计算机、智能电话等等。
[0032]图2解说了由移动设备100用于姿态跟踪和映射的、紧密耦合的跟踪组件120和映射组件130。如图2中所解说的，跟踪组件120通过处理经校准的单目相机110的图像流并且例如在六个自由度(6D0F)中计算相机姿态来执行相机姿态跟踪122。相机姿态跟踪122离散地从该图像流中选择关键帧并且将所选的关键帧提供到映射组件130的关键帧候选队列中。映射组件130处理这些关键帧以生成持久映射图134，该映射图134随时间推移(例如，以连续方式)随着平面场景的新视图变得可用而被扩大和细化。在诸关键帧之间，计算因平面导致的单应性并且将其关系组织在专用的姿态图形中。映射组件130将由组织在象限四分树中的点、关键帧、和组织在图形中的单应性构成的平面映射图124提供给跟踪组件120以用于跟踪。
[0033]作为示例，图3解说了由组织在象限四分树142中的两个关键帧Ip Ij内的点构成的平面映射图140。关键帧中的每个点在图3中被解说为“X”。关键帧Ip L提供显著的图像测量并且分别经由相机姿态Pi和Pj与平面映射图140相关。这些关键帧示出二维(2D)场景的不同视图并且被用于计算将像素从一个关键帧映射到另一个关键帧的因平面导致的单应性。单应性H投影诸关键帧I之间的点，例如，如图3中所解说的，单应性Hm投影关键帧I1、Ij之间的点。在姿态图形中管理结果得到的关系，例如，关键帧和单应性被存储为图形中的节点和边。
[0034]映射组件130创建通过从跟踪组件120传递来的关键帧集合所观察到的未知的纹理化的平面场景的映射图。映射图由对平面表面进行采样的三维(3D)点构成。点观察要么源于显著的关键帧角落，要么源于作为姿态或单应性估计的一部分的特征匹配。平面映射点被组织在象限四分树中，从而导致例如在不同规模等级上对未经填充的映射图区域进行搜索期间采用的快速点检索。
[0035]图4是解说用于使用平面对象的所捕捉图像进行实时姿态跟踪和映射的方法的流程图。如所解说的，捕捉平面对象的多个图像(202)，例如，作为来自相机110的图像或视频流中的帧。将新图像选择为新关键帧(204)。例如，如果新图像产生具有良好质量的姿态估计，则可将该新图像与多个先前的关键帧(以及候选关键帧)作比较以确定是否有充分的交叠(例如使用一阈值)。如果有充分的交叠，则该新图像可由跟踪组件120推送到关键帧候选队列132上。另外，为了将该新图像选择为关键帧，该新图像可被验证是关于该平面对象的。验证可例如通过基于毗邻关键帧的姿态以及该新图像与这些毗邻关键帧之间相应的单应性来确定该新图像的多个姿态来执行。可将该多个姿态与由跟踪组件120为该新图像产生的跟踪姿态作比较，该跟踪姿态是从关于平面映射图跟踪该新图像所产生的。例如，如果该多个姿态与跟踪姿态之间成对的姿态差异的总和落在阈值内，则可确定该新图像属于该平面对象。
[0036]计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性(206)。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构(208)。作为示例，图5解说了姿态图形，其将多个关键帧(A，B, C，D，E)示为该图形的节点并且将这些关键帧之间的单应性示为该图形中的边(示为虚线)。还关于该平面来解说每个关键帧的姿态。对于连接关键帧对(i，j)的每个单应性Hy估计，添加连接相应节点Ii和Ij的有向边。该图形是有向的，这是因为单应性是在关键帧对之间在两个方向上独立地估计的以获得独立的测量。如图5中所解说的，计算新关键帧E与在空间上分布的多个先前关键帧A、C和D中的每个先前关键帧(而非紧邻在前的关键帧)之间的单应性。
[0037]该图形结构被用于创建平面对象的映射图(210)。例如，可通过从该多个先前关键帧中选择参考关键帧并且计算该参考关键帧关于平面对象的姿态来创建该映射图。参考关键帧可基于靠近新关键帧和靠近图形结构的中心节点中的一者来选择。使用参考关键帧的姿态以及参考关键帧与其余关键帧集合之间的单应性来为其余关键帧集合计算姿态。参考关键帧的姿态和其余关键帧集合的姿态可随后被用来创建映射图。随后，基于该映射图和随后捕捉的图像来跟踪该平面对象(212)。
[0038]姿态图形
[0039]映射组件130的用于生成映射图的输入是关键帧以及在这些关键帧之间测得的单应性的集合。与关键帧Ii相对应的相机姿态被表示为3X4变换矩阵Pi=(Rlt),其表示从世界坐标系至局部相机坐标系的刚性变换以及后续投影。对于一些关键帧对(i，j)，测量将点从关键帧Ii映射到关键帧L的单应性Hli，如图3中所解说的。
[0040]如图4中所解说的，可在将关键帧作为节点和将单应性作为边的有向图形中管理这些关键帧单应性关系。随着新关键帧被生成，与相邻关键帧的新单应性被测量并且两者都被添加至该图形。为了保持平面映射假定，仅相同平面上的关键帧应当被添加。因此，对主要示出离群区域(例如，描绘不同平面或非平面对象的区域)的视图的关键帧执行过滤，这些关键帧可能导致与主场景平面不一致的单应性。例如，可对新关键帧采用一致性检查。关键帧候选队列132中未通过一致性检查的候选关键帧可被拒绝。通过一致性检查的候选关键帧可被接受并被添加至该图形。
[0041]平面估计
[0042]为了创建3D点的映射图，估计与关键帧相对应的未知的相机姿态P”对于未知的关于该平面的关键帧相机姿态的计算，可采用校正算法。用于使用图像之间已知的单应性来解决估计平面的问题的两种一般性办法包括单应性分解和图像校正。单应性分解是指在给定平面对象的两个图像之间的单应性矩阵的情况下计算相机运动。图像校正算法从已知的核面几何形态(或平面情形中的单应性)计算投影变换，这些投影变换被应用于图像对，从而使其核线对齐，例如以用于ID搜索空间中的点匹配的目的。可以使用仅具有2D0F的在计算上高效的非线性优化方案，该优化方案使用专用参考相机与其他相机之间可变数目的单应性测量。
[0043]成本函数和参数化
[0044]提供了该优化方案的数学公式表述。我们将场景平面定义为位于与(X，y)平面相对应的正则位置z=0。该平面上的点由此具有等于O的z坐标并且可在齐次坐标中被写为(χ，ζ，0，1)。该优化中未知的是相对于此平面的相机姿态Pi。在所有世界点均位于该平面上的假定下，可通过消除姿态矩阵Pi的第三列容易地将相机姿态重新表述为2D单应性。
【权利要求】
1.一种方法，包括: 捕捉平面对象的多个图像； 将新图像选择为新关键帧； 计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性； 使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构； 使用所述图形结构来创建所述平面对象的映射图；以及 基于所述映射图和随后捕捉的图像来跟踪所述平面对象。
2.如权利要求1所述的方法，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。
3.如权利要求1所述的方法，其特征在于，使用所述图形结构来创建所述平面对象的所述映射图包括: 从所述多个先前关键帧中选择参考关键帧； 计算所述参考关键帧关于所述平面对象的姿态； 使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态；以及· 使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图。
4.如权利要求3所述的方法，其特征在于，所述参考关键帧是基于靠近所述新关键帧和靠近所述图形结构的中心节点中的一者来选择的。
5.如权利要求1所述的方法，其特征在于，将所述新图像选择为所述新关键帧包括:将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠，以及将所述交叠与一阈值作比较。
6.如权利要求1所述的方法，其特征在于，将所述新图像选择为所述新关键帧包括验证所述新图像属于所述平面对象。
7.如权利要求6所述的方法，其特征在于，验证所述新图像属于所述平面对象包括: 基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态； 将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较；以及 确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈值内。
8.一种装置，包括: 能够捕捉平面对象的多个图像的相机；以及 耦合至所述相机的处理器，所述处理器被配置成将新图像选择为新关键帧，计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性，使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构，使用所述图形结构来创建所述平面对象的映射图，以及基于所述映射图和随后捕捉的图像来跟踪所述平面对象。
9.如权利要求8所述的装置，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。
10.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来将所述图形结构用于创建所述平面对象的映射图:从所述多个先前关键帧中选择参考关键帧，计算所述参考关键帧关于所述平面对象的姿态，使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态，以及使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图。
11.如权利要求10所述的装置，其特征在于，所述处理器被配置成基于靠近所述新关键帧和靠近所述图形结构的中心节点中的一者来选择所述参考关键帧。
12.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来将所述新图像选择为所述新关键帧:将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠，以及将所述交叠与一阈值作比较。
13.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成验证所述新图像属于所述平面对象来将所述新图像选择为所述新关键帧。
14.如权利要求13所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来验证所述新图像属于所述平面对象:基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态，将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较，以及确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈值内。·
15.一种设备，包括: 用于捕捉平面对象的多个图像的装置； 用于将新图像选择为新关键帧的装置； 用于计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的装置； 用于使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构的装置； 用于使用所述图形结构来创建所述平面对象的映射图的装置；以及 用于基于所述映射图和随后捕捉的图像来跟踪所述平面对象的装置。
16.如权利要求15所述的设备，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，而所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。
17.如权利要求15所述的设备，其特征在于，所述用于使用所述图形结构来创建所述平面对象的映射图的装置包括: 用于从所述多个先前关键帧中选择参考关键帧的装置；用于计算所述参考关键帧关于所述平面对象的姿态的装置； 用于使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态的装置；以及 用于使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图的>J-U ρ?α装直。
18.如权利要求15所述的设备，其特征在于，所述用于将所述新图像选择为所述新关键帧的装置包括:用于将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠的装置，以及用于将所述交叠与一阈值作比较的装置。
19.如权利要求15所述的设备，其特征在于，所述用于将所述新图像选择为所述新关键帧的装置包括用于验证所述新图像属于所述平面对象的装置。
20.如权利要求19所述的设备，其特征在于，所述用于验证所述新图像属于所述平面对象的装置包括: 用于基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态的装置； 用于将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较的装置；以及 用于确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈·值内的装置。
21.一种包括存储于其上的程序代码的非瞬态计算机可读介质，包括: 用于从平面对象的捕捉到的多个图像中将新图像选择为新关键帧的程序代码； 用于计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的程序代码； 用于使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构的程序代码； 用于使用所述图形结构来创建所述平面对象的映射图的程序代码；以及 用于基于所述映射图和随后捕捉的图像来跟踪所述平面对象的程序代码。
22.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。
23.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于使用所述图形结构来创建所述平面对象的映射图的程序代码包括: 用于从所述多个先前关键帧中选择参考关键帧的程序代码； 用于计算所述参考关键帧关于所述平面对象的姿态的程序代码； 用于使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态的程序代码；以及 用于使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图的程序代码。
24.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于将所述新图像选择为所述新关键帧的程序代码包括:用于将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠的程序代码，以及用于将所述交叠与一阈值作比较的程序代码。
25.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于将所述新图像选择为所述新关键帧的程序代码包括用于验证所述新图像属于所述平面对象的程序代码。
26.如权利要求25所述的非瞬态计算机可读介质，其特征在于，所述用于验证所述新图像属于所述平面对象的程序代码包括: 用于基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态的程序代码； 用于将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较的程序代码；以及 用于确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对·象的阈值内的程序代码。
【文档编号】G06T7/20GK103858148SQ201280026188
【公开日】2014年6月11日 申请日期:2012年5月4日 优先权日:2011年5月27日
【发明者】C·皮切艾姆, G·瑞特玛耶 申请人:高通股份有限公司
【专利摘要】使用未知的平面对象的图像来执行实时跟踪和映射。捕捉该平面对象的多个图像。新图像被选择为新关键帧。为该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧估计单应性。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构。该图形结构被用于创建该平面对象的映射图。基于该映射图和随后捕捉的图像来跟踪该平面对象。
【专利说明】用于移动设备的平面映射和跟3示
[0001]相关申请的交叉引用
[0002]本申请要求2012 年 5 月 3 日提交的题为 “Planar Mapping and Tracking forMobile Phones (用于移动电话的平面映射和跟踪)”的美国申请N0.13/463, 643的优先权，该美国申请又按照35USC119要求2011年5月27日提交的题为“Planar Mappingand Tracking for Mobile Phones (用于移动电话的平面映射和跟踪)”的美国临时申请N0.61/490，764的优先权，这两件申请皆转让给本申请的受让人并且通过援引纳入于此。
[0003]背景
[0004]背景领域
[0005]本文中所描述的主题内容的实施例一般涉及跟踪和映射，并且尤其涉及移动设备的基于视觉的映射和跟踪。
[0006]相关背景
[0007]近年来，基于模型的跟踪已成为移动设备上的顶尖技术水平。实时地对先验已知的良好纹理化的图像进行自然特征检测和跟踪已由多个团体证明，并且这些技术已在商业应用和软件开发工具中得到使用。
[0008]用单目相机在全三维中映射先验未知的场景并在六个自由度(6D0F)中进行跟踪仍然是困难的任务，在移动设备(诸如蜂窝电话或智能电话)上尤甚。从机器人学中已知的基于扩展卡尔曼滤波器(EKF)的经典办法目前在计算上是不可行的。仅众所周知的平行跟踪和映射(PTAM)系统已被证明作为原型在目前的智能电话上运行。然而，PTAM映射方法基于束调节技术，该技术由于较高的计算需求而随日益增大的映射图大小具有很差的扩展性。
[0009]概述
[0010]使用未知的平面对象的图像来执行实时跟踪和映射。捕捉该平面对象的多个图像。新图像被选择为新关键帧。为该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧估计单应性。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构。该图形结构可以是基于树的图形结构，并且该新关键帧和该多个先前关键帧中的每个先前关键帧是节点，且该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性是这些节点之间的边。该图形结构被用于创建该平面对象的映射图。基于该映射图和随后捕捉的图像来跟踪该平面对象。
[0011]在一个方面，一种方法包括捕捉平面对象的多个图像；将新图像选择为新关键帧；计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性；使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构；使用该图形结构来创建该平面对象的映射图；以及基于该映射图和随后捕捉的图像来跟踪该平面对象。
[0012]在一个方面，一种装置包括能够捕捉平面对象的多个图像的相机；以及耦合至该相机的处理器，该处理器被配置成将新图像选择为新关键帧，计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性，使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构，使用该图形结构来创建该平面对象的映射图，以及基于该映射图和随后捕捉的图像来跟踪该平面对象。
[0013]在一个方面，一种设备包括用于捕捉平面对象的多个图像的装置；用于将新图像选择为新关键帧的装置；用于计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的装置；用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的装置；用于使用该图形结构来创建该平面对象的映射图的装置；以及用于基于该映射图和随后捕捉的图像来跟踪该平面对象的装置。
[0014]在一个方面，一种包括存储于其上的程序代码的非瞬态计算机可读介质，包括用于从捕捉到的平面对象的多个图像中将新图像选为新关键帧的程序代码；用于计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的程序代码；用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的程序代码；用于使用该图形结构来创建该平面对象的映射图的程序代码；以及用于基于该映射图和随后捕捉的图像来跟踪该平面对象的程序代码。
[0015]附图简要说明
[0016]图1解说了能够使用未知的、纹理化的平面对象的所捕捉图像进行实时姿态跟踪和映射的移动设备。
[0017]图2解说了由移动设备用于姿态跟踪和映射的、紧密耦合的跟踪组件和映射组件。
[0018]图3解说了由组织在象限四分树中的两个关键帧内的诸点以及这两个关键帧之间的单应性构成的平面映射图。
[0019]图4是解说用于使用平面对象的所捕捉图像进行实时姿态跟踪和映射的方法的流程图。
[0020]图5解说了姿态图形，其将多个关键帧示为该图形的节点并且将这些关键帧之间的单应性示为该图形中的边。
[0021]图6A、6B、6C和6D解说了对平面图像校正参数化的几何解读。
[0022]图7是解说用于基于姿态一致性来将关键帧候选选择为关键帧的方法的流程图。
[0023]图8解说了与图5中所示的姿态图形相似、但包括关键帧候选F的姿态图形。
[0024]图9解说了用于使用包括新关键帧的节点(姿态)和边(单应性)的图形结构来创建映射图的方法。
[0025]图1OA和IOB解说了用于平面估计和姿态更新的单应性检索操作的不同办法。
[0026]图11是用于相对于平面点映射图来跟踪相机姿态的方法的流程图。
[0027]图12是如以上所讨论的能够使用所捕捉的图像进行姿态跟踪和映射的移动设备的框图。
[0028]详细描述
[0029]图1解说了能够使用例如从相机110获得的所捕捉图像来对未知的、纹理化的平面对象进行实时姿态跟踪和映射的移动设备100，该相机100可以是经校准的单目相机。移动设备100使用基于关键帧以及诸关键帧之间的因平面导致的单应性的映射办法。用图像校正过程按所测得的关键帧间单应性的数目基本上以线性时间解决了估计关键帧姿态的平面重构问题。姿态跟踪使用连续地扩展和细化的平面点映射图来传达稳健估计的姿态。
[0030]移动设备100被示为包括外壳101、显示器102 (其可以是触摸屏显示器)、以及扬声器104和话筒106。显示器102可以呈现由相机110捕捉的图像、地图、或任何其他期望的素材。移动设备100包括跟踪组件120和映射组件130。跟踪组件120通过处理来自相机110的平面环境图像流并计算相机姿态来跟踪相机姿态。跟踪组件120将所选的关键帧提供至映射组件的关键帧候选队列中。映射组件130处理这些关键帧以生成映射图，该映射图随着被捕捉的平面场景的新视图变得可用而被扩大和细化。映射组件130计算关键帧之间因平面导致的单应性并且将它们的关系组织在专用的姿态图形中。映射组件130向跟踪组件120提供点和关键帧的映射图，跟踪组件120用该映射图来跟踪相机姿态。当然，移动设备100可包括与本公开未必相关的附件组件。
[0031]如本文中所使用的，移动设备是指任何便携式电子设备，诸如蜂窝或其它无线通信设备、个人通信系统(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型设备、或者其它合适的移动平台。移动平台可以能够接收无线通信和/或导航信号(诸如导航定位信号)。术语“移动设备”还旨在包括诸如通过短程无线、红外、有线连接、或其他连接与个人导航设备(PND)通信的设备，不管卫星信号接收、辅助数据接收、和/或位置相关处理是发生在该设备处还是在PND处。另外，“移动设备”旨在包括能够捕捉在姿态跟踪和映射中使用的图像的所有电子设备，包括无线通信设备、计算机、膝上型设备、平板计算机、智能电话等等。
[0032]图2解说了由移动设备100用于姿态跟踪和映射的、紧密耦合的跟踪组件120和映射组件130。如图2中所解说的，跟踪组件120通过处理经校准的单目相机110的图像流并且例如在六个自由度(6D0F)中计算相机姿态来执行相机姿态跟踪122。相机姿态跟踪122离散地从该图像流中选择关键帧并且将所选的关键帧提供到映射组件130的关键帧候选队列中。映射组件130处理这些关键帧以生成持久映射图134，该映射图134随时间推移(例如，以连续方式)随着平面场景的新视图变得可用而被扩大和细化。在诸关键帧之间，计算因平面导致的单应性并且将其关系组织在专用的姿态图形中。映射组件130将由组织在象限四分树中的点、关键帧、和组织在图形中的单应性构成的平面映射图124提供给跟踪组件120以用于跟踪。
[0033]作为示例，图3解说了由组织在象限四分树142中的两个关键帧Ip Ij内的点构成的平面映射图140。关键帧中的每个点在图3中被解说为“X”。关键帧Ip L提供显著的图像测量并且分别经由相机姿态Pi和Pj与平面映射图140相关。这些关键帧示出二维(2D)场景的不同视图并且被用于计算将像素从一个关键帧映射到另一个关键帧的因平面导致的单应性。单应性H投影诸关键帧I之间的点，例如，如图3中所解说的，单应性Hm投影关键帧I1、Ij之间的点。在姿态图形中管理结果得到的关系，例如，关键帧和单应性被存储为图形中的节点和边。
[0034]映射组件130创建通过从跟踪组件120传递来的关键帧集合所观察到的未知的纹理化的平面场景的映射图。映射图由对平面表面进行采样的三维(3D)点构成。点观察要么源于显著的关键帧角落，要么源于作为姿态或单应性估计的一部分的特征匹配。平面映射点被组织在象限四分树中，从而导致例如在不同规模等级上对未经填充的映射图区域进行搜索期间采用的快速点检索。
[0035]图4是解说用于使用平面对象的所捕捉图像进行实时姿态跟踪和映射的方法的流程图。如所解说的，捕捉平面对象的多个图像(202)，例如，作为来自相机110的图像或视频流中的帧。将新图像选择为新关键帧(204)。例如，如果新图像产生具有良好质量的姿态估计，则可将该新图像与多个先前的关键帧(以及候选关键帧)作比较以确定是否有充分的交叠(例如使用一阈值)。如果有充分的交叠，则该新图像可由跟踪组件120推送到关键帧候选队列132上。另外，为了将该新图像选择为关键帧，该新图像可被验证是关于该平面对象的。验证可例如通过基于毗邻关键帧的姿态以及该新图像与这些毗邻关键帧之间相应的单应性来确定该新图像的多个姿态来执行。可将该多个姿态与由跟踪组件120为该新图像产生的跟踪姿态作比较，该跟踪姿态是从关于平面映射图跟踪该新图像所产生的。例如，如果该多个姿态与跟踪姿态之间成对的姿态差异的总和落在阈值内，则可确定该新图像属于该平面对象。
[0036]计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性(206)。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构(208)。作为示例，图5解说了姿态图形，其将多个关键帧(A，B, C，D，E)示为该图形的节点并且将这些关键帧之间的单应性示为该图形中的边(示为虚线)。还关于该平面来解说每个关键帧的姿态。对于连接关键帧对(i，j)的每个单应性Hy估计，添加连接相应节点Ii和Ij的有向边。该图形是有向的，这是因为单应性是在关键帧对之间在两个方向上独立地估计的以获得独立的测量。如图5中所解说的，计算新关键帧E与在空间上分布的多个先前关键帧A、C和D中的每个先前关键帧(而非紧邻在前的关键帧)之间的单应性。
[0037]该图形结构被用于创建平面对象的映射图(210)。例如，可通过从该多个先前关键帧中选择参考关键帧并且计算该参考关键帧关于平面对象的姿态来创建该映射图。参考关键帧可基于靠近新关键帧和靠近图形结构的中心节点中的一者来选择。使用参考关键帧的姿态以及参考关键帧与其余关键帧集合之间的单应性来为其余关键帧集合计算姿态。参考关键帧的姿态和其余关键帧集合的姿态可随后被用来创建映射图。随后，基于该映射图和随后捕捉的图像来跟踪该平面对象(212)。
[0038]姿态图形
[0039]映射组件130的用于生成映射图的输入是关键帧以及在这些关键帧之间测得的单应性的集合。与关键帧Ii相对应的相机姿态被表示为3X4变换矩阵Pi=(Rlt),其表示从世界坐标系至局部相机坐标系的刚性变换以及后续投影。对于一些关键帧对(i，j)，测量将点从关键帧Ii映射到关键帧L的单应性Hli，如图3中所解说的。
[0040]如图4中所解说的，可在将关键帧作为节点和将单应性作为边的有向图形中管理这些关键帧单应性关系。随着新关键帧被生成，与相邻关键帧的新单应性被测量并且两者都被添加至该图形。为了保持平面映射假定，仅相同平面上的关键帧应当被添加。因此，对主要示出离群区域(例如，描绘不同平面或非平面对象的区域)的视图的关键帧执行过滤，这些关键帧可能导致与主场景平面不一致的单应性。例如，可对新关键帧采用一致性检查。关键帧候选队列132中未通过一致性检查的候选关键帧可被拒绝。通过一致性检查的候选关键帧可被接受并被添加至该图形。
[0041]平面估计
[0042]为了创建3D点的映射图，估计与关键帧相对应的未知的相机姿态P”对于未知的关于该平面的关键帧相机姿态的计算，可采用校正算法。用于使用图像之间已知的单应性来解决估计平面的问题的两种一般性办法包括单应性分解和图像校正。单应性分解是指在给定平面对象的两个图像之间的单应性矩阵的情况下计算相机运动。图像校正算法从已知的核面几何形态(或平面情形中的单应性)计算投影变换，这些投影变换被应用于图像对，从而使其核线对齐，例如以用于ID搜索空间中的点匹配的目的。可以使用仅具有2D0F的在计算上高效的非线性优化方案，该优化方案使用专用参考相机与其他相机之间可变数目的单应性测量。
[0043]成本函数和参数化
[0044]提供了该优化方案的数学公式表述。我们将场景平面定义为位于与(X，y)平面相对应的正则位置z=0。该平面上的点由此具有等于O的z坐标并且可在齐次坐标中被写为(χ，ζ，0，1)。该优化中未知的是相对于此平面的相机姿态Pi。在所有世界点均位于该平面上的假定下，可通过消除姿态矩阵Pi的第三列容易地将相机姿态重新表述为2D单应性。
【权利要求】
1.一种方法，包括: 捕捉平面对象的多个图像； 将新图像选择为新关键帧； 计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性； 使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构； 使用所述图形结构来创建所述平面对象的映射图；以及 基于所述映射图和随后捕捉的图像来跟踪所述平面对象。
2.如权利要求1所述的方法，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。
3.如权利要求1所述的方法，其特征在于，使用所述图形结构来创建所述平面对象的所述映射图包括: 从所述多个先前关键帧中选择参考关键帧； 计算所述参考关键帧关于所述平面对象的姿态； 使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态；以及· 使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图。
4.如权利要求3所述的方法，其特征在于，所述参考关键帧是基于靠近所述新关键帧和靠近所述图形结构的中心节点中的一者来选择的。
5.如权利要求1所述的方法，其特征在于，将所述新图像选择为所述新关键帧包括:将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠，以及将所述交叠与一阈值作比较。
6.如权利要求1所述的方法，其特征在于，将所述新图像选择为所述新关键帧包括验证所述新图像属于所述平面对象。
7.如权利要求6所述的方法，其特征在于，验证所述新图像属于所述平面对象包括: 基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态； 将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较；以及 确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈值内。
8.一种装置，包括: 能够捕捉平面对象的多个图像的相机；以及 耦合至所述相机的处理器，所述处理器被配置成将新图像选择为新关键帧，计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性，使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构，使用所述图形结构来创建所述平面对象的映射图，以及基于所述映射图和随后捕捉的图像来跟踪所述平面对象。
9.如权利要求8所述的装置，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。
10.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来将所述图形结构用于创建所述平面对象的映射图:从所述多个先前关键帧中选择参考关键帧，计算所述参考关键帧关于所述平面对象的姿态，使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态，以及使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图。
11.如权利要求10所述的装置，其特征在于，所述处理器被配置成基于靠近所述新关键帧和靠近所述图形结构的中心节点中的一者来选择所述参考关键帧。
12.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来将所述新图像选择为所述新关键帧:将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠，以及将所述交叠与一阈值作比较。
13.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成验证所述新图像属于所述平面对象来将所述新图像选择为所述新关键帧。
14.如权利要求13所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来验证所述新图像属于所述平面对象:基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态，将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较，以及确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈值内。·
15.一种设备，包括: 用于捕捉平面对象的多个图像的装置； 用于将新图像选择为新关键帧的装置； 用于计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的装置； 用于使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构的装置； 用于使用所述图形结构来创建所述平面对象的映射图的装置；以及 用于基于所述映射图和随后捕捉的图像来跟踪所述平面对象的装置。
16.如权利要求15所述的设备，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，而所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。
17.如权利要求15所述的设备，其特征在于，所述用于使用所述图形结构来创建所述平面对象的映射图的装置包括: 用于从所述多个先前关键帧中选择参考关键帧的装置；用于计算所述参考关键帧关于所述平面对象的姿态的装置； 用于使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态的装置；以及 用于使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图的>J-U ρ?α装直。
18.如权利要求15所述的设备，其特征在于，所述用于将所述新图像选择为所述新关键帧的装置包括:用于将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠的装置，以及用于将所述交叠与一阈值作比较的装置。
19.如权利要求15所述的设备，其特征在于，所述用于将所述新图像选择为所述新关键帧的装置包括用于验证所述新图像属于所述平面对象的装置。
20.如权利要求19所述的设备，其特征在于，所述用于验证所述新图像属于所述平面对象的装置包括: 用于基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态的装置； 用于将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较的装置；以及 用于确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈·值内的装置。
21.一种包括存储于其上的程序代码的非瞬态计算机可读介质，包括: 用于从平面对象的捕捉到的多个图像中将新图像选择为新关键帧的程序代码； 用于计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的程序代码； 用于使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构的程序代码； 用于使用所述图形结构来创建所述平面对象的映射图的程序代码；以及 用于基于所述映射图和随后捕捉的图像来跟踪所述平面对象的程序代码。
22.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。
23.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于使用所述图形结构来创建所述平面对象的映射图的程序代码包括: 用于从所述多个先前关键帧中选择参考关键帧的程序代码； 用于计算所述参考关键帧关于所述平面对象的姿态的程序代码； 用于使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态的程序代码；以及 用于使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图的程序代码。
24.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于将所述新图像选择为所述新关键帧的程序代码包括:用于将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠的程序代码，以及用于将所述交叠与一阈值作比较的程序代码。
25.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于将所述新图像选择为所述新关键帧的程序代码包括用于验证所述新图像属于所述平面对象的程序代码。
26.如权利要求25所述的非瞬态计算机可读介质，其特征在于，所述用于验证所述新图像属于所述平面对象的程序代码包括: 用于基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态的程序代码； 用于将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较的程序代码；以及 用于确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对·象的阈值内的程序代码。
【文档编号】G06T7/20GK103858148SQ201280026188
【公开日】2014年6月11日 申请日期:2012年5月4日 优先权日:2011年5月27日
【发明者】C·皮切艾姆, G·瑞特玛耶 申请人:高通股份有限公司
最新回复(0)