基于前景物体再现扩增实境的制作方法
基于前景物体再现扩增实境的制作方法
【专利说明】基于前景物体再现扩増实境
[0001]相关申请案的交叉参考
[0002]本申请案主张2013年I月3日申请且标题为“基于前景物体再现扩增实境(Rendering Augmented Reality Based on Foreground Ob ject)，，的第 I3/733，740 号美国申请案的权利及优先权，所述申请案转让给本受让人且以引用的方式并入本文中。
技术领域
[0003]本文中所描述的主题的实施例大体上是有关于检测及追踪一系列所捕捉图像(例如视频流)中的可移动物体，且更明确地说是有关于使用可移动物件与再现于所捕捉图像的显示中的扩增互动。
【背景技术】
[0004]在扩增实境(augmented reality，AR)应用中，对现实世界物体成像且将其与电脑产生信息(例如图像、图形或文字信息)一起显示于屏幕上。电脑产生信息再现于现实世界物体上方且可用以(例如)提供关于现实世界物体的图形或文字信息或用于娱乐目的(例如动画或游戏)。然而，用户通常与显示于AR型应用中的再现物体互动的能力是有限的且非直观的。
[0005]用户用来与再现物体互动的当前方法通常使用装置上的物理输入元件，例如按钮或触摸屏。用以用户与再现扩增之间的互动的另一方法被称作虚拟按钮。用户可通过利用例如手指的物体将成像场景的预先指定区域遮蔽(occluding)而与虚拟按钮互动。预先指定区域的遮蔽可以肉眼检测到，且作为回应，可执行动作。然而，具有虚拟按钮的所得扩增在用户不与虚拟按钮互动时是有限的，如同虚拟按钮与用户实际上存在于同一空间中。
【发明内容】
[0006]移动装置检测所捕捉图像(例如，不具深度信息的一系列视频帧)中的可移动前景物体。所述物体可为用户的手指中的一或多个。所述物体可通过以下操作检测到:使场景的包含所述物体的所捕捉图像及所述场景的不具所述物体的参考图像中的一个扭曲，因此所述图像具有相同视图，以及在扭曲之后比较所述所捕捉图像与所述参考图像。可使用掩模从所述所捕捉图像分割所述物体。在所述物体的提取图像中检测像素，并且使用所述像素检测所述前景物体上的关注点。可接着在后续图像中追踪所述物体。可再现扩增并且与所述扩增互动，或可检测临时手势且相应地执行所要动作。
[0007]在一个实施方案中，一种方法包含:捕捉场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点；使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点；在显示器上显示所述图像；以及基于所述关注点在所述显示器上于所述图像上方再现扩增。
[0008]在一个实施方案中，一种设备包含:摄像机；显示器；以及处理器，所述处理器耦合到所述显示器且耦合到所述摄像机以接收场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点，所述处理器经配置以进行以下操作:使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点；在所述显示器上显示所述图像；以及基于所述关注点在所述显示器上于所述图像上方再现扩增。
[0009]在一个实施方案中，一种设备包含:用于捕捉场景的图像的装置，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点；用于使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图的装置；用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置；用于使用所述检测到的像素检测所述前景物体上的所述关注点的装置；用于在显示器上显示所述图像的装置；以及用于基于所述关注点在所述显示器上于所述图像上方再现扩增的装置。
[0010]在一个实施方案中，一种包含存储于其上的程序代码的存储媒体包含:用以接收场景的图像的程序代码，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点；用以使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图的程序代码；用以在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的程序代码；用于使用所述检测到的像素检测所述前景物体上的所述关注点的程序代码；用以在显示器上显示所述图像的程序代码；以及用以基于所述关注点在所述显示器上于所述图像上方再现扩增的程序代码。
【附图说明】
[0011]图1说明能够检测及追踪所捕捉图像中的可移动前景物体的移动装置。
[0012]图2为检测及追踪成像场景中的前景物体的方法的流程图。
[0013]图3A为详述图2的方法的部分的流程图，其中前景物体是使用掩模从图像分割。
[0014]图3B为详述图2的方法的部分的流程图，其中前景物体是在不使用掩模的情况下从图像提取。
[0015]图4为示出用以产生掩模的不同方法的流程图。
[0016]图5A说明包含台上的目标及前景物体的所捕捉图像。
[0017]图5B说明来自图5A的目标的参考图像。
[0018]图5C说明包含目标及前景物体的部分的扭曲图像。
[0019]图说明利用掩模分割的前景物体。
[0020]图5E说明在来自图5C的扭曲图像中的前景物体上检测到的多个关注点。
[0021]图5F说明具有基于检测到前景物体再现的扩增的所捕捉图像。
[0022]图6以图形方式说明比较所捕捉图像与参考图像以产生掩模。
[0023]图7说明用于检测所捕捉图像中的前景物体的系统图。
[0024]图8为说明追踪一或多个前景物体以用于手势辨识的流程图。
[0025]图9类似于图1且说明再现于大于目标的空间中的扩增。
[0026]图10为能够检测并追踪成像场景中的前景物件的移动装置的框图。
【具体实施方式】
[0027]图1说明移动装置100，所述移动装置能够检测由摄像机110捕捉的不具深度信息的图像中的可移动前景物体。前景物体可为(例如)用户111的手指112或手，或未附加到成像场景的任何其他所要物体。前景物件可在随后捕捉的图像中加以追踪。应理解，移动装置100可捕捉场景的视频流，其中视频流由多个帧或图像组成。因此，如本文中所使用，所捕捉图像应理解为包含视频的个别图像以及帧。
[0028]移动装置100在图1中示出为处于对场景102成像的横向模式中，所述场景包含具有目标106的台104以及呈用户111的手指的形式的前景物体112。成像场景(包含前景物体112)与扩增108 (即，电脑再现物体)一起在移动装置100的显示器101上示出。通过检测前景物体112，扩增108可再现以便看起来用户111正在与扩增108互动。举例来说，扩增108可再现，使得所述扩增在显示器101中好像在前景物体112下。此外，通过在随后捕捉的图像中追踪前景物体112，所述扩增可再现，使得所述扩增在显示器101中好像被用户111触摸、推动、拉动或以其他方式操纵。当然，检测到的前景物体112可用于任何所要应用中。举例来说，通过追踪用户指尖在多个图像中的位置，移动装置100可辨别用户所作出的手势，且因此，用户的意图动作可从所捕捉图像确定。
[0029]如本文中所使用，移动装置是指能够从所捕捉图像或视频流进行基于视觉的位置检测及追踪的任何便携式电子装置，且可包含(例如)蜂窝式或其他无线通信装置、个人通信系统(personal communicat1n system, PCS)装置、个人导航装置(personalnavigat1n device，PND)、个人信息管理器(Personal Informat1n Manager，PIM)、个人数字助理(Personal Digital Assistant，PDA)，或其它合适的移动装置(包含摄像机、无线通信装置、计算机、膝上型计算机、平板计算机等)。移动装置可以，但未必必需能够接收无线通信及/或导航信号，例如导航定位信号。术语“移动装置”还希望包含例如通过短程无线、红外线、缆线连接或其它连接与个人导航装置(PND)通信的装置，而不管在装置处或在PND处是否发生卫星信号接收、辅助数据接收及/或位置相关处理。
[0030]移动装置100能够检测并追踪一或多个物体112 (例如，用户111的手指，或未附加到成像场景的其它可移动物体)的位置。举例来说，例如随机森林(Random Forest)分类器的分类器可用以稳健地检测前景物体。在未附加到场景时处于前景中的物体可使用背景分割来检测。然而，背景分割通常需要使用深度信息。然而，移动装置100可通过估计具有已知目标106的背景及移动装置100相对于目标106的当前姿势(位置及定向)而在不具深度信息的情况下执行背景分割。估计的背景可从图像减去以识别前景物体。因此，为了与所显示扩增互动，用户111可将物体112放在所捕捉图像中的背景上方，使得可(例如)使用所述分类器来分割并检测到手指112。
[0031]移动装置100使用在追踪系统中已获得的信息(即，已知目标及姿势)来执行背景分割，这使物体检测过程简化并加速。此外，关于从背景分割的物体，例如随机森林分类器的分类器可用以快速地检测物体。因此，物体可以允许用户自然地与AR扩增互动的高效方式检测并追踪，从而增强用户体验。
[0 032]图2为检测成像场景中的前景物体的方法的流程图。如所说明，捕捉场景的图像(202)。所述图像可为视频帧或个别图像，其由另外不提供深度信息的摄像机捕捉。所述图像包含未附加到所述场景的前景物体，即，所述前景物体可相对于所述场景移动。通过举例的方式，所述前景物体可为用户的手指或多个手指、指针或其它物体。所述前景物体包含关注点，如本文中所使用，关注点为所述前景物体的独特物理方面。因此，如本文中所使用，与使用技术(例如，使用标度不变特征变换(Scale Invariant Feature Transforms，SIFT)、快速鲁棒特征(Speeded Up Robust Feature，SURF)等)从图像提取的特征对照，所述前景物体的关注点为所述前景物体的物理特性或属性(例如，手指或指针的尖端、手指上的指甲或其它此类物体)。所述场景可包含已知目标以提供摄像机相对于环境的姿势。目标可为先验已知的，即，目标的参考图像或模型可能已知并存储，或目标可基于所述场景的一或多个所捕捉图像(例如，使用同时定位与绘图(Simultaneous Localizat1n and Mapping，SLAM)或其它适当技术)实时地得知。另外或替代地，姿势可使用(例如)基于传感器的追踪器来确定。
[0033]使所述图像及所述场景的参考图像(其不包含所述前景物体)中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图(例如，正视图)(204)。所述参考图像是关于所述场景或所述场景的部分且不包含所述前景物体，且因此为所述场景中的背景。举例来说，所述参考图像可为仅具有已知目标的图像或可为包含已知目标及目标周围的区域的图像。在扭曲之后比较所述图像与参考图像以检测属于所述前景物体上的所述关注点的像素(206)。所述图像与所述参考图像的比较识别作为前景物体的所述图像的部分，可(例如)使用SIFT、SURF等从所述部分提取像素以作为提取特征。如果需要(但未必)，可基于所述图像与所述参考图像的比较来产生所述前景物体的掩模，且可使用所述掩模从所述图像分割所述前景物体。可接着使用从所述图像分割的所述前景物体检测所述像素。接着使用所述像素检测所述前景物体上的所述关注点(208)。通过举例的方式，分类器可用以检测所述前景物体上的所述关注点。至分类器的输入可为(例如)分割的前景物体或前景掩模，其中供给分类器的训练数据在两个上述情况下可不同。在使用分类器检测所述前景物体上的所述关注点的情况下，不需要对所述前景物体的预定几何约束。所述关注点因而可用于任何所要应用中。举例来说，在显示器上显示所述图像(210)且基于所述关注点在显示器上于所述图像上方再现扩增(212)。举例来说，扩增可再现为看起来如同扩增在显示于显示器上的所述前景物体下方。另外，随后捕捉的图像可显示于显示器上且所述扩增可基于随后捕捉的图像中的关注点而更改。
[0034]图3A说明在扭曲之后比较图像与参考图像以检测属于前景物体上的关注点的像素的过程(图2中的步骤206) ο如所说明，基于所述图像与所述参考图像的比较而产生用于所述前景物体的掩模(222)。所述掩模可(例如)通过以下操作而产生:在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生用于每一像素的差，及比较用于每一像素的差与阈值以产生所述掩模。或者，可针对扭曲之后的所述图像及所述参考图像中的对应像素产生比率，且比较对应像素的比率与阈值以产生所述掩模。可使用所述掩模从所述图像分割所述前景物体(224)且可使用从所述图像分割的前景物体来检测像素(226)。
[0035]图3B说明在扭曲之后比较所述图像与参考图像以检测属于所述前景物体上的所述关注点的像素的过程(图2中的步骤206)的另一实施例，所述过程不具有产生掩模及从所捕捉图像分割所述前景物体的中间步骤。如所说明，使用所捕捉图像中的不同于参考图像中的对应像素的像素产生前景物体图像(225)。举例来说，在扭曲图像284与参考图像282的比较期间，任何像素经检测为不同的且因此在前景物体中，将像素的强度复制到最初可能是黑色的新图像的对应位置。以这种方式，前景像素可映射到前景图像。属于所述前景物体上的所述关注点的像素可从所述前景物体图像检测(例如，提取)。
[0036]图4通过举例的方式说明用以使所捕捉图像及参考图像中的至少一者扭曲以具有与另一者相同的视图(图2中的步骤204)以及在扭曲之后比较所捕捉图像与参考图像(图2中的步骤206)的不同方法。如所说明，(例如)在初始化过程期间，产生参考图像(231)。所述参考图像可通过在前景物体112不存在的情况下捕捉目标106的图像而在初始化期间产生。基于所捕捉图像产生姿势(232)。例如，当所述场景是平面的时，所述姿势可(例如)通过计算所捕捉图像与所述目标的参考图像之间的单应性来产生。众所周知，可通过以下操作来确定姿势:例如使用SIFT (标度不变特征变化)、SURF (快速鲁棒特征)等从所捕捉图像提取特征，以及比较所捕捉图像中的提取特征与参考图像中的类似提取特征及计算(例如)用于将来自所捕捉图像的提取特征映射到参考图像的单应性。
[0037]在一个实施例中，基于所述姿势使所捕捉图像扭曲(234)以具有与参考图像相同的视图，即，使所捕捉图像逆向扭曲(backwarped)。在这个实施例中，可通过基于初始图像(其包含目标，但不包含前景物体)与已知目标图像(即，目标的存储参考图像)之间的单应性使在初始化期间捕捉到的图像扭曲来产生参考图像(231)。使用在初始化期间捕捉到的图像作为参考图像是有利的，因此参考图像具有与随后捕捉的图像类似的照明条件。借助于说明，图5A示出所捕捉图像280，其包含台104上的目标106以及用户的手指112。图5B说明目标106的参考图像282，所述参考图像是先前在初始化期间(例如，在图4的步骤231中)产生。可以看出，参考图像282是呈正视图的目标106的图像。如果需要，参考图像282可包含目标106周围的额外空间，S卩，台104。然而，在图5A中可以看出，所捕捉图像280是从侧视图获得。因此，逆向扭曲所捕捉图像280，使得所得扭曲图像具有与参考图像相同的视图，例如，正视图。逆向扭曲所捕捉图像280可(例如)通过确定所捕捉图像280与已知目标图像之间的单应性以及使用所述单应性使所捕捉图像280扭曲来执行。因此，参考图像282及所捕捉图像280均来自同一视图。通过举例的方式，图5C将扭曲之后的所捕捉图像280的部分说明为扭曲图像284，所述扭曲图像仅包含目标106及用户的手指112在目标106之上的部分。如果需要，可使整个所捕捉图像280扭曲。
[0038]如图4中所论述，比较所述参考图像与所述扭曲图像以产生掩模(236)。举例来说，可比较所述扭曲图像中的像素与所述参考图像中的对应像素，或可比较像素的补丁与所述参考图像中的像素的对应补丁。将阈值与结果一起使用以产生所述掩模。所述比较可通过减去对应像素或产生像素的比率来执行。扭曲图像284与参考图像282的逐像素(或逐补丁)比较可(例如)在YUV域中执行。可丢弃强度通道(Y)且可个别地比较色度通道(U及V)。在一个实施例中，逐像素(或逐补丁)比较可基于从扭曲图像284减去参考图像282，如图6中以图形方式所说明。如果扭曲图像中的任何像素(或补丁)与参考图像中的对应像素(或补丁)(在U或V通道中)之间的差大于阈值，那么扭曲图像中的像素(或补丁)经确定具有不同于参考图像中的对应像素(或补丁)的色彩，且因此，像素(或补丁)属于前景物体，例如，用户的手指112。在另一实施例中，并非减去对应像素，而是在扭曲之后针对所述图像及所述参考图像中的对应像素产生比率，且比较对应像素的所得比率与阈值以产生所述掩模，例如在如下情况下:如果所述比率在以I为中心的阈值外，那么认为像素是不同色彩。
[0039]所述阈值可能固定或可适合于每个图像。此外，所述阈值可针对每一像素(或补丁)相同或改变。在一个实施方案中，所述阈值可作为所述两个图像之间的逐像素差的百分点而产生，例如，所述阈值可为所述差值的第90百分点。在另一个实施例中，所述阈值可通过将色彩范围(在色度通道U及V中)划分成N个块以使得每一块可视地好像为相同色彩来确定，且所述阈值为单一块的长度。用于N的值可基于U及V通道的范围且可凭经验确定。举例来说，如果U及V从O到I变动，那么将所述范围划分成20个块产生0.05的块长度，所述块长度为阈值。在另一实施方案中，阈值可基于在初始化期间收集的几个帧的每一像素的色彩的平均数及方差收集到的统计数据，其中，例如，平均数±2.5*标准偏差可用作为特定像素的阈值。.
[0040]如图6中所说明，所捕捉图像与参考图像的比较可用以产生掩模。举例来说，比较参考图像282与扭曲图像284之间的差与阈值，从而产生原始掩模287。如图6中的箭头289所指示，原始掩模287可(例如)使用高斯模糊进行滤波，或经历继之以阈值的形态运算(例如，扩张或侵蚀)以产生平滑的掩模288。与减去对应像素对照，过滤器可与使用对应像素的比率产生的原始掩模一起使用。
[0041]或者，所捕捉图像与参考图像的比较可用以识别所捕捉图像中的前景物体，而不具有产生掩模及从所捕捉图像分割前景物体的中间步骤。举例来说，在扭曲图像284与参考图像282的比较期间，任何像素经检测为不同的且因此在前景物体中，将像素的强度复制到最初可能是黑色的新图像的对应位置。以这种方式，前景像素可在不使用掩模的情况下映射到图中所示出的前景图像290。
[0042]如图4中所说明，替代使所捕捉图像逆向扭曲，可基于姿势将参考图像扭曲为与所捕捉图像相同的视图(235)。在这个实施例中，产生参考图像(231)以作为目标的不具前景物体的初始图像。使用参考图像与已知目标图像之间的单应性及来自232的姿势使参考图像扭曲成与所捕捉图像相同的视图。可比较所捕捉图像与扭曲参考图像(237)，其方式类似于上文参考框236所描述的方式。
[0043]如果产生掩模，如图3 A中所论述，那么所述掩模可用以在检测属于所述前景物体上的所述关注点的像素之前从所捕捉图像分割前景物体(224)。通过举例的方式，在使所捕捉图像逆向扭曲以产生掩模的情况下，如图4中的框234及236中所描述，掩模288 (图6)可应用于扭曲图像284(图5C)以移除背景(例如，目标106)，由此仅留下前景物体(即，手指112)，如图中的前景图像290所说明。类似地，如果使参考图像扭曲以产生掩模，如图4中的框235及237中所描述，那么掩模可应用于所捕捉图像以移除背景(例如，目标106)，由此在前景图像中仅留下前景物体(即，手指112)。如果不使用掩模，如图3B中所论述，那么在扭曲之后对所捕捉图像与参考图像的比较中不同的任何像素的强度可映射到新图像以产生图5D中的前景图像290。
[0044]接着可检测属于所述前景物体上的所述关注点的像素。可通过使用(例如)SIFT、SURF或任何其它适当技术提取特征来检测所述像素。如果使所捕捉图像逆向扭曲(图4中的234)，那么可(例如)在图中示出的前景图像290上检测到所述像素，并且将所述像素映射到扭曲图像284。通过举例的方式，图5E说明在扭曲图像284中的手指112上检测到的多个像素291，而背景(S卩，目标106)不具有检测到的像素。如果需要，可基于所述单应性将来自扭曲图像284的像素投影在所捕捉图像上。或者，如果使参考图像扭曲(图4中的235)，那么可在所得前景图像上检测到像素并且将所述像素映射到所捕捉图像，因为前景图像在这个实施例中未被扭曲。
[0045]如上文所论述，可使用所述像素检测图像中的前景物体上的关注点(图2中的步骤208)。可使用所述像素及预定几何约束来检测关注点，即，假定前景物体具有特定配置。然而，使用分类器，可在不具预定几何约束的情况下使用所述像素来检测关注点。因此，图5E中的像素291的配置可由分类器使用以检测关注点(例如，前景物体112的尖端293)。来自扭曲图像284的关注点可基于单应性而投影在所捕捉图像上。或者，如果使参考图像扭曲(图4中的235)，那么可在所得前景图像上检测到所述关注点且将所述关注点映射到所捕捉图像，因为前景图像在这个实施例中未扭曲。
[0046]因此，在所捕捉图像中检测前景物体，并且具体地说，前景物体上的关注点。当参考图像282仅包含目标106时，可在目标106上方检测到前景物体，如图5B中所说明。如果参考图像282经扩展而包含目标106周围的额外空间(例如，台104)，那么可在目标106外的区域上方检测到前景物体。
[0047]在检测到所捕捉图像中的前景物体的情况下，可相对于所捕捉图像中的前景物体再现扩增。举例来说，可再现扩增，使得所述扩展看上去其在前景物体下，例如，手指112部分地遮蔽圆盘294，如图5F中所说明。
[0048]利用在所捕捉图像中检测到的前景物体112，可在随后捕捉的图像中追踪所述前景物体。例如，可通过针对每一随后捕捉的图像重复所述过程而在随后捕捉的图像中追踪所述前景物体，例如，使随后捕捉的图像及所述场景的参考图像中的至少一者扭曲，在扭曲之后比较随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；以及使用随后捕捉的图像中的检测到图像检测所述前景物体上的所述关注点。或者或另外，可例如使用例如如下所述的过程在随后捕捉的图像中追踪所述前景物体:用以在随后捕捉的图像中追踪所述关注点(例如，提取特征)中的检测到的像素的移动的光流。随后捕捉的图像可显示于移动装置100的显示器101上，同时所述扩增基于所追踪的前景物体再现在所述显示器上，使得所述扩增呈现用户可与所述扩增互动。举例来说，如图5F中所说明，在每一所捕捉图像280中，所述扩增(例如，圆盘294)可基于检测到手指112的位置而产生并且显示，如图像292中所说明。因此，可再现所述扩增，使得所述扩增呈现所追踪的前景物体在显示器中与所述扩增互动。
[0049]图7说明进一步详述前景物体的检测的系统图，其中前景物体的掩模经产生并且被用以从图像分割前景物体。可以看出，输入图像(即，初始化图像及随后捕捉的图像)将与已知目标图像304 —起提供到追踪器302。如上文所论述，所述追踪器从所述输入图像及已知目标图像304提取特征，并且产生姿势，S卩，所述输入图像与参考图像之间的单应性。所述追踪器可使用特定已知目标(实时地获取并且得知的目标，例如，矩形)，或可基于SLAM或基于传感器的追踪器。如所说明，背景估计器306基于所述已知目标图像使在初始化期间捕捉到的图像扭曲，以使用由追踪器302产生之单应性形成参考图像。输入图像、所述参考图像及所述输入图像的当前姿势被提供到前景掩模产生器308。前景掩模产生器308基于所述姿势使所述输入图像扭曲，使得扭曲输入图像来自与所述参考图像相同的视图。前景掩模产生器308比较所述扭曲输入图像及所述参考图像中的对应像素之间的差与阈值以产生前景掩模，如上文所讨论，所述前景掩模可经滤波。所得前景掩模可提供到前景提取器310。前景提取器310使用来自所述前景掩模的像素从所述输入图像提取前景以产生到检测器312的分割前景物体。检测器312检测分割前景物体中的像素(例如，提取特征)，且基于所述像素检测所述前景物体上的关注点。检测器312可包含(例如)分类器(例如，随机森林分类器)以检测所述前景物体上的所述关注点。分类器的一般操作在此项技术中很好理解。如果需要，如果已知物体的几何形状，那么来自前景掩模产生器308的前景掩模可由检测器312直接使用以检测前景物体。举例来说，给定来自前景掩模的手指的轮廓，检测器312可(例如)通过使用为这个目的训练的分类器来确定手指的位置。
[0050]如果存在场景变化，那么可能需要更新参考图像。举例来说，如果铅笔是在参考图像已初始化之后放在目标106上，那么铅笔将被检测为前景物体。可(例如)通过检测在许多帧中出现在前景掩模中的一致性区域及静止区域来检测场景变化。
[0051]另外，目标在当前照明条件下的外观变化也可通过使前几个摄像机帧逆向扭曲以及从所述摄像机帧产生统计数据来得知。这将使系统受由追踪器302传回的姿势的误差影响较小(图7)。举例来说，前景掩模产生器308可能碰到的可能问题来源为由追踪器302传回的略微偏离的姿势(例如，几个像素偏离)，这将使不正确像素在扭曲的当前图像及参考图像中进行比较。误差的另一来源为可使输入图像的像素与相邻者模糊的运动模糊(或手抖动)，并且因此，当前图像中的模糊像素与参考图像中的对应像素之间的差将被放大。通过使用统计数据(例如，在初始化期间得知的每一像素的外观(例如，色彩)的平均数及方差)作为用于产生前景掩模的阈值，由运动模糊引起的误差及姿势误差可减到最少。
[0052]在多个图像中追踪前景物体可用以辨别用户的意图动作，因此使用户能够与扩增互动或执行其它所要动作。举例来说，如图8中所说明，在随后捕捉的图像中追踪所述前景物体的所述关注点(402)。如果需要，可在一系列图像(例如，视频流)中追踪一或多个前景物体(例如，用户的手指尖端)。被追踪物体的移动可用以确定手势(404)，例如，在一段时间内由前景物体的移动产生的临时手势。举例来说，可比较被追踪前景物体的移动模式与手势数据库(其可为先前提供及/或得知的并且存储在移动装置100中)以确定正在执行哪个手势。另外，前景物体的配置可存储在手势(例如，收缩手势)的库中，所述收缩手势(其可与检测到的前景物体相比)可与相比以检测单一帧中的手势(即，非临时手势)。可接着执行与所述手势相关联的动作(406)。所述动作可关于与扩增的互动或可关于移动装置的控制。举例来说，确定的手势可用以更改显示(例如，放大或缩小、调暗或增亮等)或用以控制应用程式(例如，快进或倒带歌曲或视频等)。因此，前景物体上的检测到关注点可用以任何所要应用中。此外，所述扩增可为可由用户操纵的输入装置。图9(例如)类似于图1，但将扩增说明为键盘108a，用户的手指尖端可在其中被追踪以便确定用户的键入。应注意，键盘108a不同于常规虚拟按钮，因为用户的键入是从位置并且如果需要从用户的手指尖端的运动确定，与通过虚拟按钮通常所需要的遮蔽目标的经特定设计的区域相对照。另外，所述用户接口可为其它类型的选择装置而非键盘。在一个实施例中，再现于目标106上方的扩增可为从移动装置100投影到目标106上的显示。举例来说，当用户的手指或其它物体被相对于所再现扩增追踪时，网络浏览器窗口或其它显示接口可被扭曲并且投影以在显示器101中出现在目标106上方，以便所显示的接口互动。
[0053]图10为能够检测成像场景中的前景物件的移动装置100的框图。移动装置100包含借以成像场景的摄像机110。移动装置100进一步包含用户接口 103，其包含例如显示器101以及小键盘或其它输入装置，通过所述输入装置，用户可以将信息输入到移动装置100中。移动装置100可包含额外元件，例如运动传感器114，众所周知，运动传感器可包含例如加速计、陀螺仪、磁力计等，并且可用以有助于移动装置100的姿势确定。与本发明不相关的额外元件(例如，用户接口 103中的麦克风及扬声器、无线接口等)也可包含于移动装置100 中。
[0054]移动装置100还包含控制单元105，所述控制单元连接到摄像机110及显示器101以及其它元件(例如，运动传感器114，如果使用)并且与前述各者通信。控制单元105接受并且处理从摄像机110获得的数据，并且使显示器101如本文中所论述地显示所再现扩增。控制单元105可由总线105b、处理器105p及相关联存储器105m、硬件105h、固件105f及软件105s提供。控制单元105被进一步说明为包含追踪器302，所述追踪器追踪移动装置100或更具体来说摄像机110相对于成像场景(其可包含目标106)的姿势。控制单元105可进一步包含背景估计器306，所述背景估计器可用以产生参考图像，例如，通过基于由追踪器302产生的姿势使不具前景物体的初始图像扭曲成 参考图像。控制单元105中的前景掩模产生器308比较所述参考图像与当前图像以产生用于前景物体的掩模。前景提取器310可用以(例如)在尚不知道物体的几何形状的情况下基于所述掩模而从当前图像分割前景物体。检测器312可包含用于检测属于前景物体上的关注点的像素的提取器312e，及用以使用所述像素检测关注点的分类器312c，而再现模块314用以产生在显示器101中在所捕捉图像上方示出的扩增。
[0055]为了清楚起见，将各种模块302、306、308、310、312及314与处理器105p分开来说明，但所述各种模块可为处理器105p的部分或基于在处理器105p中运行的软件105s中的指令而实施于处理器中。应理解，如本文中所使用，处理器105p可以但不是必须包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)，及其类似者。术语处理器意图描述由系统而非特定硬件实施的功能。此外，如本文中所使用，术语“存储器”是指任何类型的计算机存储媒体，包含长期存储器、短期存储器或与移动装置相关联的其它存储器，并且不限于任何特定类型的存储器或特定数目的存储器，或特定类型的其上存储有存储器的媒体。
[0056]根据应用，本文中所描述的方法可以通过各种装置来实施。举例来说，这些方法可在硬件105h、固件105f、软件105s或其任何组合中实施。对于硬件实施方案，处理单元可以在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSH))、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内实施。
[0057]对于固件及/或软件实施方案，所述方法可用执行本文中所描述的功能的模块(例如，程序、功能等等)来实施。在实施本文中所描述的方法时，可使用任何有形地体现指令的机器可读媒体。举例来说，软件代码可存储在存储器105m中且由处理器105p执行。存储器105m可在处理器105p内或外部实施。如果在固件及/或软件中实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读的存储媒体上，其中所述存储媒体不包含暂时性传播信号。实例包含编码有数据结构的存储媒体及编码有计算机程序的存储装置。存储媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用以存储呈指令或数据结构形式的所要程序代码并且可由计算机存取的媒体；如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含在存储媒体的范围内。
[0058]因此，移动装置100包含用于捕捉场景的图像的装置，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点，所述装置可为(例如)摄像机110。用于使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，使得所述图像及所述参考图像具有相同视图的装置可为(例如)追踪器302、背景估计器306及前景掩模产生器308，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置可为(例如)前景掩模产生器308、前景提取器310及检测器312 (且更具体言之，提取器312e)，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于使用所述检测到的像素检测所述前景物体上的所述关注点的装置可为(例如)检测器312 (且更具体言之，分类器)，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于在显示器上显示所述图像的装置可为(例如)显示器101。用于基于所述关注点在所述显示器上于所述图像上方再现扩增的装置可为(例如)再现模块314，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。
[0059]用于使用掩模从所述图像分割所述前景物体的装置可为(例如)前景提取器310，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p用于从所述图像提取所述前景物体的装置可为(例如)前景提取器310，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于使所述图像及所述参考图像中的至少一者扭曲的所述装置可包含用于产生所述图像与所述参考图像之间的姿势的装置(其可为(例如)追踪器302，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p);以及用于基于所述姿势使所述图像及所述参考图像中的一者扭曲的装置(其可为(例如)背景估计器306，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p)。移动装置100可包含用于在显示器上显示随后捕捉的图像的装置，其可为(例如)显示器101。用于基于所述随后捕捉的图像中的所述关注点更改所述扩增的装置可为(例如)再现模块314，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。移动装置100可进一步包括包含用于在随后捕捉的图像中追踪所述前景物体上的所述关注点的装置，其可为(例如)追踪器302、背景估计器306、前景掩模产生器308、前景提取器310及检测器312，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于基于所述前景物体上的所述关注点的移动来检测临时手势的装置可为(例如)执行从软件105s接收的指令的硬件105h、固件105f或硬件105h、固件105f或处理器105p ;并且用于执行与所述临时手势相关联的动作的装置可为(例如)执行从软件105s接收的指令的硬件105h、固件105f或硬件105h、固件105f或处理器105p。
[0060]尽管出于指导性目的而结合特定实施例来说明本发明，但本发明不限于此。可在不脱离本发明的范围的情况下作出各种调适和修改。因此，所附权利要求书的精神和范围不应限于前述描述。
【主权项】
1.一种方法，其包括: 捕捉场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点； 使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图； 在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素； 使用所述检测到的像素检测所述前景物体上的所述关注点； 在显示器上显示所述图像；以及 基于所述关注点在所述显示器上于所述图像上方再现扩增。2.根据权利要求1所述的方法，其中未附加到所述场景的所述前景物体为用户的至少一个手指且所述关注点为所述手指的尖端。3.根据权利要求1所述的方法，检测所述前景物体上的所述关注点是在对所述前景物体无预定几何约束的情况下执行。4.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括: 产生用于所述前景物体的掩模； 使用所述掩模从所述图像分割所述前景物体；以及 使用从所述图像分割的所述前景物体检测所述像素。5.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括: 使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像；以及 在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。6.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像包括: 在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差；以及 比较每一像素的所述差与阈值。7.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像包括: 在扭曲之后产生所述图像及所述参考图像中的对应像素的比率；以及 比较对应像素的所述比率与阈值。8.根据权利要求1所述的方法，其中使所述图像及所述参考图像中的至少一者扭曲包括: 产生所述图像与所述参考图像之间的姿势；以及 基于所述姿势使所述图像及所述参考图像中的一者扭曲。9.根据权利要求1所述的方法，其进一步包括: 在所述显示器上显示随后捕捉的图像；以及 基于所述随后捕捉的图像中的所述关注点更改所述扩增。10.根据权利要求1所述的方法，其中在所述显示器上再现所述扩增包括再现所述扩增以看起来如同所述扩增在显示于所述显示器上的所述前景物体下方。11.根据权利要求1所述的方法，其中所述场景包含具有关注点的多个前景物体，所述方法进一步包括: 通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素；以及 使用所述检测到的像素检测所述多个前景物体上的所述关注点。12.根据权利要求1所述的方法，其进一步包括: 在随后捕捉的图像中追踪所述前景物体上的所述关注点； 基于所述前景物体上的所述关注点的移动来检测临时手势；以及 执行与所述临时手势相关联的动作。13.根据权利要求1所述的方法，其进一步包括: 比较所述前景物体上的所述关注点的配置与手势配置库； 从所述前景物体上的所述关注点的所述配置识别手势；以及 执行与所述手势相关联的动作。14.根据权利要求1所述的方法，其中所述图像是使用不具有深度信息的摄像机捕捉。15.根据权利要求1所述的方法，其进一步包括在随后捕捉的图像中追踪所述前景物体包括: 对于每一随后捕捉的图像，使所述随后捕捉的图像及所述场景的所述参考图像中的至少一者扭曲； 在扭曲之后比较所述随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；以及 使用所述随后捕捉的图像中的所述检测到的像 素检测所述前景物体上的所述关注点。16.根据权利要求1所述的方法，其进一步包括使用具有属于所述关注点的所述像素的光流在随后捕捉的图像中追踪所述前景物体。17.—种设备，其包括: 摄像机； 显示器；以及 处理器，所述处理器耦合到所述显示器且耦合到所述摄像机以接收场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点，所述处理器经配置以进行以下操作:使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点；在所述显示器上显示所述图像；以及基于所述关注点在所述显示器上于所述图像上方再现扩增。18.根据权利要求17所述的设备，其中未附加到所述场景的所述前景物体为用户的至少一个手指且所述关注点为所述手指的尖端。19.根据权利要求17所述的设备，其中所述处理器经配置以在对所述前景物体无预定几何约束的情况下检测所述前景物体上的所述关注点。20.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述参考图像以检测属于所述前景物体上的所述关注点的像素:产生用于所述前景物体的掩模； 使用所述掩模从所述图像分割所述前景物体；以及 使用从所述图像分割的所述前景物体检测所述像素。21.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述参考图像以检测属于所述前景物体上的所述关注点的像素: 使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像；以及 在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。22.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像:在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差；以及比较每一像素的所述差与阈值。23.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像:在扭曲之后产生所述图像及所述参考图像中的对应像素的比率，以及比较对应像素的所述比率与阈值。24.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而使所述图像及所述参考图像中的所述至少一者扭曲:产生所述图像与所述参考图像之间的姿势，以及基于所述姿势使所述图像及所述参考图像中的一者扭曲。25.根据权利要求17所述的设备，其中所述处理器经进一步配置以进行以下操作:使随后捕捉的图像显示于所述显示器上，以及基于所述随后捕捉的图像中的所述关注点更改所述扩增。26.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在所述显示器上再现所述扩增:再现所述扩增以看起来如同所述扩增在显示于所述显示器上的所述前景物体下方。27.根据权利要求17所述的设备，其中所述场景包含具有关注点的多个前景物体，其中所述处理器经进一步配置以: 通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素；以及 使用所述检测到的像素检测所述多个前景物体上的所述关注点。28.根据权利要求17所述的设备，其中所述处理器经进一步配置以: 在随后捕捉的图像中追踪所述前景物体上的所述关注点； 基于所述前景物体上的所述关注点的移动来检测临时手势；以及 执行与所述临时手势相关联的动作。29.根据权利要求17所述的设备，其中所述处理器经进一步配置以: 比较所述前景物体上的所述关注点的配置与手势配置库； 从所述前景物体上的所述关注点的所述配置识别手势；以及 执行与所述手势相关联的动作。30.根据权利要求17所述的设备，其中所述摄像机不提供深度信息。31.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在随后捕捉的图像中追踪所述前景物体: 对于每一随后捕捉的图像，使所述随后捕捉的图像及所述场景的所述参考图像中的至少一者扭曲； 在扭曲之后比较所述随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；以及 使用所述随后捕捉的图像中的所述检测到的像素检测所述前景物体上的所述关注点。32.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成使用具有属于所述关注点的所述像素的光流而在随后捕捉的图像中追踪所述前景物体。33.一种设备，其包括: 用于捕捉场景的图像的装置，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点； 用于使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图的装置； 用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置； 用于使用所述检测到的像素检测所述前景物体上的所述关注点的装置； 用于在显示器上显示所述图像的装置；以及 用于基于所述关注点在所述显示器上于所述图像上方再现扩增的装置。34.根据权利要求33所述的设备，其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素产生用于所述前景物体的掩模，所述设备进一步包括用于使用所述掩模从所述图像分割所述前景物体的装置。35.根据权利要求33所述的设备，所述设备进一步包括用于从所述图像提取所述前景物体的装置。36.根据权利要求33所述的设备，其中用于使所述图像及所述参考图像中的至少一者扭曲的所述装置包括: 用于产生所述图像与所述参考图像之间的姿势的装置；以及 用于基于所述姿势使所述图像及所述参考图像中的一者扭曲的装置。37.根据权利要求33所述的设备，其中用于在扭曲之后比较所述图像与所述参考图像的所述装置在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差；并且比较每一像素的所述差与阈值。38.根据权利要求33所述的设备，其中所述在扭曲之后比较所述图像与所述参考图像在扭曲之后产生所述图像及所述参考图像中的对应像素的比率；并且比较对应像素的所述比率与阈值。39.根据权利要求33所述的设备，其进一步包括: 用于在所述显示器上显示随后捕捉的图像的装置；以及 用于基于所述随后捕捉的图像中的所述关注点更改所述扩增的装置。40.根据权利要求33所述的设备，其进一步包括: 用于在随后捕捉的图像中追踪所述前景物体上的所述关注点的装置； 用于基于所述前景物体上的所述关注点的移动来检测临时手势的装置；以及 用于执行与所述临时手势相关联的动作的装置。41.一种包含存储于其上的程序代码的存储媒体，其包括: 用以接收场景的图像的程序代码，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点； 用以使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图的程序代码； 用以在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的程序代码； 用以使用所述检测到的像素检测所述前景物体上的所述关注点的程序代码； 用以在显示器上显示所述图像的程序代码；以及 用以基于所述关注点在所述显示器上于所述图像上方再现扩增的程序代码。42.根据权利要求41所述的存储媒体，其进一步包括用以从所述图像提取所述前景物体的程序代码。43.根据权利要求41所述的存储媒体，其中用以使所述图像及所述参考图像中的至少一者扭曲的所述程序代码包括: 用以产生所述图像与所述参考图像之间的姿势的程序代码；以及 用以基于所述姿势使所述图像及所述参考图像中的一者扭曲的程序代码。44.根据权利要求41所述的存储媒体，其中用以在扭曲之后比较所述图像与所述参考图像的所述程序代码包括: 用以在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差的程序代码；以及 用以比较每一像素的所述差与阈值的程序代码。45.根据权利要求41所述的存储媒体，其中用以在扭曲之后比较所述图像与所述参考图像的所述程序代码包括: 用以在扭曲之后产生所述图像及所述参考图像中的对应像素的比率的程序代码；以及 用以比较对应像素的所述比率与阈值的程序代码。46.根据权利要求41所述的存储媒体，其进一步包括: 用以显示随后捕捉的图像的程序代码；以及 用以基于所述随后捕捉的图像中的所述关注点更改所述扩增的程序代码。47.根据权利要求41所述的存储媒体，其进一步包括: 用以在随后捕捉的图像中追踪所述前景物体上的所述关注点的程序代码； 用以基于所述前景物体上的所述关注点的移动来检测临时手势的程序代码；以及 用以执行与所述临时手势相关联的动作的程序代码。
【专利摘要】移动装置检测所捕捉图像(例如，不具深度信息的一系列视频帧)中的可移动前景物体。所述物体可为用户的手指中的一或多者。所述物体可通过以下操作检测到：使场景的包含所述物体的所捕捉图像及所述场景的不具所述物体的参考图像中的一者扭曲，因此所述图像具有相同视图，以及在扭曲之后比较所述所捕捉图像与所述参考图像。可使用掩模从所述所捕捉图像分割所述物体。在所述物体的提取图像中检测像素，并且使用所述像素检测所述前景物体上的关注点。可接着在后续图像中追踪所述物体。可再现扩增并且与所述扩增互动，或可检测临时手势且相应地执行所要动作。
【IPC分类】G06T19/00, G06F3/01, G06T7/00
【公开号】CN104903934
【申请号】CN201380069443
【发明人】皮尤诗·夏尔马, 拉明·礼萨伊法尔
【申请人】高通股份有限公司
【公开日】2015年9月9日
【申请日】2013年12月6日
【公告号】EP2941756A1, US9076257, US20140184644, WO2014107261A1
【专利说明】基于前景物体再现扩増实境
[0001]相关申请案的交叉参考
[0002]本申请案主张2013年I月3日申请且标题为“基于前景物体再现扩增实境(Rendering Augmented Reality Based on Foreground Ob ject)，，的第 I3/733，740 号美国申请案的权利及优先权，所述申请案转让给本受让人且以引用的方式并入本文中。
技术领域
[0003]本文中所描述的主题的实施例大体上是有关于检测及追踪一系列所捕捉图像(例如视频流)中的可移动物体，且更明确地说是有关于使用可移动物件与再现于所捕捉图像的显示中的扩增互动。
【背景技术】
[0004]在扩增实境(augmented reality，AR)应用中，对现实世界物体成像且将其与电脑产生信息(例如图像、图形或文字信息)一起显示于屏幕上。电脑产生信息再现于现实世界物体上方且可用以(例如)提供关于现实世界物体的图形或文字信息或用于娱乐目的(例如动画或游戏)。然而，用户通常与显示于AR型应用中的再现物体互动的能力是有限的且非直观的。
[0005]用户用来与再现物体互动的当前方法通常使用装置上的物理输入元件，例如按钮或触摸屏。用以用户与再现扩增之间的互动的另一方法被称作虚拟按钮。用户可通过利用例如手指的物体将成像场景的预先指定区域遮蔽(occluding)而与虚拟按钮互动。预先指定区域的遮蔽可以肉眼检测到，且作为回应，可执行动作。然而，具有虚拟按钮的所得扩增在用户不与虚拟按钮互动时是有限的，如同虚拟按钮与用户实际上存在于同一空间中。
【发明内容】
[0006]移动装置检测所捕捉图像(例如，不具深度信息的一系列视频帧)中的可移动前景物体。所述物体可为用户的手指中的一或多个。所述物体可通过以下操作检测到:使场景的包含所述物体的所捕捉图像及所述场景的不具所述物体的参考图像中的一个扭曲，因此所述图像具有相同视图，以及在扭曲之后比较所述所捕捉图像与所述参考图像。可使用掩模从所述所捕捉图像分割所述物体。在所述物体的提取图像中检测像素，并且使用所述像素检测所述前景物体上的关注点。可接着在后续图像中追踪所述物体。可再现扩增并且与所述扩增互动，或可检测临时手势且相应地执行所要动作。
[0007]在一个实施方案中，一种方法包含:捕捉场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点；使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点；在显示器上显示所述图像；以及基于所述关注点在所述显示器上于所述图像上方再现扩增。
[0008]在一个实施方案中，一种设备包含:摄像机；显示器；以及处理器，所述处理器耦合到所述显示器且耦合到所述摄像机以接收场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点，所述处理器经配置以进行以下操作:使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点；在所述显示器上显示所述图像；以及基于所述关注点在所述显示器上于所述图像上方再现扩增。
[0009]在一个实施方案中，一种设备包含:用于捕捉场景的图像的装置，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点；用于使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图的装置；用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置；用于使用所述检测到的像素检测所述前景物体上的所述关注点的装置；用于在显示器上显示所述图像的装置；以及用于基于所述关注点在所述显示器上于所述图像上方再现扩增的装置。
[0010]在一个实施方案中，一种包含存储于其上的程序代码的存储媒体包含:用以接收场景的图像的程序代码，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点；用以使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图的程序代码；用以在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的程序代码；用于使用所述检测到的像素检测所述前景物体上的所述关注点的程序代码；用以在显示器上显示所述图像的程序代码；以及用以基于所述关注点在所述显示器上于所述图像上方再现扩增的程序代码。
【附图说明】
[0011]图1说明能够检测及追踪所捕捉图像中的可移动前景物体的移动装置。
[0012]图2为检测及追踪成像场景中的前景物体的方法的流程图。
[0013]图3A为详述图2的方法的部分的流程图，其中前景物体是使用掩模从图像分割。
[0014]图3B为详述图2的方法的部分的流程图，其中前景物体是在不使用掩模的情况下从图像提取。
[0015]图4为示出用以产生掩模的不同方法的流程图。
[0016]图5A说明包含台上的目标及前景物体的所捕捉图像。
[0017]图5B说明来自图5A的目标的参考图像。
[0018]图5C说明包含目标及前景物体的部分的扭曲图像。
[0019]图说明利用掩模分割的前景物体。
[0020]图5E说明在来自图5C的扭曲图像中的前景物体上检测到的多个关注点。
[0021]图5F说明具有基于检测到前景物体再现的扩增的所捕捉图像。
[0022]图6以图形方式说明比较所捕捉图像与参考图像以产生掩模。
[0023]图7说明用于检测所捕捉图像中的前景物体的系统图。
[0024]图8为说明追踪一或多个前景物体以用于手势辨识的流程图。
[0025]图9类似于图1且说明再现于大于目标的空间中的扩增。
[0026]图10为能够检测并追踪成像场景中的前景物件的移动装置的框图。
【具体实施方式】
[0027]图1说明移动装置100，所述移动装置能够检测由摄像机110捕捉的不具深度信息的图像中的可移动前景物体。前景物体可为(例如)用户111的手指112或手，或未附加到成像场景的任何其他所要物体。前景物件可在随后捕捉的图像中加以追踪。应理解，移动装置100可捕捉场景的视频流，其中视频流由多个帧或图像组成。因此，如本文中所使用，所捕捉图像应理解为包含视频的个别图像以及帧。
[0028]移动装置100在图1中示出为处于对场景102成像的横向模式中，所述场景包含具有目标106的台104以及呈用户111的手指的形式的前景物体112。成像场景(包含前景物体112)与扩增108 (即，电脑再现物体)一起在移动装置100的显示器101上示出。通过检测前景物体112，扩增108可再现以便看起来用户111正在与扩增108互动。举例来说，扩增108可再现，使得所述扩增在显示器101中好像在前景物体112下。此外，通过在随后捕捉的图像中追踪前景物体112，所述扩增可再现，使得所述扩增在显示器101中好像被用户111触摸、推动、拉动或以其他方式操纵。当然，检测到的前景物体112可用于任何所要应用中。举例来说，通过追踪用户指尖在多个图像中的位置，移动装置100可辨别用户所作出的手势，且因此，用户的意图动作可从所捕捉图像确定。
[0029]如本文中所使用，移动装置是指能够从所捕捉图像或视频流进行基于视觉的位置检测及追踪的任何便携式电子装置，且可包含(例如)蜂窝式或其他无线通信装置、个人通信系统(personal communicat1n system, PCS)装置、个人导航装置(personalnavigat1n device，PND)、个人信息管理器(Personal Informat1n Manager，PIM)、个人数字助理(Personal Digital Assistant，PDA)，或其它合适的移动装置(包含摄像机、无线通信装置、计算机、膝上型计算机、平板计算机等)。移动装置可以，但未必必需能够接收无线通信及/或导航信号，例如导航定位信号。术语“移动装置”还希望包含例如通过短程无线、红外线、缆线连接或其它连接与个人导航装置(PND)通信的装置，而不管在装置处或在PND处是否发生卫星信号接收、辅助数据接收及/或位置相关处理。
[0030]移动装置100能够检测并追踪一或多个物体112 (例如，用户111的手指，或未附加到成像场景的其它可移动物体)的位置。举例来说，例如随机森林(Random Forest)分类器的分类器可用以稳健地检测前景物体。在未附加到场景时处于前景中的物体可使用背景分割来检测。然而，背景分割通常需要使用深度信息。然而，移动装置100可通过估计具有已知目标106的背景及移动装置100相对于目标106的当前姿势(位置及定向)而在不具深度信息的情况下执行背景分割。估计的背景可从图像减去以识别前景物体。因此，为了与所显示扩增互动，用户111可将物体112放在所捕捉图像中的背景上方，使得可(例如)使用所述分类器来分割并检测到手指112。
[0031]移动装置100使用在追踪系统中已获得的信息(即，已知目标及姿势)来执行背景分割，这使物体检测过程简化并加速。此外，关于从背景分割的物体，例如随机森林分类器的分类器可用以快速地检测物体。因此，物体可以允许用户自然地与AR扩增互动的高效方式检测并追踪，从而增强用户体验。
[0 032]图2为检测成像场景中的前景物体的方法的流程图。如所说明，捕捉场景的图像(202)。所述图像可为视频帧或个别图像，其由另外不提供深度信息的摄像机捕捉。所述图像包含未附加到所述场景的前景物体，即，所述前景物体可相对于所述场景移动。通过举例的方式，所述前景物体可为用户的手指或多个手指、指针或其它物体。所述前景物体包含关注点，如本文中所使用，关注点为所述前景物体的独特物理方面。因此，如本文中所使用，与使用技术(例如，使用标度不变特征变换(Scale Invariant Feature Transforms，SIFT)、快速鲁棒特征(Speeded Up Robust Feature，SURF)等)从图像提取的特征对照，所述前景物体的关注点为所述前景物体的物理特性或属性(例如，手指或指针的尖端、手指上的指甲或其它此类物体)。所述场景可包含已知目标以提供摄像机相对于环境的姿势。目标可为先验已知的，即，目标的参考图像或模型可能已知并存储，或目标可基于所述场景的一或多个所捕捉图像(例如，使用同时定位与绘图(Simultaneous Localizat1n and Mapping，SLAM)或其它适当技术)实时地得知。另外或替代地，姿势可使用(例如)基于传感器的追踪器来确定。
[0033]使所述图像及所述场景的参考图像(其不包含所述前景物体)中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图(例如，正视图)(204)。所述参考图像是关于所述场景或所述场景的部分且不包含所述前景物体，且因此为所述场景中的背景。举例来说，所述参考图像可为仅具有已知目标的图像或可为包含已知目标及目标周围的区域的图像。在扭曲之后比较所述图像与参考图像以检测属于所述前景物体上的所述关注点的像素(206)。所述图像与所述参考图像的比较识别作为前景物体的所述图像的部分，可(例如)使用SIFT、SURF等从所述部分提取像素以作为提取特征。如果需要(但未必)，可基于所述图像与所述参考图像的比较来产生所述前景物体的掩模，且可使用所述掩模从所述图像分割所述前景物体。可接着使用从所述图像分割的所述前景物体检测所述像素。接着使用所述像素检测所述前景物体上的所述关注点(208)。通过举例的方式，分类器可用以检测所述前景物体上的所述关注点。至分类器的输入可为(例如)分割的前景物体或前景掩模，其中供给分类器的训练数据在两个上述情况下可不同。在使用分类器检测所述前景物体上的所述关注点的情况下，不需要对所述前景物体的预定几何约束。所述关注点因而可用于任何所要应用中。举例来说，在显示器上显示所述图像(210)且基于所述关注点在显示器上于所述图像上方再现扩增(212)。举例来说，扩增可再现为看起来如同扩增在显示于显示器上的所述前景物体下方。另外，随后捕捉的图像可显示于显示器上且所述扩增可基于随后捕捉的图像中的关注点而更改。
[0034]图3A说明在扭曲之后比较图像与参考图像以检测属于前景物体上的关注点的像素的过程(图2中的步骤206) ο如所说明，基于所述图像与所述参考图像的比较而产生用于所述前景物体的掩模(222)。所述掩模可(例如)通过以下操作而产生:在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生用于每一像素的差，及比较用于每一像素的差与阈值以产生所述掩模。或者，可针对扭曲之后的所述图像及所述参考图像中的对应像素产生比率，且比较对应像素的比率与阈值以产生所述掩模。可使用所述掩模从所述图像分割所述前景物体(224)且可使用从所述图像分割的前景物体来检测像素(226)。
[0035]图3B说明在扭曲之后比较所述图像与参考图像以检测属于所述前景物体上的所述关注点的像素的过程(图2中的步骤206)的另一实施例，所述过程不具有产生掩模及从所捕捉图像分割所述前景物体的中间步骤。如所说明，使用所捕捉图像中的不同于参考图像中的对应像素的像素产生前景物体图像(225)。举例来说，在扭曲图像284与参考图像282的比较期间，任何像素经检测为不同的且因此在前景物体中，将像素的强度复制到最初可能是黑色的新图像的对应位置。以这种方式，前景像素可映射到前景图像。属于所述前景物体上的所述关注点的像素可从所述前景物体图像检测(例如，提取)。
[0036]图4通过举例的方式说明用以使所捕捉图像及参考图像中的至少一者扭曲以具有与另一者相同的视图(图2中的步骤204)以及在扭曲之后比较所捕捉图像与参考图像(图2中的步骤206)的不同方法。如所说明，(例如)在初始化过程期间，产生参考图像(231)。所述参考图像可通过在前景物体112不存在的情况下捕捉目标106的图像而在初始化期间产生。基于所捕捉图像产生姿势(232)。例如，当所述场景是平面的时，所述姿势可(例如)通过计算所捕捉图像与所述目标的参考图像之间的单应性来产生。众所周知，可通过以下操作来确定姿势:例如使用SIFT (标度不变特征变化)、SURF (快速鲁棒特征)等从所捕捉图像提取特征，以及比较所捕捉图像中的提取特征与参考图像中的类似提取特征及计算(例如)用于将来自所捕捉图像的提取特征映射到参考图像的单应性。
[0037]在一个实施例中，基于所述姿势使所捕捉图像扭曲(234)以具有与参考图像相同的视图，即，使所捕捉图像逆向扭曲(backwarped)。在这个实施例中，可通过基于初始图像(其包含目标，但不包含前景物体)与已知目标图像(即，目标的存储参考图像)之间的单应性使在初始化期间捕捉到的图像扭曲来产生参考图像(231)。使用在初始化期间捕捉到的图像作为参考图像是有利的，因此参考图像具有与随后捕捉的图像类似的照明条件。借助于说明，图5A示出所捕捉图像280，其包含台104上的目标106以及用户的手指112。图5B说明目标106的参考图像282，所述参考图像是先前在初始化期间(例如，在图4的步骤231中)产生。可以看出，参考图像282是呈正视图的目标106的图像。如果需要，参考图像282可包含目标106周围的额外空间，S卩，台104。然而，在图5A中可以看出，所捕捉图像280是从侧视图获得。因此，逆向扭曲所捕捉图像280，使得所得扭曲图像具有与参考图像相同的视图，例如，正视图。逆向扭曲所捕捉图像280可(例如)通过确定所捕捉图像280与已知目标图像之间的单应性以及使用所述单应性使所捕捉图像280扭曲来执行。因此，参考图像282及所捕捉图像280均来自同一视图。通过举例的方式，图5C将扭曲之后的所捕捉图像280的部分说明为扭曲图像284，所述扭曲图像仅包含目标106及用户的手指112在目标106之上的部分。如果需要，可使整个所捕捉图像280扭曲。
[0038]如图4中所论述，比较所述参考图像与所述扭曲图像以产生掩模(236)。举例来说，可比较所述扭曲图像中的像素与所述参考图像中的对应像素，或可比较像素的补丁与所述参考图像中的像素的对应补丁。将阈值与结果一起使用以产生所述掩模。所述比较可通过减去对应像素或产生像素的比率来执行。扭曲图像284与参考图像282的逐像素(或逐补丁)比较可(例如)在YUV域中执行。可丢弃强度通道(Y)且可个别地比较色度通道(U及V)。在一个实施例中，逐像素(或逐补丁)比较可基于从扭曲图像284减去参考图像282，如图6中以图形方式所说明。如果扭曲图像中的任何像素(或补丁)与参考图像中的对应像素(或补丁)(在U或V通道中)之间的差大于阈值，那么扭曲图像中的像素(或补丁)经确定具有不同于参考图像中的对应像素(或补丁)的色彩，且因此，像素(或补丁)属于前景物体，例如，用户的手指112。在另一实施例中，并非减去对应像素，而是在扭曲之后针对所述图像及所述参考图像中的对应像素产生比率，且比较对应像素的所得比率与阈值以产生所述掩模，例如在如下情况下:如果所述比率在以I为中心的阈值外，那么认为像素是不同色彩。
[0039]所述阈值可能固定或可适合于每个图像。此外，所述阈值可针对每一像素(或补丁)相同或改变。在一个实施方案中，所述阈值可作为所述两个图像之间的逐像素差的百分点而产生，例如，所述阈值可为所述差值的第90百分点。在另一个实施例中，所述阈值可通过将色彩范围(在色度通道U及V中)划分成N个块以使得每一块可视地好像为相同色彩来确定，且所述阈值为单一块的长度。用于N的值可基于U及V通道的范围且可凭经验确定。举例来说，如果U及V从O到I变动，那么将所述范围划分成20个块产生0.05的块长度，所述块长度为阈值。在另一实施方案中，阈值可基于在初始化期间收集的几个帧的每一像素的色彩的平均数及方差收集到的统计数据，其中，例如，平均数±2.5*标准偏差可用作为特定像素的阈值。.
[0040]如图6中所说明，所捕捉图像与参考图像的比较可用以产生掩模。举例来说，比较参考图像282与扭曲图像284之间的差与阈值，从而产生原始掩模287。如图6中的箭头289所指示，原始掩模287可(例如)使用高斯模糊进行滤波，或经历继之以阈值的形态运算(例如，扩张或侵蚀)以产生平滑的掩模288。与减去对应像素对照，过滤器可与使用对应像素的比率产生的原始掩模一起使用。
[0041]或者，所捕捉图像与参考图像的比较可用以识别所捕捉图像中的前景物体，而不具有产生掩模及从所捕捉图像分割前景物体的中间步骤。举例来说，在扭曲图像284与参考图像282的比较期间，任何像素经检测为不同的且因此在前景物体中，将像素的强度复制到最初可能是黑色的新图像的对应位置。以这种方式，前景像素可在不使用掩模的情况下映射到图中所示出的前景图像290。
[0042]如图4中所说明，替代使所捕捉图像逆向扭曲，可基于姿势将参考图像扭曲为与所捕捉图像相同的视图(235)。在这个实施例中，产生参考图像(231)以作为目标的不具前景物体的初始图像。使用参考图像与已知目标图像之间的单应性及来自232的姿势使参考图像扭曲成与所捕捉图像相同的视图。可比较所捕捉图像与扭曲参考图像(237)，其方式类似于上文参考框236所描述的方式。
[0043]如果产生掩模，如图3 A中所论述，那么所述掩模可用以在检测属于所述前景物体上的所述关注点的像素之前从所捕捉图像分割前景物体(224)。通过举例的方式，在使所捕捉图像逆向扭曲以产生掩模的情况下，如图4中的框234及236中所描述，掩模288 (图6)可应用于扭曲图像284(图5C)以移除背景(例如，目标106)，由此仅留下前景物体(即，手指112)，如图中的前景图像290所说明。类似地，如果使参考图像扭曲以产生掩模，如图4中的框235及237中所描述，那么掩模可应用于所捕捉图像以移除背景(例如，目标106)，由此在前景图像中仅留下前景物体(即，手指112)。如果不使用掩模，如图3B中所论述，那么在扭曲之后对所捕捉图像与参考图像的比较中不同的任何像素的强度可映射到新图像以产生图5D中的前景图像290。
[0044]接着可检测属于所述前景物体上的所述关注点的像素。可通过使用(例如)SIFT、SURF或任何其它适当技术提取特征来检测所述像素。如果使所捕捉图像逆向扭曲(图4中的234)，那么可(例如)在图中示出的前景图像290上检测到所述像素，并且将所述像素映射到扭曲图像284。通过举例的方式，图5E说明在扭曲图像284中的手指112上检测到的多个像素291，而背景(S卩，目标106)不具有检测到的像素。如果需要，可基于所述单应性将来自扭曲图像284的像素投影在所捕捉图像上。或者，如果使参考图像扭曲(图4中的235)，那么可在所得前景图像上检测到像素并且将所述像素映射到所捕捉图像，因为前景图像在这个实施例中未被扭曲。
[0045]如上文所论述，可使用所述像素检测图像中的前景物体上的关注点(图2中的步骤208)。可使用所述像素及预定几何约束来检测关注点，即，假定前景物体具有特定配置。然而，使用分类器，可在不具预定几何约束的情况下使用所述像素来检测关注点。因此，图5E中的像素291的配置可由分类器使用以检测关注点(例如，前景物体112的尖端293)。来自扭曲图像284的关注点可基于单应性而投影在所捕捉图像上。或者，如果使参考图像扭曲(图4中的235)，那么可在所得前景图像上检测到所述关注点且将所述关注点映射到所捕捉图像，因为前景图像在这个实施例中未扭曲。
[0046]因此，在所捕捉图像中检测前景物体，并且具体地说，前景物体上的关注点。当参考图像282仅包含目标106时，可在目标106上方检测到前景物体，如图5B中所说明。如果参考图像282经扩展而包含目标106周围的额外空间(例如，台104)，那么可在目标106外的区域上方检测到前景物体。
[0047]在检测到所捕捉图像中的前景物体的情况下，可相对于所捕捉图像中的前景物体再现扩增。举例来说，可再现扩增，使得所述扩展看上去其在前景物体下，例如，手指112部分地遮蔽圆盘294，如图5F中所说明。
[0048]利用在所捕捉图像中检测到的前景物体112，可在随后捕捉的图像中追踪所述前景物体。例如，可通过针对每一随后捕捉的图像重复所述过程而在随后捕捉的图像中追踪所述前景物体，例如，使随后捕捉的图像及所述场景的参考图像中的至少一者扭曲，在扭曲之后比较随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；以及使用随后捕捉的图像中的检测到图像检测所述前景物体上的所述关注点。或者或另外，可例如使用例如如下所述的过程在随后捕捉的图像中追踪所述前景物体:用以在随后捕捉的图像中追踪所述关注点(例如，提取特征)中的检测到的像素的移动的光流。随后捕捉的图像可显示于移动装置100的显示器101上，同时所述扩增基于所追踪的前景物体再现在所述显示器上，使得所述扩增呈现用户可与所述扩增互动。举例来说，如图5F中所说明，在每一所捕捉图像280中，所述扩增(例如，圆盘294)可基于检测到手指112的位置而产生并且显示，如图像292中所说明。因此，可再现所述扩增，使得所述扩增呈现所追踪的前景物体在显示器中与所述扩增互动。
[0049]图7说明进一步详述前景物体的检测的系统图，其中前景物体的掩模经产生并且被用以从图像分割前景物体。可以看出，输入图像(即，初始化图像及随后捕捉的图像)将与已知目标图像304 —起提供到追踪器302。如上文所论述，所述追踪器从所述输入图像及已知目标图像304提取特征，并且产生姿势，S卩，所述输入图像与参考图像之间的单应性。所述追踪器可使用特定已知目标(实时地获取并且得知的目标，例如，矩形)，或可基于SLAM或基于传感器的追踪器。如所说明，背景估计器306基于所述已知目标图像使在初始化期间捕捉到的图像扭曲，以使用由追踪器302产生之单应性形成参考图像。输入图像、所述参考图像及所述输入图像的当前姿势被提供到前景掩模产生器308。前景掩模产生器308基于所述姿势使所述输入图像扭曲，使得扭曲输入图像来自与所述参考图像相同的视图。前景掩模产生器308比较所述扭曲输入图像及所述参考图像中的对应像素之间的差与阈值以产生前景掩模，如上文所讨论，所述前景掩模可经滤波。所得前景掩模可提供到前景提取器310。前景提取器310使用来自所述前景掩模的像素从所述输入图像提取前景以产生到检测器312的分割前景物体。检测器312检测分割前景物体中的像素(例如，提取特征)，且基于所述像素检测所述前景物体上的关注点。检测器312可包含(例如)分类器(例如，随机森林分类器)以检测所述前景物体上的所述关注点。分类器的一般操作在此项技术中很好理解。如果需要，如果已知物体的几何形状，那么来自前景掩模产生器308的前景掩模可由检测器312直接使用以检测前景物体。举例来说，给定来自前景掩模的手指的轮廓，检测器312可(例如)通过使用为这个目的训练的分类器来确定手指的位置。
[0050]如果存在场景变化，那么可能需要更新参考图像。举例来说，如果铅笔是在参考图像已初始化之后放在目标106上，那么铅笔将被检测为前景物体。可(例如)通过检测在许多帧中出现在前景掩模中的一致性区域及静止区域来检测场景变化。
[0051]另外，目标在当前照明条件下的外观变化也可通过使前几个摄像机帧逆向扭曲以及从所述摄像机帧产生统计数据来得知。这将使系统受由追踪器302传回的姿势的误差影响较小(图7)。举例来说，前景掩模产生器308可能碰到的可能问题来源为由追踪器302传回的略微偏离的姿势(例如，几个像素偏离)，这将使不正确像素在扭曲的当前图像及参考图像中进行比较。误差的另一来源为可使输入图像的像素与相邻者模糊的运动模糊(或手抖动)，并且因此，当前图像中的模糊像素与参考图像中的对应像素之间的差将被放大。通过使用统计数据(例如，在初始化期间得知的每一像素的外观(例如，色彩)的平均数及方差)作为用于产生前景掩模的阈值，由运动模糊引起的误差及姿势误差可减到最少。
[0052]在多个图像中追踪前景物体可用以辨别用户的意图动作，因此使用户能够与扩增互动或执行其它所要动作。举例来说，如图8中所说明，在随后捕捉的图像中追踪所述前景物体的所述关注点(402)。如果需要，可在一系列图像(例如，视频流)中追踪一或多个前景物体(例如，用户的手指尖端)。被追踪物体的移动可用以确定手势(404)，例如，在一段时间内由前景物体的移动产生的临时手势。举例来说，可比较被追踪前景物体的移动模式与手势数据库(其可为先前提供及/或得知的并且存储在移动装置100中)以确定正在执行哪个手势。另外，前景物体的配置可存储在手势(例如，收缩手势)的库中，所述收缩手势(其可与检测到的前景物体相比)可与相比以检测单一帧中的手势(即，非临时手势)。可接着执行与所述手势相关联的动作(406)。所述动作可关于与扩增的互动或可关于移动装置的控制。举例来说，确定的手势可用以更改显示(例如，放大或缩小、调暗或增亮等)或用以控制应用程式(例如，快进或倒带歌曲或视频等)。因此，前景物体上的检测到关注点可用以任何所要应用中。此外，所述扩增可为可由用户操纵的输入装置。图9(例如)类似于图1，但将扩增说明为键盘108a，用户的手指尖端可在其中被追踪以便确定用户的键入。应注意，键盘108a不同于常规虚拟按钮，因为用户的键入是从位置并且如果需要从用户的手指尖端的运动确定，与通过虚拟按钮通常所需要的遮蔽目标的经特定设计的区域相对照。另外，所述用户接口可为其它类型的选择装置而非键盘。在一个实施例中，再现于目标106上方的扩增可为从移动装置100投影到目标106上的显示。举例来说，当用户的手指或其它物体被相对于所再现扩增追踪时，网络浏览器窗口或其它显示接口可被扭曲并且投影以在显示器101中出现在目标106上方，以便所显示的接口互动。
[0053]图10为能够检测成像场景中的前景物件的移动装置100的框图。移动装置100包含借以成像场景的摄像机110。移动装置100进一步包含用户接口 103，其包含例如显示器101以及小键盘或其它输入装置，通过所述输入装置，用户可以将信息输入到移动装置100中。移动装置100可包含额外元件，例如运动传感器114，众所周知，运动传感器可包含例如加速计、陀螺仪、磁力计等，并且可用以有助于移动装置100的姿势确定。与本发明不相关的额外元件(例如，用户接口 103中的麦克风及扬声器、无线接口等)也可包含于移动装置100 中。
[0054]移动装置100还包含控制单元105，所述控制单元连接到摄像机110及显示器101以及其它元件(例如，运动传感器114，如果使用)并且与前述各者通信。控制单元105接受并且处理从摄像机110获得的数据，并且使显示器101如本文中所论述地显示所再现扩增。控制单元105可由总线105b、处理器105p及相关联存储器105m、硬件105h、固件105f及软件105s提供。控制单元105被进一步说明为包含追踪器302，所述追踪器追踪移动装置100或更具体来说摄像机110相对于成像场景(其可包含目标106)的姿势。控制单元105可进一步包含背景估计器306，所述背景估计器可用以产生参考图像，例如，通过基于由追踪器302产生的姿势使不具前景物体的初始图像扭曲成 参考图像。控制单元105中的前景掩模产生器308比较所述参考图像与当前图像以产生用于前景物体的掩模。前景提取器310可用以(例如)在尚不知道物体的几何形状的情况下基于所述掩模而从当前图像分割前景物体。检测器312可包含用于检测属于前景物体上的关注点的像素的提取器312e，及用以使用所述像素检测关注点的分类器312c，而再现模块314用以产生在显示器101中在所捕捉图像上方示出的扩增。
[0055]为了清楚起见，将各种模块302、306、308、310、312及314与处理器105p分开来说明，但所述各种模块可为处理器105p的部分或基于在处理器105p中运行的软件105s中的指令而实施于处理器中。应理解，如本文中所使用，处理器105p可以但不是必须包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)，及其类似者。术语处理器意图描述由系统而非特定硬件实施的功能。此外，如本文中所使用，术语“存储器”是指任何类型的计算机存储媒体，包含长期存储器、短期存储器或与移动装置相关联的其它存储器，并且不限于任何特定类型的存储器或特定数目的存储器，或特定类型的其上存储有存储器的媒体。
[0056]根据应用，本文中所描述的方法可以通过各种装置来实施。举例来说，这些方法可在硬件105h、固件105f、软件105s或其任何组合中实施。对于硬件实施方案，处理单元可以在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSH))、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内实施。
[0057]对于固件及/或软件实施方案，所述方法可用执行本文中所描述的功能的模块(例如，程序、功能等等)来实施。在实施本文中所描述的方法时，可使用任何有形地体现指令的机器可读媒体。举例来说，软件代码可存储在存储器105m中且由处理器105p执行。存储器105m可在处理器105p内或外部实施。如果在固件及/或软件中实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读的存储媒体上，其中所述存储媒体不包含暂时性传播信号。实例包含编码有数据结构的存储媒体及编码有计算机程序的存储装置。存储媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用以存储呈指令或数据结构形式的所要程序代码并且可由计算机存取的媒体；如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含在存储媒体的范围内。
[0058]因此，移动装置100包含用于捕捉场景的图像的装置，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点，所述装置可为(例如)摄像机110。用于使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，使得所述图像及所述参考图像具有相同视图的装置可为(例如)追踪器302、背景估计器306及前景掩模产生器308，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置可为(例如)前景掩模产生器308、前景提取器310及检测器312 (且更具体言之，提取器312e)，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于使用所述检测到的像素检测所述前景物体上的所述关注点的装置可为(例如)检测器312 (且更具体言之，分类器)，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于在显示器上显示所述图像的装置可为(例如)显示器101。用于基于所述关注点在所述显示器上于所述图像上方再现扩增的装置可为(例如)再现模块314，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。
[0059]用于使用掩模从所述图像分割所述前景物体的装置可为(例如)前景提取器310，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p用于从所述图像提取所述前景物体的装置可为(例如)前景提取器310，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于使所述图像及所述参考图像中的至少一者扭曲的所述装置可包含用于产生所述图像与所述参考图像之间的姿势的装置(其可为(例如)追踪器302，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p);以及用于基于所述姿势使所述图像及所述参考图像中的一者扭曲的装置(其可为(例如)背景估计器306，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p)。移动装置100可包含用于在显示器上显示随后捕捉的图像的装置，其可为(例如)显示器101。用于基于所述随后捕捉的图像中的所述关注点更改所述扩增的装置可为(例如)再现模块314，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。移动装置100可进一步包括包含用于在随后捕捉的图像中追踪所述前景物体上的所述关注点的装置，其可为(例如)追踪器302、背景估计器306、前景掩模产生器308、前景提取器310及检测器312，或执行从软件105s接收的指令的硬件105h、固件105f或处理器105p。用于基于所述前景物体上的所述关注点的移动来检测临时手势的装置可为(例如)执行从软件105s接收的指令的硬件105h、固件105f或硬件105h、固件105f或处理器105p ;并且用于执行与所述临时手势相关联的动作的装置可为(例如)执行从软件105s接收的指令的硬件105h、固件105f或硬件105h、固件105f或处理器105p。
[0060]尽管出于指导性目的而结合特定实施例来说明本发明，但本发明不限于此。可在不脱离本发明的范围的情况下作出各种调适和修改。因此，所附权利要求书的精神和范围不应限于前述描述。
【主权项】
1.一种方法，其包括: 捕捉场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点； 使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图； 在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素； 使用所述检测到的像素检测所述前景物体上的所述关注点； 在显示器上显示所述图像；以及 基于所述关注点在所述显示器上于所述图像上方再现扩增。2.根据权利要求1所述的方法，其中未附加到所述场景的所述前景物体为用户的至少一个手指且所述关注点为所述手指的尖端。3.根据权利要求1所述的方法，检测所述前景物体上的所述关注点是在对所述前景物体无预定几何约束的情况下执行。4.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括: 产生用于所述前景物体的掩模； 使用所述掩模从所述图像分割所述前景物体；以及 使用从所述图像分割的所述前景物体检测所述像素。5.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括: 使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像；以及 在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。6.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像包括: 在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差；以及 比较每一像素的所述差与阈值。7.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像包括: 在扭曲之后产生所述图像及所述参考图像中的对应像素的比率；以及 比较对应像素的所述比率与阈值。8.根据权利要求1所述的方法，其中使所述图像及所述参考图像中的至少一者扭曲包括: 产生所述图像与所述参考图像之间的姿势；以及 基于所述姿势使所述图像及所述参考图像中的一者扭曲。9.根据权利要求1所述的方法，其进一步包括: 在所述显示器上显示随后捕捉的图像；以及 基于所述随后捕捉的图像中的所述关注点更改所述扩增。10.根据权利要求1所述的方法，其中在所述显示器上再现所述扩增包括再现所述扩增以看起来如同所述扩增在显示于所述显示器上的所述前景物体下方。11.根据权利要求1所述的方法，其中所述场景包含具有关注点的多个前景物体，所述方法进一步包括: 通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素；以及 使用所述检测到的像素检测所述多个前景物体上的所述关注点。12.根据权利要求1所述的方法，其进一步包括: 在随后捕捉的图像中追踪所述前景物体上的所述关注点； 基于所述前景物体上的所述关注点的移动来检测临时手势；以及 执行与所述临时手势相关联的动作。13.根据权利要求1所述的方法，其进一步包括: 比较所述前景物体上的所述关注点的配置与手势配置库； 从所述前景物体上的所述关注点的所述配置识别手势；以及 执行与所述手势相关联的动作。14.根据权利要求1所述的方法，其中所述图像是使用不具有深度信息的摄像机捕捉。15.根据权利要求1所述的方法，其进一步包括在随后捕捉的图像中追踪所述前景物体包括: 对于每一随后捕捉的图像，使所述随后捕捉的图像及所述场景的所述参考图像中的至少一者扭曲； 在扭曲之后比较所述随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；以及 使用所述随后捕捉的图像中的所述检测到的像 素检测所述前景物体上的所述关注点。16.根据权利要求1所述的方法，其进一步包括使用具有属于所述关注点的所述像素的光流在随后捕捉的图像中追踪所述前景物体。17.—种设备，其包括: 摄像机； 显示器；以及 处理器，所述处理器耦合到所述显示器且耦合到所述摄像机以接收场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点，所述处理器经配置以进行以下操作:使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点；在所述显示器上显示所述图像；以及基于所述关注点在所述显示器上于所述图像上方再现扩增。18.根据权利要求17所述的设备，其中未附加到所述场景的所述前景物体为用户的至少一个手指且所述关注点为所述手指的尖端。19.根据权利要求17所述的设备，其中所述处理器经配置以在对所述前景物体无预定几何约束的情况下检测所述前景物体上的所述关注点。20.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述参考图像以检测属于所述前景物体上的所述关注点的像素:产生用于所述前景物体的掩模； 使用所述掩模从所述图像分割所述前景物体；以及 使用从所述图像分割的所述前景物体检测所述像素。21.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述参考图像以检测属于所述前景物体上的所述关注点的像素: 使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像；以及 在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。22.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像:在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差；以及比较每一像素的所述差与阈值。23.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像:在扭曲之后产生所述图像及所述参考图像中的对应像素的比率，以及比较对应像素的所述比率与阈值。24.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而使所述图像及所述参考图像中的所述至少一者扭曲:产生所述图像与所述参考图像之间的姿势，以及基于所述姿势使所述图像及所述参考图像中的一者扭曲。25.根据权利要求17所述的设备，其中所述处理器经进一步配置以进行以下操作:使随后捕捉的图像显示于所述显示器上，以及基于所述随后捕捉的图像中的所述关注点更改所述扩增。26.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在所述显示器上再现所述扩增:再现所述扩增以看起来如同所述扩增在显示于所述显示器上的所述前景物体下方。27.根据权利要求17所述的设备，其中所述场景包含具有关注点的多个前景物体，其中所述处理器经进一步配置以: 通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素；以及 使用所述检测到的像素检测所述多个前景物体上的所述关注点。28.根据权利要求17所述的设备，其中所述处理器经进一步配置以: 在随后捕捉的图像中追踪所述前景物体上的所述关注点； 基于所述前景物体上的所述关注点的移动来检测临时手势；以及 执行与所述临时手势相关联的动作。29.根据权利要求17所述的设备，其中所述处理器经进一步配置以: 比较所述前景物体上的所述关注点的配置与手势配置库； 从所述前景物体上的所述关注点的所述配置识别手势；以及 执行与所述手势相关联的动作。30.根据权利要求17所述的设备，其中所述摄像机不提供深度信息。31.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成进行以下操作而在随后捕捉的图像中追踪所述前景物体: 对于每一随后捕捉的图像，使所述随后捕捉的图像及所述场景的所述参考图像中的至少一者扭曲； 在扭曲之后比较所述随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；以及 使用所述随后捕捉的图像中的所述检测到的像素检测所述前景物体上的所述关注点。32.根据权利要求17所述的设备，其中所述处理器经配置以通过配置成使用具有属于所述关注点的所述像素的光流而在随后捕捉的图像中追踪所述前景物体。33.一种设备，其包括: 用于捕捉场景的图像的装置，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点； 用于使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图的装置； 用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置； 用于使用所述检测到的像素检测所述前景物体上的所述关注点的装置； 用于在显示器上显示所述图像的装置；以及 用于基于所述关注点在所述显示器上于所述图像上方再现扩增的装置。34.根据权利要求33所述的设备，其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素产生用于所述前景物体的掩模，所述设备进一步包括用于使用所述掩模从所述图像分割所述前景物体的装置。35.根据权利要求33所述的设备，所述设备进一步包括用于从所述图像提取所述前景物体的装置。36.根据权利要求33所述的设备，其中用于使所述图像及所述参考图像中的至少一者扭曲的所述装置包括: 用于产生所述图像与所述参考图像之间的姿势的装置；以及 用于基于所述姿势使所述图像及所述参考图像中的一者扭曲的装置。37.根据权利要求33所述的设备，其中用于在扭曲之后比较所述图像与所述参考图像的所述装置在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差；并且比较每一像素的所述差与阈值。38.根据权利要求33所述的设备，其中所述在扭曲之后比较所述图像与所述参考图像在扭曲之后产生所述图像及所述参考图像中的对应像素的比率；并且比较对应像素的所述比率与阈值。39.根据权利要求33所述的设备，其进一步包括: 用于在所述显示器上显示随后捕捉的图像的装置；以及 用于基于所述随后捕捉的图像中的所述关注点更改所述扩增的装置。40.根据权利要求33所述的设备，其进一步包括: 用于在随后捕捉的图像中追踪所述前景物体上的所述关注点的装置； 用于基于所述前景物体上的所述关注点的移动来检测临时手势的装置；以及 用于执行与所述临时手势相关联的动作的装置。41.一种包含存储于其上的程序代码的存储媒体，其包括: 用以接收场景的图像的程序代码，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点； 用以使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图的程序代码； 用以在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的程序代码； 用以使用所述检测到的像素检测所述前景物体上的所述关注点的程序代码； 用以在显示器上显示所述图像的程序代码；以及 用以基于所述关注点在所述显示器上于所述图像上方再现扩增的程序代码。42.根据权利要求41所述的存储媒体，其进一步包括用以从所述图像提取所述前景物体的程序代码。43.根据权利要求41所述的存储媒体，其中用以使所述图像及所述参考图像中的至少一者扭曲的所述程序代码包括: 用以产生所述图像与所述参考图像之间的姿势的程序代码；以及 用以基于所述姿势使所述图像及所述参考图像中的一者扭曲的程序代码。44.根据权利要求41所述的存储媒体，其中用以在扭曲之后比较所述图像与所述参考图像的所述程序代码包括: 用以在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差的程序代码；以及 用以比较每一像素的所述差与阈值的程序代码。45.根据权利要求41所述的存储媒体，其中用以在扭曲之后比较所述图像与所述参考图像的所述程序代码包括: 用以在扭曲之后产生所述图像及所述参考图像中的对应像素的比率的程序代码；以及 用以比较对应像素的所述比率与阈值的程序代码。46.根据权利要求41所述的存储媒体，其进一步包括: 用以显示随后捕捉的图像的程序代码；以及 用以基于所述随后捕捉的图像中的所述关注点更改所述扩增的程序代码。47.根据权利要求41所述的存储媒体，其进一步包括: 用以在随后捕捉的图像中追踪所述前景物体上的所述关注点的程序代码； 用以基于所述前景物体上的所述关注点的移动来检测临时手势的程序代码；以及 用以执行与所述临时手势相关联的动作的程序代码。
【专利摘要】移动装置检测所捕捉图像(例如，不具深度信息的一系列视频帧)中的可移动前景物体。所述物体可为用户的手指中的一或多者。所述物体可通过以下操作检测到：使场景的包含所述物体的所捕捉图像及所述场景的不具所述物体的参考图像中的一者扭曲，因此所述图像具有相同视图，以及在扭曲之后比较所述所捕捉图像与所述参考图像。可使用掩模从所述所捕捉图像分割所述物体。在所述物体的提取图像中检测像素，并且使用所述像素检测所述前景物体上的关注点。可接着在后续图像中追踪所述物体。可再现扩增并且与所述扩增互动，或可检测临时手势且相应地执行所要动作。
【IPC分类】G06T19/00, G06F3/01, G06T7/00
【公开号】CN104903934
【申请号】CN201380069443
【发明人】皮尤诗·夏尔马, 拉明·礼萨伊法尔
【申请人】高通股份有限公司
【公开日】2015年9月9日
【申请日】2013年12月6日
【公告号】EP2941756A1, US9076257, US20140184644, WO2014107261A1
最新回复(0)