运动对象表示方法及其装置的制造方法

运动对象表示方法及其装置的制造方法
【技术领域】
[0001]本发明涉及图像处理，更具体地涉及计算机视觉技术中的运动对象表示方法及其
>J-U ρ?α装直。
【背景技术】
[0002]与运动对象相关联的图像处理技术具有各种层面，例如，以运动的人为例，可能涉及对象自身的标识、运动对象姿态的识别、运动对象的运动的预测。例如，手势识别、对象性别识别、对象年龄识别、对象情绪识别等等。这些识别具有重要应用，例如可以进行基于手势识别的人机交互，基于对象性别识别的广告推送，基于性别识别和年龄识别的人口统计，基于情绪识别的人机交互界面变换等。
[0003]一般地，自动分析运动对象的图像处理技术，涉及特征提取、模型建模或分类器训练，应用模型或分类器来分析测试样本的三个阶段。其中的特征提取非常重要。
[0004]人在运动例如行走过程中，在相机视角不同的情况下，视图不同，由此给人的运动相关识别带来困难。
[0005]已经提出了一些基于图像的人动作识别的技术。
[0006]美国授权专利公开US8189866B1披露一种人动作识别技术，其中，应用了低级特征(皮肤颜色、身体边缘等)检测器和高级特征(人脸等)检测器，将提取的特征向量提供给分类器，以识别图像中的人动作。
[0007]美国授权专利公开US8345984B2介绍了一种人动作识别技术，其中进行3D卷积以捕获多帧连续图像中的运动信息，并从时空维度提取特征；从视频帧生成多通道信息，组合多通道信息获得特征表示，该特征表示用于3D卷积神经网络模型，应用该3D卷积神经网络模型来识别人动作。
[0008]美国授权专利公开US7330566介绍了一种基于步态的运动对象识别技术，其中提取对象的步长、步调、高度参数来识别对象。
[0009]美国授权专利公开US7212651B2，介绍了一种从时序图像序列中检测运动对象的技术，其从时序图像序列中选择图像，对选择的图像应用一组函数来得到一组组合的图像，对该组组合的图像中的检测窗口应用滤波器的线性组合来确定检测窗口的运动和外观特征，对运动和外观特征求和以确定累计分数，由此对检测窗口中是否包含运动对象进行分类。

【发明内容】

[0010]希望提取至少一定程度上不随视角改变的特征，以便消除或减轻视角变化给识别运动对象或对象的运动带来的困难。
[0011]根据本发明的一个方面，提供了一种运动对象表示方法，可以包括:获得捕获运动对象的立体图像，该立体图像包括深度图像；从立体图像中的运动对象提取关键点；使用与围绕关键点的第一预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向；根据关键点的主方向，确定在该围绕关键点的第二预定区域内的像素的运动向量，以得到旋转不变运动向量；以及基于所确定的围绕该关键点的第二预定区域内的像素的运动向量，提取描述关键点的特征。
[0012]根据本发明的另一方面，提供了一种运动对象表示装置，可以包括:图像获得部件，获得捕获运动对象的立体图像，该立体图像包括深度图像；关键点提取部件，从立体图像中的运动对象提取关键点；关键点主方向确定部件，使用围绕关键点的第一预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向；关键点附近区域内像素运动向量确定部件，根据关键点的主方向，确定该围绕关键点的第二预定区域内的像素的运动向量；以及关键点特征描述部件，基于确定的围绕该关键点的第二预定区域内的像素的运动向量，提取描述关键点的特征。
[0013]利用根据本发明实施例的运动对象表示装置和运动对象表示方法，使用关键点附近区域内的像素的三维运动相关联的统计信息来确定关键点的主方向(dominantdirect1n)，并根据关键点的主方向，调整围绕关键点的区域内的像素的运动向量，以得到旋转不变运动向量，由此使得调整后的关键点周围的像素的运动向量与相机视角无关。随后，基于关键点附近区域内的像素的运动向量来提取关键点的特征，从而关键点的特征也具有与相机视角无关的特性。
【附图说明】
[0014]从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中:
[0015]图1 (a)、(b)示出了相机视角不同所拍摄的人动作的图像的示例，其中图1(a)示出了人手张开和握紧两状态在不同相机视角下拍摄所得图像，图1(b)示出了人行走在不同相机视角下拍摄所得图像。
[0016]图2示意性地示出了人腿部上的两点的运动相对关系。
[0017]图3示出了根据本发明一个实施例的用于分析人的运动的应用系统100的总体结构图。
[0018]图4示出了根据本发明一个实施例的运动对象表示装置2000的功能配置。
[0019]图5示出了根据本发明一个实施例的运动对象表示方法3000的总体流程图。
[0020]图6示出了根据本发明一个示例的对立体图像进行预处理的方法的示例性流程。
[0021]图7示出了该图像预处理方法对应的数据流图示例。
[0022]图8示出了根据本发明一个实施例的从立体图像中的运动对象提取关键点的示例性方法的流程图。
[0023]图9结合数据流示出了根据本发明一个实施例的从立体图像中的运动对象提取关键点的示例性方法的操作过程。
[0024]图10示出了用于获得对象的运动部分的示例性方法的流程图。
[0025]图11示出了根据本发明一个实施例的确定关键点的主方向的示例性方法的流程图。
[0026]图12示出了关键点附近区域内像素的运动向量的二维直方图的示意图。
[0027]图13示意性示出了像素的2D和3D运动向量的示例
[0028]图14(a)、(b)示出了在参考坐标系旋转前后的围绕关键点的附近区域的示意图。
[0029]图15示出了根据本发明一个实施例的计算像素的运动向量的方法的流程图。
[0030]图16示出了根据本发明一个实施例的结合数据流图的图像平面和深度方向的运动向量的计算的示例性方法的过程图。
[0031]图17示出根据本发明的一个实施例的用于相对关键点的主方向，获得关键点周围区域的像素的旋转不变运动向量的示例性方法的流程图。
[0032]图18示出了根据本发明一个实施例的用于基于关键点的周围区域的像素的运动向量来提取关键点的特征的示例性方法的流程图。
[0033]图19示出了用于关键点的特征提取的围绕关键点的区域的划分以及种子区域的示意图。
[0034]图20示出了根据本发明一个实施例对于每个种子区域统计运动特征的示例性方法的流程图。
[0035]图21示出了方向直方图的8个bin的角度划分关系。
[0036]图22示意性地示出了关键点的128维特征向量的示意性表示。
[0037]图23示出了一般的运动对象识别方法的示例性总体操作过程。
[0038]图24示出了根据行人步态识别行人的性别的运动对象识别方法的示例性过程。
[0039]图25示出了适于用来实现本发明实施方式的示例性计算系统的框图。
【具体实施方式】
[0040]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0041]下面的描述中，将以人行走动作分析为例，说明如何提取刻画人体动作的特征。不过这仅为示例。运动对象可以不限于人，本发明也可以应用于分析动物或机器人以及其它运动对象的运动；另外，对象动作不限于行走，也可以是手势动作、头部动作等等。
[0042]将以下列顺序进行描述。
[0043]1、核心思想描述
[0044]2、应用系统示例
[0045]3、运动对象表示装置实施例的功能配置
[0046]4、运动对象表示方法的第一实施例
[0047]4.1立体图像获得操作示例
[0048]4.2、关键点提取操作示例
[0049]4.3、关键点主方向确定操作示例
[0050]4.4、关键点周围区域的像素的旋转不变运动向量获取示例
[0051]4.5、基于旋转不变运动向量提取关键点的特征
[0052]5、运动对象识别方法示例
[0053]6、用于进行运动对象表示的计算系统
[0054]1、核心思想概述
[0055]在相机拍摄角度(为描述方便，本文也称其为视角)变化的情况下，视图出现变化，给对象本身或其运动的描述带来困难。
[0056]图1 (a)、(b)示出了相机视角不同所拍摄的人动作的图像的示例,其中图1(a)示出了人手张开和握紧两状态在不同相机视角下拍摄所得图像，图1(b)示出了人行走在不同相机视角下拍摄所得图像。
[0057]在详细描述本发明的具体实施例之前，为便于本领域技术人员理解和把握本发明，首先介绍一下本发明的核心思想。
[0058]发明人考虑到，对于人体的局部区域，以该局部区域中某点作为关键点，可得到该关键点的运动信息，例如运动向量(mot1n vector),以该关键点作为参考,来调整其周围的局部区域中的各像素点的运动向量，从而能够使得在不同视角下，该局部区域中的各点的运动向量相对于该关键点的运动向量体现出不变性。
[0059]为便于理解，下面参考图2进行说明。请注意，该图仅为示意性解释本发明的核心思想给出，而不表示身体部分的各点间严格存在这样的相互运动关系。
[0060]图2示意性地示出了人腿部上的两点的运动相对关系。如图2所示，以人大腿上的点2作为关键点，其运动向量以V2表示，人腿部另一点I的运动向量以Vl表示，将关键点的运动向量V2作为参考向量,可见另一点I的运动向量Vl相对于关键点的运动向量V2的某方面，例如向量间相对角度存在一定的不变性。
[0061]由此，发明人想到可以基于相对于关键点的运动向量，调整局部区域的像素点的运动向量，得到一定程度的相对不变性，由此提取特征，从而能够对抗视角变化对于运动对象分析的不利影响。
[0062]2、应用系统示例
[0063]图3示出了根据本发明一个实施例的用于分析人的运动的应用系统100的总体结构图。
[0064]应用系统1000可以包括 立体相机1100和计算装置1200。
[0065]立体相机1100可以是能够获得二维灰度图像(包括彩色图像)和深度图像功能的任何相机。需要说明的是，在本发明中的相机应该做广义理解，既包括独立的立体相机如双目相机等，也包括并入于其它机器中的能够起到图像捕获功能的装置，例如移动电话、平板电脑等中的图像捕获部件。另外，立体相机可以指专门的拍摄立体图像的相机，也可以指通过内部或者外部处理而联合起到立体相机功能的相机。立体相机的示例有PrimeSensor, Kinect 等。
[0066]立体相机1100拍摄得到人行走的立体图像序列，并通过例如USB连接，其它有线或者无线手段传送到计算装置1200。
[0067]计算装置1200接收来自立体相机1100的立体图像，并可以进行下文所述的例如图像预处理、关键点提取、关键点主方向确定、运动向量确定，关键点特征提取等功能，从而担任运动对象表示装置。另外计算装置1200还可以对于训练样本，例如一个周期中的一部分、一个或多个周期的视频图像，进行上述关键点特征提取，并进而基于这样提取的特征来得到表征对象运动的特征向量，基于这样的特征向量拟合预定的模型或者训练预定的分类器。另外计算装置1200还可以离线或者实时地接收测试样本，例如一个或多个周期例如一个周期中的一部分、一个或多个周期的视频图像，进行上述关键点特征提取，并进而基于这样提取的特征来得到表征对象运动的特征向量，基于这样的特征向量来利用模型或者分类器进行分析或分类，从而例如实现对于对象的运动分析等。
[0068]3、运动对象表示装置实施例的功能配置
[0069]图4示出了根据本发明一个实施例的运动对象表示装置2000的功能配置。
[0070]如图4所示，运动对象表示装置2000可以包括图像获得部件2100、关键点提取部件2200、关键点主方向确定部件2300、关键点附近区域内像素运动向量确定部件2400、关键点特征描述部件2500。
[0071]图像获得部件2100配置为获得捕获运动对象的立体图像，该立体图像包括深度图像。
[0072]关键点提取部件2200配置为从立体图像中的运动对象提取关键点。
[0073]关键点主方向确定部件2300配置为使用围绕关键点的第一预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向。
[0074]关键点附近区域内像素运动向量确定部件2400配置为根据关键点的主方向，确定该围绕关键点的第二预定区域内的像素的运动向量。
[0075]关键点特征描述部件2500配置为基于确定的围绕该关键点的第二预定区域内的像素的运动向量，提取描述关键点的特征。
[0076]需要说明的是，上述运动对象表示装置2000的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU (微处理单元)、DSP (数字信号处理器)、FPGA(现场可编程门阵列)、ASIC (专用集成电路)等中的至少一个来实现。另外，运动对象表示装置2000的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，运动对象表示装置2000的各个部件也可以利用软件和硬件的结合来实现。
[0077]上述运动对象表示装置2000中的各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述图像获得部件2100、关键点提取部件2200、关键点主方向确定部件2300、关键点附近区域内像素运动向量确定部件2400、关键点特征描述部件2500可以合并为一个独立的部件来执行和实现相应的功能和操作，或者可以将图像获得部件2100、关键点提取部件2200、关键点主方向确定部件2300、关键点附近区域内像素运动向量确定部件2400、关键点特征描述部件2500进一步拆分为更小的单元来实现他们各自的功能和操作。
[0078]另外，需要说明的是，图4所示的结构并不是排他式的，相反运动对象表示装置2000可以包括其他部件，例如模型拟合部件或分类器训练部件，用于对模型进行拟合或者对分类器进行训练，以及例如通信部件，用于将有关信息和/或中间处理结果传递到外部等，再比如显示部件，例如用于显示运动对象识别结果或者对象的运动的识别结果等。
[0079]4、运动对象表示方法的第一实施例
[0080]图5示出了根据本发明一个实施例的运动对象表示方法3000的总体流程图。该运动对象表示方法3000的各个步骤可以例如由图4所示的对应的部件来执行，当然也可以由通用或专用计算装置来执行。
[0081]如图5所示，在步骤S3100中，获得捕获运动对象的立体图像，该立体图像至少包括深度图像。
[0082]在步骤S3300中，使用与围绕关键点的第一预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向。
[0083]在步骤S3400中，根据关键点的主方向，确定在该围绕关键点的第二预定区域内的像素的运动向量。
[0084]在步骤S3500中，基于所确定的围绕该关键点的第二预定区域内的像素的运动向量，提取描述关键点的特征。
[0085]4.1立体图像获得操作示例
[0086]在一个示例中，该立体图像包括深度图像和对应的灰度图像。
[0087]该立体图像数据可以是利用立体相机例如双目相机拍摄的其中包括运动对象部分的图像数据。
[0088]在一个示例中，获得的立体图像可以是经过预处理后的图像数据。在另一个示例中，可以在获得立体图像之后，进行预处理操作。
[0089]图6示出了根据本发明一个示例的对立体图像进行预处理的方法的示例性流程。该预处理方法可以并入图5所示的步骤S3100或S3200中，或者也可以作为独立的步骤安排在步骤S3100和S3200之间，再或者也可以是在步骤S3100之前执行的，并将处理后的图像作为步骤S3100中的获得对象。
[0090]如图6所示，在步骤S3110中，分割出对象区域，该对象区域可以为一个长方形区域。
[0091]该步骤操作通过涉及背景识别和去除。可以利用各种技术来完成此任务，例如可以利用非参数型背景建模技术来检测视频中的前景信息。有关实现此步骤的技术例如可以参考前述专利文献US7330566中的关于图4中的步骤408和410的介绍。
[0092]在一个示例中，可以使用深度信息来分割对象区域，例如可以采用Kinect的交流软件库中包括的软件来实现该对象区域分割操作。
[0093]在步骤S3120中，可以将对象的某部分的区域对齐，以实现对象对齐操作。例如，以人体为例，可以将各个图像中的对象轮廓的上半部分的中心点互相对齐，以便保证对象区域图像序列中人体躯干部分对齐。在一个示例中，可以采用人体的头肩模型来识别人体的躯干部分。
[0094]在步骤S3130中，调整该分割出并经对齐的对象区域图像的大小，使得所有对象的轮廓具有同样的大小，然后得到了预处理后的对象区域图像。
[0095]图7示出了该图像预处理方法对应的数据流图示例。首先，对于标号I所示的一个步态周期的图像序列中的每个图像，分割出人体区域图像部分(2)，然后进行躯干对齐操作(3)，调整图像大小(4)，得到了一个步态周期的经对齐调整的人体区域图像。
[0096]在一个示例中，图6和图7所示的操作可以先在深度图上进行，然后对于灰度图像(包括彩色图像)进行与深度图对应的规范化操作，例如将灰度图像中的对应部分提取出来并调整大小。
[0097]4.2、关键点提取操作示例
[0098]图8示出了根据本发明一个实施例的从立体图像中的运动对象提取关键点的示例性方法3200的流程图，该示例性方法3200可以用于实现图5中的步骤S3200。
[0099]图9结合数据流示出了根据本发明一个实施例的从立体图像中的运动对象提取关键点的示例性方法3200’的操作过程。
[0100]如图8所示，在步骤S3210中，从深度图像获得表征运动对象上的运动部分的运动区域。
[0101]例如，在人体行走中，希望集中分析运动幅度较大的腿部区域或胳膊区域，腿部区域或胳膊区域的运动能较好地表征人体行走的体态特征。
[0102]再例如，在人手势动作中，希望集中分析手部。
[0103]在一个示例中，从深度图像获得表征运动对象上的运动部分的运动区域可以包括:从包括该深度图像以及时间上在该深度图像之前的顺序的深度图像分割出运动对象区域的序列；统计运动对象区域中各位置处的像素出现频率；以及基于像素出现频率，确定并去除运动对象区域中的基本静止部分。此操作基于如下思想:在图像中的人体对齐之后，人动作中人体上相对不动的部分将基本处于同一位置，而运动频率和幅度较大的部分则不会处于同一位置，这样从统计上看，人体上同一位置处像素出现频次高的位置对应于人体上的基本静止部分，例如胸部、腹部等，由此可以例如通过统计一个运动周期的视频图像中的各位置处像素出现频次，而迅速确定并去除运动过程中人体上的相对不动部分，而保留下相对运动部分。
[0104]后面将参考图10详细介绍一个用于获得对象的运动部分的示例性方法的操作过程。
[0105]在步骤S3220中，从该运动区域提取关键点。
[0106]在一个示例中，如图9所示，提取关键点可以包括将运动区域划分为更小的单元(图9中的3203)，计算每个单元的中心(图9中的3204)，以各个单元的中心作为关键点(图
9中的3205)。另外，如果一个单元内不存在有效像素值(体现在图9中为不存在白点的全黑单元)，则可以对该单元不进行关键点提取处理。
[0107]作为提取关键点的方法的另一示例，可以在运动区域对应的灰度图像中进行，例如可以通过求得该灰度图像的不同尺度(scale)下的高斯差分图像，并且计算高斯差分的局部极值来定位关键点。在某些示例中，一个关键点可以用其尺度(即其所在的高斯差分图像的尺度)、位置、朝向等来描述。有关二维灰度图像中的关键点的确定可以参考David G.Lowe 的文章 Distinctive i mage features from scale-1nvariant keypoints,Internat1nal Journal of Computer Vis1n, 60，2 (2004)，pp.91-110 中的介绍。
[0108]下面结合图10详细介绍一个用于获得对象的运动部分的示例性方法。3210的操作过程。该示例性方法3210可以应用于图8所示的步骤S3210。
[0109]需要说明的是，图10中的步骤S3217之上部分的左侧操作S3211-S3213与右侧操作S3214-S3216之间不存在依赖关系，可以并行进行，或者右侧操作S3214-S3215可以是事先执行而得到参考掩膜3216。
[0110]如图10所示，基于预处理后的深度图像Fd(t)和深度图像Fd(t+l)3219 (在其侧面，分别示意性地示出了其深度图)，在步骤S3211，计算两者之间的差，得到差异图像(在步骤S3211左侧示意性地示出了差异图像)，由此去除了人行走中相对静止部分中的内部部分，但是由于人行走中躯干的轻微晃动或变形，人体相对静止部分中的外部轮廓部分通过此相减会保留下来。这希望通过后续的时刻t的掩膜与参考掩膜3216之间的and (逻辑与)操作而去除。
[0111]然后在步骤S3212，对该差异图像进行二值化操作，得到了 t时刻的掩膜(mask)，可称之为掩膜t。
[0112]参考掩膜3216是对一个周期的掩膜进行求和(S3214)和利用阈值过滤(S3215)后得到的参考掩膜，其去除了人行走过程中的相对静止部分的内部和大部分外部，而留下来一下运动程度较大的部分的轮廓，例如胳膊、腿部。
[0113]在参考掩膜计算过程中，步骤S3214相当于统计在同一位置像素出现的次数，步骤S3215可以是将像素出现次数高于预定阈值次数的位置视为静止部分，并去除，而将像素出现次数低于预定阈值次数的位置视为运动部分并保留，由此得到参考掩膜3216。
[0114]在步骤S3217，将掩膜t3213与参考掩膜3216进行逻辑与运算，结果得到由人体的运动部分的轮廓像素组成的图像(本文中也称之为运动区域)3218。
[0115]对这样的运动区域进行关键点提取和关键点特征提取，能够减轻例如背包、鞋子、外衣等穿着变换对于对象表征和识别的影响。
[0116]返回到图8，这样的运动区域可输入到步骤S3220，以提取关键点。
[0117]上面结合图8描述了关注运动区域部分来提取关键点的示例性方法，这对于描述对象的运动特别有利。不过在某些情况下，例如关注对象识别的情况下，还可以从对象的相对静止部分来提取关键点。
[0118]为便于理解，图9结合数据流给出了提取关键点的一个具体示例性过程。
[0119]其中，基于输入的深度图像，例如图7所示的经过对齐和大小调整后的一个步态周期的图像序列中的全部或部分图像(图9中的3201)，估计运动部分(图9中的3202)，将估计得到的运动部分划分为单元(图9中的3203)，计算每个单元的中心作为关键点(图9中的 3204 和 3205)。
[0120]4.3、关键点主方向确定操作示例
[0121 ] 在一个示例中，使用围绕关键点的预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向包括；以像素的运动向量的深度幅度作为一维，以及以像素的运动向量在与深度垂直的平面内的分量的方向作为另一维，获得二维直方图，并基于该二维直方图中的峰值相关联的方向，来确定关键点的主方向。
[0122]图11示出了根据本发明一个实施例的确定关键点的主方向的示例性方法3300的流程图，该方法3300可以用于实现图5中的步骤S3300。
[0123]如图11所示，在步骤S3310中，计算围绕关键点的预定范围内的像素的运动向量。
[0124]在步骤S3320中，以像素的运动向量的深度幅度作为一维，以及以像素的运动向量在与深度垂直的平面内的分量的方向作为另一维，获得二维直方图。
[0125]图12示出了关键点附近区域内像素的运动向量的二维直方图的示意图。其中一维为像素的运动向量的方向V (direct1n)，另一维为像素的运动向量的深度幅度(Λ z)，第三维表示运动向量取此二维限定的值的像素的数目。
[0126]在步骤S3330中，基于该二维直方图中的峰值相关联的方向，来确定关键点的主方向。
[0127]下面将给出步骤S3310中计算像素的运动向量的示例性实现方法。
[0128]在此之前，为便于理解，描述一下像素的运动向量。
[0129]图13示意性示出了像素的2D和3D运动向量的示例，人体上的关键点P在真实世界坐标系中从P(t)运动到了 P(t+1)。在图像平面(X，Y)中的对应运动是从P(t)’运动到了 P(t+1)’。W(Mxyz，Dxyz)是关键点P的3D (三维)运动向量,其中Mxyz表示3D运动向量的幅度，Dxyz表示3D运动向量的方向。V(Mxy，Dxy)是图像平面(X，Y)中的对应2D运动向量，其中Mxy表示2D运动向量的幅度,Dxy表示2D运动向量的方向。关键点P的运动向量在深度方向上的分量是假设关键点的主方向是W(MxyZ，DxyZ)的方向。后续将以关键点的3D主方向作为参考，来描述围绕关键点的附近区域内的像素的运动。作为一个简化示例，可以以3D运动向量W(Mxyz，Dxyz)在XY平面的2D运动向量分量V(Mxy, Dxy)的方向作为主方向，来将图像平面的坐标轴(例如X轴)旋转到2D运动向量分量V (Mxy，Dxy)的方向处。在另一个示例中，可以将关键点的3D运动向量在深度方向的主分量Λζ作为调整因子(例如正规化因子)，来调整(例如正规化)围绕关键点的附近区域的像素在深度方向的运动幅度。
[0130]图14(a)、(b)示出了在参考坐标系旋转前后的围绕关键点的附近区域的示意图，在图14(a)中其中P是关键点，Θ是关键点的主方向，方形区域Ω是关键点的邻域，关键点P位于区域Ω的中心，q指示的小三角是区域Ω中的一个点,设坐标为(x，y),k指示的小菱形是区域Ω中的另一个点。如图14(b)所示，在将坐标轴例如X轴旋转到关键点的主方向后，P的邻域变为矩形区域Q’，q的坐标变为(X’，y’)，点k不再属于参考坐标系旋转后的关键点P的邻域，而原来不在关键点P的邻域的点L (L指示小矩形，其是区域Ω’中的一个点)。在此情况下，旋转前后邻域发生变化，前后邻域内像素可能存在不同，因此旋转后可能涉及到重新计算像素的运动向量。
[0131]图15示出了根据本发明一个实施例的计算像素的运动向量的方法3310的流程图，该方法3310可以用于实现图11所示的步骤S3310’。
[0132]在步骤S3310中，从连续的彩色图像帧计算光流，并输出在图像平面(x，y)中的2D运动向量，以及找到在连续的彩色图像帧中的对应像素对。
[0133]在步骤S3320中，使用此采用图像帧中的对应像素对定位到对应的连续深度图像帧中的对应像素对。
[0134]在步骤S3330中，计算得到在深度方向上的运动向量。
[0135]图16示出了根据本发明一个实施例的结合数据流图的图像平面和深度方向的运动向量的计算的示例性方法3310’的过程图，该示例性方法3310’可以应用于图11所示的步骤S3310。
[0136]如图16所示，基于输入的对齐的彩色图像帧的运动区域Fc(t)中的各个像素Fc(t，x，y)(图16中的a)和运动区域Fe (t+1)中的各个像素Fe (t+1, x, y)(图16中的b)，在步骤S3311’计算光流,得到了在图像平面(X，y)中的运动向量V (Mxy, Dxy)(图16中的d)以及Fe (t, X，y)在巾贞Fe (t+Ι)中的匹配像素位置Fe (t+1, χ+Δ x, y+Δ y)(图16中的c),由此，基于对齐的深度帧Fd(t+1)(图16中的e)，在步骤S3312’定位对应的连续深度图像帧Fd (t+Ι)中的对应像素，得到了 Fd(t，x，y)的匹配像素位置Fd (t+1, χ+Λ x, y+Λ y)(图16中的f)，在步骤S3313’，计算对齐的深度帧Fd(t)的运动区域中的各个像素Fd(t，x，y)与对应的对齐的深度帧Fd (t+Ι)的运动区域中的各个像素Fd (t+1，χ+Δχ, y+Δγ)之间的深度差，由此得到深度方向(ζ轴)上的运动向量Λζ。
[0137]4.4、关键点周围区域的像素的旋转不变运动向量获取示例
[0138]图17示出根据本发明的一个实施例的用于相对关键点的主方向，获得关键点周围区域的像素的旋转不变运动向量的示例性方法3400的流程图，该示例性方法3400可以应用于实现图5中的步骤S3400。
[0139]如图17所示,在步骤S3410中,基于关键点的主方向,旋转参考图像坐标系。例如，如图14(b)所示，将参考图像坐标系的χ轴旋转到关键点的主方向。
[0140]在步骤S3420中，在旋转后的参考坐标系中，确定围绕关键点的该第二预定区域。例如，如图14(b)所示，确定以关键点为中心的，各边与χ轴或y轴平行的矩形区域Ω’。
[0141]在步骤S3430，对于先前已经计算其运动向量的像素，变换先前已经计算的运动向量，获得该像素在旋转后的参考坐标系下的运动向量。
[0142]在一个示例中，变换先前已经计算的运动向量包括将先前已经计算的运动向量在与深度方向垂直的平面的运动方向旋转与所述关键点的主方向对应的角度。
[0143]在另一个示例中，变换先前已经计算的运动向量可以包括:使用围绕关键点的第一预定区域内的像素的三维运动相关联的统计信息来确定与关键点相关联的在深度方向上的运动幅度，例如图12中的Λζ。以及变换先前已经计算的运动向量包括:将先前已经计算的运动向量在深度方向上的幅值减去所述与关键点相关联的在深度方向上的运动幅度；以及将先前已经计算的运动向量在与深度方向垂直的平面的运动方向旋转与所述关键点的主方向对应的角度。
[0144]在步骤S3440，对于先前不曾计算其运动向量的像素，计算该像素在旋转后的参考坐标系下的运动向量。
[0145]例如对于图14 (b)中后来进入关键点邻域中的像素L，如果先前不曾计算其运动向量，则可以算该像素在旋转后的参考坐标系下的运 动向量。
[0146]上述变换操作通过以关键点的主方向作为标准方向，旋转关键点附近区域内的像素的运动向量，可以实现一定程度的旋转不变性，由此一定程度上可以获得相对相机视角不变的运动特征。
[0147]4.5、基于旋转不变运动向量提取关键点的特征
[0148]图18示出了根据本发明一个实施例的用于基于关键点的周围区域的像素的运动向量来提取关键点的特征的示例性方法3500的流程图，该方法3500可以用于实现图5所示的步骤S3500。
[0149]如图18所示，在步骤S3510中，将围绕关键点的区域划分为多个种子区域。
[0150]例如围绕关键点的区域为大小为16*16的窗口，该窗口以关键点为中心。将该区域划分为4*4的种子区域，其中每个种子区域如图19中的右上角的方形区域，如标号I指
/Jn ο
[0151]在步骤S3520中，对每个种子区域，统计运动特征。
[0152]图20示出了根据本发明一个实施例对于每个种子区域统计运动特征的示例性方法3520的流程图。
[0153]如图20所示，基于种子区域中的运动向量(3521)，计算运动方向直方图S3522。
[0154]在一个不例中，可以将方向直方图划分为8个bin(立柱),每个bin覆盖45度。图21示出了方向直方图的8个bin的角度划分关系。
[0155]查看种子区域中的每个像素的运动向量在图像参考平面(x，y)中的方向(以角度表示)，基于该方向相关联的角度，将该像素分配到相应的bin中，进行累计。在一个示例中，可以利用像素的包括深度方向的幅度在内的运动向量幅度信息(例如将深度方向的幅度和图像参考平面(x，y)中的幅度相加)，对于该像素在其对应的运动方向上的贡献加权，可以利用高斯函数来计算权重。
[0156]在步骤S3530中，集合各个种子区域的运动特征，作为描述关键点的特征。
[0157]例如，以图19所示的16个种子区域为例，每个种子区域的特征为8个bin内的像素的加权统计，则将各个种子区域的特征集合起来可以得到一个16*8=128维的特征向量，作为描述关键点的特征向量。
[0158]图22示意性地示出了该关键点的128维特征向量的示意性表示。
[0159]一个 128 维特征向量 F 的例子可以是 F=[18;6;2;0;0;0;0;16;43;7;0;0;0;0;10;31;33;10;0;0;0;0;24;33;39;1;0;0;0;0;19;125;38;20;12;4;0;0;I;11;128;26;4;0;0;I;37;96;26;12;15;3;2;27;128;64;128;8;2;I;I;5;20;128;61;17;3;2;O;O;6;52;100;70;47; 5; 12; 8; 11; 45; 18; 99; 128 ; 8; 5; 10; 11; 11; 128; 128; 28; I; I; 2; 3 ; 12; 82 ; 78; 4; 3 ; 2; O; I;8;41;32;8;5;23;21;45;44;8;22;23;2;8;18;128;81;128;60;4;0;3;13;37;23]ο
[0160]需要说明的是，bin的数目可以少于或多于8个，以及特征向量F的维数可以少于或多于128维。
[0161]上面参考附图描述了根据本发明实施例的运动对象表示装置和运动对象表示方法，其本质为一种关键点的特征提取方法，其中使用关键点附近区域内的像素的三维运动相关联的统计信息来确定关键点的主方向(dominant direct1n),并根据关键点的主方向，调整围绕关键点的区域内的像素的运动向量，以得到旋转不变运动向量，由此使得调整后的关键点周围的像素的运动向量与相机视角无关。随后，基于关键点附近区域内的像素的运动向量来提取关键点的特征，从而关键点的特征也具有与相机视角无关的特性。
[0162]后续可以利用这样的提取关键点的特征的方法，来对例如作为训练样本的一个或多个运动周期，或者一个或多个周期的一部分的图像序列进行特征提取，得到各个特征向量，由此进行模型拟合或分类器训练；进而可以对作为测试样本的一个或多个运动周期，或者一个或多个周期的一部分的图像序列进行特征提取，得到各个特征向量，并输入到拟合后的模型或者训练好的分类器，得到模型输出或者分类器分类结果。
[0163]5、运动对象识别方法示例
[0164]上述根据本发明实施例的运动对象特征提取方法可以用于运动对象识别应用中。
[0165]需要说明的是，本文中的运动对象识别，除非上下文给出相反指示，否则应该做广义理解，即既包括一般意义上的对象本身的识别，也包括对象相关联的动作的识别，其中对象本身的识别可以是不同层面的，例如将此对象类别与其它对象类别区分开(例如将人和车辆区分开)，也包括就对象的身份进行识别(例如将此人和他人区分开)；对象相关联的动作的识别也同样可以是不同层面的，例如将此类动作与其它类动作识别开(例如将握拳动作和摆手动作区分开)，也包括同类动作的做出过程中的不同姿态的分析(例如握拳动作中的从手张开姿态到手闭合姿态的分析)等等。
[0166]图23示出了一般的运动对象识别方法4000的示例性总体操作过程。
[0167]具体地，运动对象识别方法包括训练过程和测试过程。
[0168]在训练过程中，对于运动对象的至少一个运动周期的按时间顺序的样本深度图像中的一个或多个(4010)，进行上述提取关键点、确定关键点的主方向、旋转像素的运动向量、提取关键点的特征的操作，得到用于训练的关键点的特征的集合(4020);以及基于用于训练的关键点的特征的集合，训练预定分类器(4050)。
[0169]在测试过程中，接收运动对象的至少一个运动周期的按时间顺序的测试深度图像中的一个或多个(4030)，进行上述提取关键点、确定关键点的主方向、旋转像素的运动向量、提取关键点的特征的操作，得到用于测试的关键点的特征的集合(4040);以及基于该用于测试的关键点的特征的集合和所述训练的预定分类器，对测试深度图像相关联的运动对象进行分类(4050)。
[0170]需要说明的是，视角不变特征提取操作(4020)和视角不变特征提取操作(4040)可以共享相同的软件、硬件或固件。
[0171]训练阶段和测试阶段涉及的模型或分类器是同一模型或分类器，该模型或分类器在训练阶段训练好参数或结构，然后在测试阶段利用建构好的模型或训练好的分类器来进行分析或分类。
[0172]运动对象识别可以包括，但不限于，下述方面的识别:识别运动对象的性别；识别运动对象的身份；识别运动对象的步态；以及识别运动对象的手势。
[0173]图24示出了根据行人步态识别行人的性别的运动对象识别方法5000的示例性过程。
[0174]图24的上部分的右侧为训练过程，输入为用于训练的人步态图像序列5010’，例如不同性别的人的一行走周期的图像序列。
[0175]对各个训练样本的图像序列进行特征提取，其中包括图像预处理(步骤S5020’)、关键点提取(步骤S5030’)、关键点的主方向计算(步骤S5040’)、关键点的特征生成(步骤S5050’)，得到训练用的特征向量集合(5050’)，对支持向量机(SVM)分类器进行训练(步骤S5100，)，得到训练好的SVM分类器(5070 )。
[0176]对于输入的供测试的步态图像序列(5010)，进行上述图像预处理、关键点提取、关键点主方向计算、关键点特征生成步骤(S5020-S5050)，生成测试特征向量集合(5060)，输入到训练好的SVM分类器5070中，进行性别分类(S5080)，得到性别分类结果(5090)。
[0177]运动对象识别在现实生活中具有各种应用。
[0178]例如，运动对象识别可以应用于商场中目标区分性的广告推送，例如在有人走过电子广告牌时，基于该人的行走姿态判断该人的性别，并相应地调整播放的广告，例如当判断走过的人是男性时，播放男士钱包的广告，而当走过的是女性时，播放女士挎包的广告。
[0179]再例如，大型商厦可以收集走入大厦的客户的统计信息，包括性别和年龄信息等。
[0180]再例如，远程医院中，根据病人的步态等自动诊断病人的异常情况，例如判断脑功能障碍。
[0181]再例如，在机场、火车站等，自动识别人的动作，判断是否做出危险性动作，从而采取相应的警告或安保措施等。
[0182]6、用于进行运动对象表示的计算系统
[0183]本发明还可以通过一种用于进行运动对象表示的计算系统来实施。图25示出了适于用来实现本发明实施方式的示例性计算系统600的框图。如图25所示，计算系统600可以包括:CPU (中央处理单元)601、RAM (随机存取存储器)602、R0M (只读存储器)603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器69、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些设备中，与系统总线604耦合的有CPU601、RAM602、R0M603、硬盘控制器605、键盘控制器606、串行控制器607、并行控制器608和显示控制器609。硬盘610与硬盘控制器605耦合，键盘611与键盘控制器606耦合，串行外部设备612与串行接口控制器607耦合，并行外部设备613与并行接口控制器608耦合，以及显示器614与显示控制器609耦合。应当理解，图25所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。
[0184]所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
[0185]可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算 机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0186]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0187]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。
[0188]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言一诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0189]上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
[0190]也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruct1nmeans)的制造品(manufacture)。
[0191]也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
[0192]附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0193]前述描述仅为说明性的，可以进行很多修改和/或替换。
[0194]例如，在前面的描述中，在获得关键点的运动主方向后，在对关键点附近区域的像素的运动向量进行调整中，对与图像平面内的运动向量的方向进行调整(旋转)，而对深度方向的运动向量进行了幅度调整。不过，这仅为示例，而并非作为限制，也可以对深度方向的运动向量进行方向调整(例如进行旋转)。
[0195]另外，前面的描述中，在运动对象的特征提取中，仅考虑了运动区域上的特征提取。不过这仅为示例，而并非作为限制，可以也提取运动对象的相对静止区域的特征，然后结合运动区域相关的特征，一起对运动对象进行识别。
[0196]另外，在前面的描述中，以图像序列(例如人的一个行走周期的图像序列)作为一个训练或测试样本单位。不过这仅为示例，也可以对单个图像作为训练或测试样本单位。
[0197]另外，在前面的描述中，以SVM分类器为例说明了可以采用的分类器，此仅为示例，可以采用其它的分类器类型，例如最近邻分类器，神经网络分类器等等。
[0198]另外，在前面的描述中，在得到关键点的特征向量后，以各个关键点的特征向量集合作为运动对象的特征向量。这仅为示例，而非作为限制，实际上可以对于各个关键点的特征向量进行进一步的例如统计和划分区段等操作，来得到更高级别的特征向量，供后续处理。
[0199]以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
【主权项】
1.一种运动对象表示方法，包括: 获得捕获运动对象的立体图像，该立体图像包括深度图像； 从立体图像中的运动对象提取关键点； 使用与围绕关键点的第一预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向； 根据关键点的主方向，确定在该围绕关键点的第二预定区域内的像素的运动向量，以得到旋转不变运动向量；以及 基于所确定的围绕该关键点的第二预定区域内的像素的运动向量，提取描述关键点的特征。2.根据权利要求1的运动对象表示方法，所述从立体图像中的运动对象提取关键点包括: 从深度图像获得表征运动对象上的运动部分的运动区域；以及 从该运动区域提取关键点。3.根据权利要求2的运动对象表示方法，所述从深度图像获得表征运动对象上的运动部分的运动区域包括: 从包括该深度图像以及时间上在该深度图像之前的顺序的深度图像分割出运动对象区域的序列； 统计运动对象区域中各位置处的像素出现频率；以及 基于像素出现频率，确定并去除运动对象区域中的基本静止部分。4.根据权利要求1的运动对象表示方法，所述使用围绕关键点的预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向包括； 以像素的运动向量的深度幅度作为一维，以及以像素的运动向量在与深度垂直的平面内的分量的方向作为另一维，获得二维直方图，并基于该二维直方图中的峰值相关联的方向，来确定关键点的主方向。5.根据权利要求1的运动对象表示方法，基于确定的围绕该关键点的第二预定区域内的像素的运动向量，提取描述关键点的特征包括: 计算第二预定区域内的像素的运动向量的运动方向直方图；以及 基于运动方向直方图，来提取描述关键点的特征。6.根据权利要求1的运动对象表示方法，还包括: 对于运动对象的至少一个运动周期的按时间顺序的样本深度图像中的一个或多个，进行上述提取关键点、确定关键点的主方向、旋转像素的运动向量、提取关键点的特征的操作，得到用于训练的关键点的特征的集合；以及 基于用于训练的关键点的特征的集合，训练预定分类器。7.根据权利要求6的运动对象表示方法，还包括: 接收运动对象的至少一个运动周期的按时间顺序的测试深度图像中的一个或多个，进行上述提取关键点、确定关键点的主方向、旋转像素的运动向量、提取关键点的特征的操作，得到用于测试的关键点的特征的集合；以及 基于该用于测试的关键点的特征的集合和所述训练的预定分类器，对测试深度图像相关联的运动对象进行分类。8.根据权利要求1的运动对象表示方法，所述根据关键点的主方向，确定该围绕关键点的第二预定区域内的像素的运动向量包括: 基于关键点的主方向，旋转图像参考坐标系；以及 在旋转后的参考坐标系中，确定围绕关键点的该第二预定区域。9.根据权利要求8的运动对象表示方法，确定该围绕关键点的第二预定区域内的像素的运动向量包括: 对于先前已经计算其运动向量的像素，变换先前已经计算的运动向量，获得该像素在旋转后的参考坐标系下的运动向量；以及 对于先前不曾计算其运动向量的像素，计算该像素在旋转后的参考坐标系下的运动向量。10.一种运动对象表示装置,包括: 图像获得部件，获得捕获运动对象的立体图像，该立体图像包括深度图像； 关键点提取部件，从立体图像中的运动对象提取关键点； 关键点主方向确定部件，使用围绕关键点的第一预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向； 关键点附近区域内像素运动向量确定部件，根据关键点的主方向，确定该围绕关键点的第二预定区域内的像素的运动向量；以及 关键点特征描述部件，基于确定的围绕该关键点的第二预定区域内的像素的运动向量，提取描述关键点的特征。
【专利摘要】提供了一种运动对象表示装置和运动对象表示方法。该运动对象表示方法可以包括：获得捕获运动对象的立体图像，该立体图像包括深度图像；从立体图像中的运动对象提取关键点；使用与围绕关键点的第一预定区域内的像素的三维运动相关联的统计信息来确定关键点的主方向；根据关键点的主方向，确定在该围绕关键点的第二预定区域内的像素的运动向量，以得到旋转不变运动向量；以及基于所确定的围绕该关键点的第二预定区域内的像素的运动向量，提取描述关键点的特征。本发明能够对于运动对象提取与相机视角无关的特征。
【IPC分类】G06T7/20
【公开号】CN104881881
【申请号】CN201410069754
【发明人】赵颖
【申请人】株式会社理光
【公开日】2015年9月2日
【申请日】2014年2月27日
【公告号】US20150243038