使用多个传感器的手势识别的制作方法
使用多个传感器的手势识别的制作方法
【专利摘要】一种装置，包括：处理器；用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互；第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且分别生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及手势识别系统，用于从传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
【专利说明】使用多个传感器的手势识别
【技术领域】
[0001]本发明总体上涉及手势识别，并且具体地但非排他地涉及识别由设备或终端的第一传感器和第二传感器检测到的手势。
【背景技术】
[0002]已经知道，使用由通信终端的摄像头接收的视频数据来使得用户能够控制与该终端关联的应用。应用存储有使用摄像头检测到的预定用户手势和与应用关联的一个或多个命令之间的映射。例如，一个已知的照片浏览应用允许使用在终端的前置摄像头前进行的挥手手势来控制如何在用户界面上显示照片，从右到左的手势通常致使应用按照照片的顺序如进。
[0003]然而，摄像头趋向于具有有限的光学感测区或视场，并且，因为其操作方式，它们对解释某些手势、尤其涉及朝向或远离摄像头运动的手势有困难。因此解释三维手势的能力非常有限。
[0004]进一步的，能够以这种方式来控制的功能的数目受限于系统能够区分的不同手势的数目。
[0005]在视频游戏领域中，已经知道，使用由雷达收发器发射的无线电波来在比摄像头更大的视场上标识物体运动。
【发明内容】
[0006]本发明的第一方面提供了一种装置，包括:
[0007]处理器；
[0008]用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互；
[0009]第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
[0010]手势识别系统，用于从所述传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
[0011]所述手势识别系统可以进一步响应于在所述重叠区外部检测到物体，来根据仅从所述传感器中的一个传感器接收的信号控制不同的第二用户界面功能。
[0012]所述手势识别系统可以进一步响应于在所述重叠区内部检测到物体，来根据检测到的物体的运动从两个传感器接收的信号标识出一个或多个预定的手势，并且根据每个标识的手势来控制所述第一用户界面功能。
[0013]所述第一传感器可以是光学传感器，以及所述第二传感器可以使用电磁谱的不同部分来感测接收的无线电波并且可选的是雷达传感器。该装置可以进一步包括:图像处理装置，与所述光学传感器关联，所述图像处理装置被配置为标识从所述光学传感器的不同区接收的图像信号，并且其中所述手势识别系统被配置为根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。所述雷达传感器可以被配置为以界定比所述光学传感器的空间感测区更宽的空间感测区的方式来发射或接收无线电信号。所述手势识别系统可以被配置为从接收的图像信号和无线电感测信号中标识平移移动和径向移动二者、和/或物体相对于所述装置的径向距离，以及可以被配置为从中确定用于控制所述第一用户界面功能的一个或多个预定的手势。所述手势识别系统可以被配置为从接收的所述图像信号中标识与在随后的图像帧之间的前景物体的位置变化关联的运动向量，以及可以被配置为从中获得所述平移运动。
[0014]所述装置可以是移动通信终端。所述移动通信终端可以包括在所述移动通信终端的一侧或一面的显示器，用于显示借助于从所述第一传感器和所述第二传感器二者接收的信号来控制的图像数据。所述光学传感器可以是在所述显示器同侧或同面提供的摄像头。所述雷达传感器可以被配置为接收来自所述显示器同侧或同面的反射的无线电信号。
[0015]所述手势识别系统可以用于检测手形物体。
[0016]本发明的第二方面提供了一种方法，包括:
[0017]从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
[0018]响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
[0019]该方法还可以包括:响应于在所述重叠区外部检测到物体，仅从所述传感器中的一个传感器接收信号；以及根据接收的所述信号来控制不同的第二用户界面功能。
[0020]该方法还可以包括:响应于在所述重叠区外部检测到物体，仅从所述第二传感器接收信号；以及根据接收的所述信号来控制不同的第三用户界面功能。
[0021]该方法还可以包括:基于检测到的所述物体的运动，从两个传感器接收的信号中标识出一个或多个预定的手势；以及根据该标识出的手势来控制所述第一用户界面功能。
[0022]该方法还可以包括:标识从光学传感器的不同区域接收的图像信号，以及根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。
[0023]本发明的第三方面提供了一种计算机程序，包括当被计算机装置执行时，用于控制所述计算机装置执行上述方法的指令。
[0024]本发明的第四方面提供了一种非瞬态计算机可读存储介质，包括存储在其上的计算机可读代码，当被计算装置执行时致使所述计算装置执行包括以下的方法:
[0025]从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
[0026]响应于在所述重叠区内检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
[0027]本发明的第五方面提供了一种装置，所述装置具有至少一个处理器和至少一个其上存储有计算机可读代码的存储器，当所述代码被执行时，控制所述至少一个控制器:
[0028]从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
[0029]响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
【专利附图】
【附图说明】
[0030]现在，将仅通过示例的方式，参照附图来描述本发明各实施例，其中:
[0031]图1是体现本发明的各方面的移动终端的透视图；
[0032]图2a和图2b是能够在图1示出的移动终端中使用的雷达传感器类型的不同示例的电路图；
[0033]图3是图不图1移动终端的部件和它们的连接关系的不意图；
[0034]图4a和图4b是与针对第一传感器和第二传感器相应的感测区(包括重叠区)一起示出的图1移动终端的示意图；
[0035]图5是图示作为图1示出的移动终端的一部分提供的手势控制模块的功能部件的示意图；
[0036]图6示出了将来自传感器的签名数据与针对图1示出的终端的关联的软件的一个或多个控制功能进行相关的控制映射；
[0037]图7a、图7b和图7c示出了如何可以采用多种控制功能的图像表示，这有助于理解本发明；以及
[0038]图8是摄像头传感器被分成多个传感区的移动终端的第二实施例的示意图。【具体实施方式】
[0039]这里描述的实施例包括设备或终端，尤其包括通信终端，其使用补充传感器来提供体现终端周围环境的特征的信息。具体而言，该传感器提供信息以标识手势，其中该信息被处理来标识传感器的相应感测区中的物体以及该物体运动。
[0040]取决于仅由一个传感器还是由两个传感器检测到物体，使用相应的命令或命令组来控制终端的用户界面功能，例如控制终端的操作系统或与操作系统关联的应用的一些方面。与仅由一个传感器检测到的物体对应的信息被处理来执行第一命令或第一命令组，反之，与由两个或多个传感器检测到的物体对应的信息被处理来执行第二命令或第二命令组。在第二种情况下，这一处理基于来自不同传感器的信息的融合。
[0041]另外，可以基于由一个或两个传感器感测到物体的运动而处理由传感器提供的信息来标识用户手势。因此，将要执行的特定命令组取决于哪个或哪些传感器检测到手势以及进一步地取决于标识与该组内不同命令对应的特定手势。
[0042]首先参考图1，示出了终端100。终端100的外部具有触敏显示器102、硬件键104，、前置摄像头105a、雷达传感器105b、扬声器118以及耳机口 120。雷达传感器105b可以内置并且因此在终端100外部不可见。终端100可以是智能电话、移动电话、个人数字助理、平板电脑、手提电脑等。终端100可代之为诸如电视机或台式电脑等非便携式设备。非便携式设备是需要连接至主电源来运行的设备。
[0043]前置摄像头105a设在终端100的第一侧上，其与触敏显示器102是同侧。[0044]虽然这并不是必要的，但是雷达传感器105b设在终端与前置摄像头105a的同侧上。雷达传感器105b可以设在终端100的另一侧、后侧。仍可替换地，虽然未示出，但是可以连冋雷达传感器105b —起在终端100的后侧上设有后直摄像头105。
[0045]将理解，雷达是使用电磁波尤其是无线电波来检测物体的存在、它们的速度和运动方向以及它们到雷达传感器105b的距离的物体检测系统。从物体上反弹回来(即，反射)的发射波被传感器检测。在复杂雷达系统中，可以根据发射波和反射波之间的时间差来确定物体的距离。在简单系统中，能够确定物体的存在但是不能确定物体的距离。不论哪种情况，都能够通过检测多普勒频移来检测朝向还是远离传感器105b的物体的运动。在复杂系统中，虽然在当前最适于在手持设备中实现的系统中缺少方向发现能力，但是可以通过波束赋形来确定物体的方向。
[0046]现在简要描述当前的雷达技术及其局限性如下。一般而言，雷达能够检测到存在、运动的径向速度和方向(朝向或远离)，或者它能够检测物体自雷达传感器的距离。非常简单的多普勒雷达仅能够检测到运动的速度。如果多普勒雷达具有正交下变频，那么它还可以检测到运动的方向。脉冲多普勒雷达能够测量运动的速度。它还能够测量距离。调频连续波(FMCW)雷达或脉冲/超宽带雷达能够测量至物体的距离并且还能够使用测量到的实时的距离的变化来测量运动的速度。然而，如果只需要速度测量，多普勒雷达很可能是最适合的设备。将理解，多普勒雷达根据运动检测存在而FMCW或脉冲雷达根据距离信息检测存在。
[0047]这里，雷达传感器105b包括无线电波发射器和检测器部分二者，以及能够采用任何已知的适于位于手持终端上的雷达系统。图2a和2b分别图示了使用多普勒雷达前端和与正交下变频一起的多普雷雷达前端的基本操作原理。两个示例都包括用于根据IQ相位信息将反射波信息转换和处理为指示物体移动的径向方向、即朝向或远离雷达传感器105b的数字信号的模数(ADC)转换装置和快速傅里叶变换(FFT)和数字信号处理(DSP)装置。并且，可以将US6492933中公开的多普勒雷达系统使用和布置在终端100上。
[0048]图3示出了终端100的选定部件的示意图。终端100具有控制器106、包括显示部分108和触觉接口部分110的触敏显示器102、硬件键104、前置摄像头105a、雷达传感器105b、存储器112、扬声器118、耳机口 120、无线通信模块122、天线124和电池116。
[0049]进一步地，手势控制模块130被提供用于处理从摄像头105a和雷达传感器105b接收的数据信号，以便标识用于终端100的用户界面的手势控制的命令或命令组。关于这点，用户界面意思是与终端100关联的软件的任何输入界面。
[0050]再进一步地，通常由盒132指示的其它传感器被提供为终端100的一部分。它们包括加速计、陀螺仪、扩音器、背景光传感器等中的一个或多个。正如随后将描述的那样，得自这些其它传感器的信息能够用来调整上述手势控制模块130中的权重，还能够用于检测或帮助手势检测，或者甚至用于启用或禁用手势检测。
[0051]控制器106连接至其它部件(除电池116之外)中的每个部件，以便控制其操作。
[0052]存储器112可以是诸如只读存储器(ROM)、硬盘驱动器(HDD)或固态驱动器(SDD)的非易失性存储器。存储器112存储操作系统126并且可以存储软件应用128以及其它内容。控制器106使用RAM114用于数据的暂时存储。操作系统126可以包含如下代码，当控制器106结合RAM114来执行该代码时，该代码控制终端的每个硬件部件的操作。[0053]控制器106可以采用任何适当形式。例如，它可以是微控制器、多个微控制器、处理器或多个处理器。
[0054]终端100可以是移动电话或智能电话、个人数字助理(PDA)、便携媒体播放器(PMP)、便携计算机或者能够运行软件应用以及提供音频和/或视频输出的任何其它设备。在一些实施例中，终端100可以使用无线通信模块122和天线124来参与蜂窝通信。该无线通信模块122可以被配置为经由诸如GSM、CDMA、UMTS、蓝牙和IEEE802.11 (W1-Fi)的若干协议进行通信。
[0055]触敏显示器102的显示部分108用于向终端的用户显示图像和文本，触觉接口部分110用于从用户接收触摸输入。
[0056]除了存储操作系统126和软件应用128，存储器112还可以存储诸如音乐和视频文件的多媒体文件。可以在终端上安装多种多样的软件应用128，包括网页浏览器、无线电和音乐播放器、游戏和实用应用。在终端上存储的这些软件应用的部分或全部可以提供音频输出。可以通过终端的(多个)扬声器将这些应用提供的音频转换成声音，或者，如果耳机或扬声器已经连接至耳机口 120则可以通过连接至耳机口 120的耳机或扬声器将这些应用提供的音频转换成声音。
[0057]在一些实施例中，终端110还可以与未存储在终端上的外部的软件应用相关联。这些应用可以是存储在远程服务器设备上的应用并且可以部分或全部在该远程服务器设备上运行。这些应用可以被称为云托管应用。终端100可以与远程服务器设备通信以便利用在其存储的软件应用。这可以包括接收由外部软件应用提供的音频输出。
[0058]在一些实施例中，硬件键104是专用音量控制键或开关。硬件键可以例如包括两个相邻键、单个摇杆开关或旋转转盘。在一些实施例中，硬件键104位于终端100的侧面。
[0059]摄像头105a是数字摄像头，能够生成代表摄像头的传感器接收到的场景的图像数据。图像数据能够被用来使用图像数据的单一帧来提取静止图像，或者被用来记录一连串帧作为视频数据。
[0060]参照图4a和图4b，摄像头105a和雷达传感器105b具有各自的感测区134和132。至于雷达传感器105b，感测区132是远离终端100的空间量，来自感测区132的发射的无线电波能够被反射并由传感器检测。在图4a的情况下，雷达传感器105b发射并检测终端100周围的无线电波，从而有效界定了各向同性的感测区132。在图4b中，雷达的感测区更集中，具体而言，具有比各向同性的感测区的一半更小的视场。至于摄像头105a，感测区是通常的矩形视场，其中由该摄像头的光学传感器检测从物体反射或由物体发射的光波。
[0061]因此，摄像头105a和雷达传感器105b在电磁谱的不同频段上操作。摄像头105a在这一实施例中检测波谱的可视部分的光，但是该摄像头105a也可以是红外摄像头。
[0062]摄像头105a和雷达传感器105b布置在终端100上使得它们各自的感测区重叠以界定出第三重叠区136，在该第三重叠区136中两个传感器都能够检测到共同物体。如示出了终端100的侧视图的图4a和图4b 二者所指示，该重叠是雷达传感器的感测区132根据其径向空间覆盖延伸到摄像头的感测区134之外的部分。其中，雷达传感器的感测区132的范围是有限的，摄像头的光学范围(即，摄像头能够检测到物体的自该摄像头的最远距离)可能延伸到雷达的光学范围之外。另外，摄像头的感测区134可能比更聚焦的雷达传感器105b的感测区更宽。[0063]参照图5，示出了手势控制模块130的部件。
[0064]手势控制模块130包括分别与雷达传感器105b和摄像头105a相关联的第一手势识别模块(i) 142和第二手势识别模块(j) 144。
[0065]第一手势识别模块142从雷达传感器105b接收数字化的数据(见图2)，从该数据中可以得到与以下内容有关的签名信息:(i)在感测区132内的物体140的存在，(ii)可选地，物体相对于传感器的径向距离，以及(iii)物体的移动，包括运动的速度和方向(基于检测到的多普勒频移)。总体而言，签名信息被称为R (i)，能够用来识别在雷达感测区132内对终端100远程操作的一个或多个预定的用户手势。这能够通过将得到的信息R (i)与参考信息Ref (i)比较来执行，其中，参考信息Ref (i)将R (i)与针对不同手势的预定的参考签名相关。
[0066]第二手势识别模块144从摄像头105a接收数字化的图像数据，从该数据中可以得出与在其感测区134内的物体140的存在、形状、大小和移动有关的签名信息。物体140的移动可以是基于物体关于水平和垂直轴(x，y)的位置的变化的平移运动。物体140的移动朝向还是远离摄像头105a (堪比物体140自终端100的距离)能够基于物体的大小随时间的变化来估计。总体而言，该签名信息被称为R (j)，能够用来识别在摄像头感测区134内对终端100远程操作的一个或多个预定的用户手势。这能够通过将得到的签名信息R (j)与参考信息Ref (j)比较来执行，其中，参考信息Ref (j)将R (j )与针对不同手势的预定的参考签名相关。
[0067]手势控制模块130还包括融合模块146，将R (i)和R (j) 二者作为输入，并基于R (i)和R (j) 二者的融合生成另一签名信息组R (f)。具体地，当在图4a和图4b所指示的重叠区136中检测到物体140时，融合模块146从R (i)和R (j)进行检测。如果是这样，它生成另一融合签名R (f)，等于wl*R (i)+w2*R (j)，其中，wl和w2是加权因子。此夕卜，R (f)能够与参考信息Ref (f)相比较，其中，参考信息Ref (f)将R (f)与针对不同手势的预定的参考签名相关。
[0068]可以在产品设计阶段将参考信息Ref (i)、Ref (j)和Ref (f)输入手势控制模块130，但是也可以将新的多模手势教授或存储在该模块中。
[0069]将理解，融合签名R Cf)能够基于来自摄像头105a和雷达传感器105b的数据的协作组合而提供更精确的手势识别。例如，针对精确地确定物体是否在径向移动(即，朝向还是远离终端100)，摄像头105a具有有限的能力，但是，从雷达传感器105b接收到的数据能够提供精确的径向运动的指示。然而，雷达传感器105b不具有精确标识物体140的形状和大小的能力；可以通过处理从摄像头105a接收到的图像数据来实现高精确度的识别物体140的形状和大小。此外，雷达传感器105b不具有精确标识物体140的平移运动(S卩，跨雷达传感器105b的视场的运动)的能力，但是，可以通过处理从摄像头105a接收到的图像数据来实现高精确度的识别物体140的平移运动。
[0070]根据标识特定手势，加权因子Wl和《2能用来为任何签名提供更大的重要性从而实现更高的精确性。例如，如果两个签名R (i)和R (j)都指示关于终端100的径向运动，则考虑到与摄像头固有的精确确定径向运动的能力相比的雷达的该能力，能够对R (i)实施更大的权重。能够基于学习算法自动计算加权因子wl和《2，该算法能够使用与用户上下文有关的信息来检测诸如周围照度、设备振动等的信息。例如，(如图3的盒132中所设想的)加速剂、陀螺仪、扩音器和光学传感器中的一个或多个的上述用法能够提供信息来调整上述手势控制模块130中的权重，并且也能够用于检测或帮助手势检测，或者甚至启用或禁用手势检测。
[0071]此外，通过识别物体140在重叠区136内部还是外部，能够将共同的或类似的手势分配给不同用户界面功能。
[0072]签名R (i)、R ( j)和R (f)被输出至手势到命令映射(下面称为“命令映射”)148，下面将进行描述。
[0073]命令映射148的目的在于标识接收到的签名R (i)、R (j)或R (f)对应哪个命令。标识出的命令然后被输出至控制器106以便控制与终端100关联的软件。
[0074]参照图6，示出了简化的命令映射148。这里假设使得三组界面控制功能能够用于远程手势控制，分别标签为CS#1、CS#2和CS#3。
[0075]在仅在雷达感测区132内检测到物体的情况下，雷达签名R(i)用来控制CS#1。类似的，在仅在摄像头感测区134内检测到物体的情况下，摄像头签名R (j)用来控制CS#2。如果在重叠区136内检测到物体，则融合签名R (f)用来控制CS#3。
[0076]在每组CS#1、CS#2和CS#3中，标识出的特定手势用来控制界面控制功能的进一步的特性。
[0077]例举实用示例，CF#1涉及音量控制命令，其中物体140仅在雷达感测区内的存在启用了音量控制。在这种情况下，随着物体的移动，响应于物体距离的增加和减少，相应地增加和减少音量控制。图7a生动地指示了操作原理。
[0078]原则上，有许多种使用距离来控制音量的方式。例如，音量水平可以取决于物体自设备的测量距离。可替换地，如图7a中示出的情况，(基于多普勒或距离对时间)基于运动是朝向还是远离设备相应地增加和减少音量水平。音量的变化率能够取决于运动的速度。第二种选择(即多普勒选择)更容易实施。在这两种情况下，一旦设置了期望的音量水平，则有需要提供允许用户的手从设备离开的方式。这可以通过按压按钮或通过以某些方式触摸终端100来启用该控制而实现。一种选项是仅当雷达105b检测到运动同时摄像头105a在其可视区134中检测到物体时启用音量控制。另一种选项是物体已经保持静止持续某一时间段之后使该水平冻结(例如，3秒)。
[0079]CF#2涉及⑶I选择滚动命令，其中物体140仅在摄像头感测区134的存在启用了选择光标。随着物体在视场中移动，光标在可选项之间移动，例如在桌面上的应用图标之间移动或在照片浏览应用中的各照片之间移动。图7b生动地指示了操作原理。
[0080]CF#3可以涉及三维⑶I交互命令，其中物体140在重叠区136中的存在引起了在X-Y空间内的平移移动、以及基于物体的径向运动引起了放大/缩小操作。缩放操作可采用从摄像头105a和雷达传感器105b接收到的信息，但是，正如前面所指示，从雷达传感器接收的签名可能是更高的加权。图7c生动地指示了操作原理。
[0081]CF#3还可以满足有径向运动但没有平移运动的情形，例如，为了控制放大和缩小功能而无需⑶I上的转化，反之亦然。
[0082]其它能够通过命令映射被识别的手势包括由有序运动形成的手势。例如，以下运动的顺序可以被解释为与用户界面沿逆时针方向旋转相对应:(i)远离该设备的径向运动(使用雷达105b检测)，(ii)从右到左的平移运动(使用摄像头105a检测)，(iii)朝向设备的径向运动(使用雷达检测)，(iv)从左到右的平移运动(使用摄像头检测)。其它这样有序手势也能够被供应。
[0083]手势控制模块130能够以软件、硬件或二者的结合的方式体现。
[0084]现在将参考图8描述本发明的第二实施例。在本实施例中，摄像头105a的视场被有效地分成两个或多个子区N，在本情况中摄像头105a的视场被分成4个子区。更具体地，与摄像头105a相关联的处理软件分别为不同的子区N分配相应的像素组。以和第一实施例(其中在雷达/摄像头重叠区的外部检测到的物体被分配给另一功能)的方式相同，在N个子区的不同子区中检测到的物体被分配给不同的用户界面功能。因此，能够使用手势来便利地区分的用户界面功能的数目进一步增加。
[0085]假定上述物体140是人手，尽管手指、指针或其它用户可操作物体也能够被摄像头105a和雷达传感器105b标识为可识别的物体。其它适当的物体包括:人头、脚、手套或鞋。系统也可以操作使得终端100相对于固定物体运动。
[0086]将理解，上面描述的实施例仅仅是说明性的并且不限定本发明的范围。在阅读本申请的基础上，其它变形和修改对本领域技术人员而言是显而易见的。例如，尽管已经说明雷达传感器105b具有比摄像头105a的视场更大的视场，但是反之也是可以的。
[0087]系统可以包括多于一个雷达传感器105b或多于一个摄像头105a或者二者。雷达传感器105b可以基于超声技术。
[0088]在另一实施例中，不需要总是保持传感器105a和105b都激活。为了节约能量，一个传感器一检测到运动或存在，就打开另一个传感器。例如，雷达传感器105b可以用相对低的工作周期(短接通时间而更长断开时间)来监控终端100的周围，并且一旦它检测到运动，控制器106可以接通摄像机105a，反之亦然。此外，雷达传感器105b和摄像头都可以例如通过声音/语音来激活。也可以通过针对每个应用来设计摄像头105a和雷达传感器105b的使用使得它们只在需要时被激活而使功耗最小化。
[0089]进一步地，可能使用来自某些通信无线电设备的部件作为感测无线电设备来有效地进行雷达检测。各示例包括蓝牙和W1-Fi部件。
[0090]再进一步地，在上述实施例中，尽管摄像头105a和雷达传感器105b被描述成终端100内集成的部件，但是在备选实施例中，一种或两种类型的传感器可以被提供为通过例如USB或蓝牙的有线或无线接口连接至终端的分离的配件。手势控制模块130包括处理器并且手势控制模块130用于接收和解释来自该配件的信息。
[0091]此外，本申请的公开内容应当被理解为包括这里显式或隐式公开的特征的任何新的特征或新的特征的组合、或其任何概括、或在本申请的审查期间由此衍生的任何申请，可以规划新的权利要求来覆盖任何这样的特征和/或这样特征的组合。
【权利要求】
1.一种装置，包括: 处理器； 用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互； 第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及 手势识别系统，用于从所述传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
2.根据权利要求1所述的装置，其中所述手势识别系统进一步响应于在所述重叠区外部检测到物体，来根据仅从所述传感器中的一个传感器接收的信号控制不同的第二用户界面功能。
3.根据权利要求1或2所述的装置，其中所述手势识别系统进一步响应于在所述重叠区内部检测到物体，来基于检测到的物体的运动从两个传感器接收的信号标识出一个或多个预定的手势，并且根据每个标识的手势来控制所述第一用户界面功能。
4.根据任一前述权利要求所述的装置，其中所述第一传感器是光学传感器，以及所述第二传感器使用电磁谱的不同部分来感测接收的无线电波并且可选的是雷达传感器。
5.根据权利要求4所述的装置，进一步包括:图像处理装置，与所述光学传感器关联，所述图像处理装置被配置为标识从所述光学`传感器的不同区域接收的图像信号，并且其中所述手势识别系统被配置为根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。
6.根据权利要求4或5所述的装置，其中所述雷达传感器被配置为以界定比所述光学传感器的空间感测区更宽的空间感测区的方式来发射或接收无线电信号。
7.根据权利要求4至6中任一项所述的装置，其中所述手势识别系统被配置为从接收的图像信号和无线电感测信号中标识平移运动和径向运动二者、和/或物体相对于所述装置的径向距离，以及被配置为从中确定用于控制所述第一用户界面功能的一个或多个预定的手势。
8.根据权利要求7所述的装置，其中所述手势识别系统被配置为从接收的所述图像信号中标识与在随后的图像帧之间的前景物体的位置变化关联的运动向量，以及被配置为从中获得所述平移运动。
9.根据任一前述权利要求所述的装置，其中所述装置是移动通信终端。
10.根据权利要求9所述的装置，其中所述移动通信终端包括在所述移动通信终端的一侧或一面的显示器，用于显示借助于从所述第一传感器和所述第二传感器二者接收的信号来控制的图像数据。
11.根据权利要求9或10所述的装置，当引用权利要求4时，其中，所述光学传感器是在所述显示器同侧或同面提供的摄像头。
12.根据权利要求11所述的装置，其中所述雷达传感器被配置为接收来自所述显示器同侧或同面的反射的无线电信号。
13.根据任一前述权利要求所述的装置，其中所述手势识别系统被配置为检测手形物体。
14.一种方法，包括: 从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及 响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
15.根据权利要求14所述的方法，进一步包括:响应于在所述重叠区外部检测到物体，仅从所述传感器中的一个传感器接收信号；以及根据接收的所述信号来控制不同的第二用户界面功能。
16.根据权利要求15或16所述的方法，进一步包括:响应于在所述重叠区外部检测到物体，仅从所述第二传感器接收信号；以及根据接收的所述信号来控制不同的第三用户界面功能。
17.根据权利要求15或16所述的方法，包括:基于检测到的所述物体的运动，从两个传感器接收的信号中标识出一个或多个预定的手势；以及根据该标识出的手势来控制所述第一用户界面功能。
18.根据权利要求15至17中任一项所述的方法，包括:标识从光学传感器的不同区域接收的图像信号，以及根据物体在其中被检测到的区域来控制不同的相应的用户界面功倉泛。
19.一种计算机程序，包括当被计算机装置执行时，用于控制所述计算机装置执行权利要求14至19中任一项所述的方法的指令。
20.一种非瞬态计算机可读存储介质，包括存储在其上的计算机可读代码，当被计算装置执行时致使所述计算装置执行包括以下的方法: 从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及 响应于在所述重叠区内检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
21.一种装置，所述装置具有至少一个处理器和至少一个其上存储有计算机可读代码的存储器，当所述代码被执行时，控制所述至少一个处理器: 从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及 响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
【文档编号】G06F3/0487GK103502911SQ201280021975
【公开日】2014年1月8日 申请日期:2012年4月30日 优先权日:2011年5月6日
【发明者】汪孔桥, J·P·J·奥利凯南 申请人:诺基亚公司
【专利摘要】一种装置，包括：处理器；用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互；第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且分别生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及手势识别系统，用于从传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
【专利说明】使用多个传感器的手势识别
【技术领域】
[0001]本发明总体上涉及手势识别，并且具体地但非排他地涉及识别由设备或终端的第一传感器和第二传感器检测到的手势。
【背景技术】
[0002]已经知道，使用由通信终端的摄像头接收的视频数据来使得用户能够控制与该终端关联的应用。应用存储有使用摄像头检测到的预定用户手势和与应用关联的一个或多个命令之间的映射。例如，一个已知的照片浏览应用允许使用在终端的前置摄像头前进行的挥手手势来控制如何在用户界面上显示照片，从右到左的手势通常致使应用按照照片的顺序如进。
[0003]然而，摄像头趋向于具有有限的光学感测区或视场，并且，因为其操作方式，它们对解释某些手势、尤其涉及朝向或远离摄像头运动的手势有困难。因此解释三维手势的能力非常有限。
[0004]进一步的，能够以这种方式来控制的功能的数目受限于系统能够区分的不同手势的数目。
[0005]在视频游戏领域中，已经知道，使用由雷达收发器发射的无线电波来在比摄像头更大的视场上标识物体运动。
【发明内容】
[0006]本发明的第一方面提供了一种装置，包括:
[0007]处理器；
[0008]用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互；
[0009]第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
[0010]手势识别系统，用于从所述传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
[0011]所述手势识别系统可以进一步响应于在所述重叠区外部检测到物体，来根据仅从所述传感器中的一个传感器接收的信号控制不同的第二用户界面功能。
[0012]所述手势识别系统可以进一步响应于在所述重叠区内部检测到物体，来根据检测到的物体的运动从两个传感器接收的信号标识出一个或多个预定的手势，并且根据每个标识的手势来控制所述第一用户界面功能。
[0013]所述第一传感器可以是光学传感器，以及所述第二传感器可以使用电磁谱的不同部分来感测接收的无线电波并且可选的是雷达传感器。该装置可以进一步包括:图像处理装置，与所述光学传感器关联，所述图像处理装置被配置为标识从所述光学传感器的不同区接收的图像信号，并且其中所述手势识别系统被配置为根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。所述雷达传感器可以被配置为以界定比所述光学传感器的空间感测区更宽的空间感测区的方式来发射或接收无线电信号。所述手势识别系统可以被配置为从接收的图像信号和无线电感测信号中标识平移移动和径向移动二者、和/或物体相对于所述装置的径向距离，以及可以被配置为从中确定用于控制所述第一用户界面功能的一个或多个预定的手势。所述手势识别系统可以被配置为从接收的所述图像信号中标识与在随后的图像帧之间的前景物体的位置变化关联的运动向量，以及可以被配置为从中获得所述平移运动。
[0014]所述装置可以是移动通信终端。所述移动通信终端可以包括在所述移动通信终端的一侧或一面的显示器，用于显示借助于从所述第一传感器和所述第二传感器二者接收的信号来控制的图像数据。所述光学传感器可以是在所述显示器同侧或同面提供的摄像头。所述雷达传感器可以被配置为接收来自所述显示器同侧或同面的反射的无线电信号。
[0015]所述手势识别系统可以用于检测手形物体。
[0016]本发明的第二方面提供了一种方法，包括:
[0017]从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
[0018]响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
[0019]该方法还可以包括:响应于在所述重叠区外部检测到物体，仅从所述传感器中的一个传感器接收信号；以及根据接收的所述信号来控制不同的第二用户界面功能。
[0020]该方法还可以包括:响应于在所述重叠区外部检测到物体，仅从所述第二传感器接收信号；以及根据接收的所述信号来控制不同的第三用户界面功能。
[0021]该方法还可以包括:基于检测到的所述物体的运动，从两个传感器接收的信号中标识出一个或多个预定的手势；以及根据该标识出的手势来控制所述第一用户界面功能。
[0022]该方法还可以包括:标识从光学传感器的不同区域接收的图像信号，以及根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。
[0023]本发明的第三方面提供了一种计算机程序，包括当被计算机装置执行时，用于控制所述计算机装置执行上述方法的指令。
[0024]本发明的第四方面提供了一种非瞬态计算机可读存储介质，包括存储在其上的计算机可读代码，当被计算装置执行时致使所述计算装置执行包括以下的方法:
[0025]从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
[0026]响应于在所述重叠区内检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
[0027]本发明的第五方面提供了一种装置，所述装置具有至少一个处理器和至少一个其上存储有计算机可读代码的存储器，当所述代码被执行时，控制所述至少一个控制器:
[0028]从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
[0029]响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
【专利附图】
【附图说明】
[0030]现在，将仅通过示例的方式，参照附图来描述本发明各实施例，其中:
[0031]图1是体现本发明的各方面的移动终端的透视图；
[0032]图2a和图2b是能够在图1示出的移动终端中使用的雷达传感器类型的不同示例的电路图；
[0033]图3是图不图1移动终端的部件和它们的连接关系的不意图；
[0034]图4a和图4b是与针对第一传感器和第二传感器相应的感测区(包括重叠区)一起示出的图1移动终端的示意图；
[0035]图5是图示作为图1示出的移动终端的一部分提供的手势控制模块的功能部件的示意图；
[0036]图6示出了将来自传感器的签名数据与针对图1示出的终端的关联的软件的一个或多个控制功能进行相关的控制映射；
[0037]图7a、图7b和图7c示出了如何可以采用多种控制功能的图像表示，这有助于理解本发明；以及
[0038]图8是摄像头传感器被分成多个传感区的移动终端的第二实施例的示意图。【具体实施方式】
[0039]这里描述的实施例包括设备或终端，尤其包括通信终端，其使用补充传感器来提供体现终端周围环境的特征的信息。具体而言，该传感器提供信息以标识手势，其中该信息被处理来标识传感器的相应感测区中的物体以及该物体运动。
[0040]取决于仅由一个传感器还是由两个传感器检测到物体，使用相应的命令或命令组来控制终端的用户界面功能，例如控制终端的操作系统或与操作系统关联的应用的一些方面。与仅由一个传感器检测到的物体对应的信息被处理来执行第一命令或第一命令组，反之，与由两个或多个传感器检测到的物体对应的信息被处理来执行第二命令或第二命令组。在第二种情况下，这一处理基于来自不同传感器的信息的融合。
[0041]另外，可以基于由一个或两个传感器感测到物体的运动而处理由传感器提供的信息来标识用户手势。因此，将要执行的特定命令组取决于哪个或哪些传感器检测到手势以及进一步地取决于标识与该组内不同命令对应的特定手势。
[0042]首先参考图1，示出了终端100。终端100的外部具有触敏显示器102、硬件键104，、前置摄像头105a、雷达传感器105b、扬声器118以及耳机口 120。雷达传感器105b可以内置并且因此在终端100外部不可见。终端100可以是智能电话、移动电话、个人数字助理、平板电脑、手提电脑等。终端100可代之为诸如电视机或台式电脑等非便携式设备。非便携式设备是需要连接至主电源来运行的设备。
[0043]前置摄像头105a设在终端100的第一侧上，其与触敏显示器102是同侧。[0044]虽然这并不是必要的，但是雷达传感器105b设在终端与前置摄像头105a的同侧上。雷达传感器105b可以设在终端100的另一侧、后侧。仍可替换地，虽然未示出，但是可以连冋雷达传感器105b —起在终端100的后侧上设有后直摄像头105。
[0045]将理解，雷达是使用电磁波尤其是无线电波来检测物体的存在、它们的速度和运动方向以及它们到雷达传感器105b的距离的物体检测系统。从物体上反弹回来(即，反射)的发射波被传感器检测。在复杂雷达系统中，可以根据发射波和反射波之间的时间差来确定物体的距离。在简单系统中，能够确定物体的存在但是不能确定物体的距离。不论哪种情况，都能够通过检测多普勒频移来检测朝向还是远离传感器105b的物体的运动。在复杂系统中，虽然在当前最适于在手持设备中实现的系统中缺少方向发现能力，但是可以通过波束赋形来确定物体的方向。
[0046]现在简要描述当前的雷达技术及其局限性如下。一般而言，雷达能够检测到存在、运动的径向速度和方向(朝向或远离)，或者它能够检测物体自雷达传感器的距离。非常简单的多普勒雷达仅能够检测到运动的速度。如果多普勒雷达具有正交下变频，那么它还可以检测到运动的方向。脉冲多普勒雷达能够测量运动的速度。它还能够测量距离。调频连续波(FMCW)雷达或脉冲/超宽带雷达能够测量至物体的距离并且还能够使用测量到的实时的距离的变化来测量运动的速度。然而，如果只需要速度测量，多普勒雷达很可能是最适合的设备。将理解，多普勒雷达根据运动检测存在而FMCW或脉冲雷达根据距离信息检测存在。
[0047]这里，雷达传感器105b包括无线电波发射器和检测器部分二者，以及能够采用任何已知的适于位于手持终端上的雷达系统。图2a和2b分别图示了使用多普勒雷达前端和与正交下变频一起的多普雷雷达前端的基本操作原理。两个示例都包括用于根据IQ相位信息将反射波信息转换和处理为指示物体移动的径向方向、即朝向或远离雷达传感器105b的数字信号的模数(ADC)转换装置和快速傅里叶变换(FFT)和数字信号处理(DSP)装置。并且，可以将US6492933中公开的多普勒雷达系统使用和布置在终端100上。
[0048]图3示出了终端100的选定部件的示意图。终端100具有控制器106、包括显示部分108和触觉接口部分110的触敏显示器102、硬件键104、前置摄像头105a、雷达传感器105b、存储器112、扬声器118、耳机口 120、无线通信模块122、天线124和电池116。
[0049]进一步地，手势控制模块130被提供用于处理从摄像头105a和雷达传感器105b接收的数据信号，以便标识用于终端100的用户界面的手势控制的命令或命令组。关于这点，用户界面意思是与终端100关联的软件的任何输入界面。
[0050]再进一步地，通常由盒132指示的其它传感器被提供为终端100的一部分。它们包括加速计、陀螺仪、扩音器、背景光传感器等中的一个或多个。正如随后将描述的那样，得自这些其它传感器的信息能够用来调整上述手势控制模块130中的权重，还能够用于检测或帮助手势检测，或者甚至用于启用或禁用手势检测。
[0051]控制器106连接至其它部件(除电池116之外)中的每个部件，以便控制其操作。
[0052]存储器112可以是诸如只读存储器(ROM)、硬盘驱动器(HDD)或固态驱动器(SDD)的非易失性存储器。存储器112存储操作系统126并且可以存储软件应用128以及其它内容。控制器106使用RAM114用于数据的暂时存储。操作系统126可以包含如下代码，当控制器106结合RAM114来执行该代码时，该代码控制终端的每个硬件部件的操作。[0053]控制器106可以采用任何适当形式。例如，它可以是微控制器、多个微控制器、处理器或多个处理器。
[0054]终端100可以是移动电话或智能电话、个人数字助理(PDA)、便携媒体播放器(PMP)、便携计算机或者能够运行软件应用以及提供音频和/或视频输出的任何其它设备。在一些实施例中，终端100可以使用无线通信模块122和天线124来参与蜂窝通信。该无线通信模块122可以被配置为经由诸如GSM、CDMA、UMTS、蓝牙和IEEE802.11 (W1-Fi)的若干协议进行通信。
[0055]触敏显示器102的显示部分108用于向终端的用户显示图像和文本，触觉接口部分110用于从用户接收触摸输入。
[0056]除了存储操作系统126和软件应用128，存储器112还可以存储诸如音乐和视频文件的多媒体文件。可以在终端上安装多种多样的软件应用128，包括网页浏览器、无线电和音乐播放器、游戏和实用应用。在终端上存储的这些软件应用的部分或全部可以提供音频输出。可以通过终端的(多个)扬声器将这些应用提供的音频转换成声音，或者，如果耳机或扬声器已经连接至耳机口 120则可以通过连接至耳机口 120的耳机或扬声器将这些应用提供的音频转换成声音。
[0057]在一些实施例中，终端110还可以与未存储在终端上的外部的软件应用相关联。这些应用可以是存储在远程服务器设备上的应用并且可以部分或全部在该远程服务器设备上运行。这些应用可以被称为云托管应用。终端100可以与远程服务器设备通信以便利用在其存储的软件应用。这可以包括接收由外部软件应用提供的音频输出。
[0058]在一些实施例中，硬件键104是专用音量控制键或开关。硬件键可以例如包括两个相邻键、单个摇杆开关或旋转转盘。在一些实施例中，硬件键104位于终端100的侧面。
[0059]摄像头105a是数字摄像头，能够生成代表摄像头的传感器接收到的场景的图像数据。图像数据能够被用来使用图像数据的单一帧来提取静止图像，或者被用来记录一连串帧作为视频数据。
[0060]参照图4a和图4b，摄像头105a和雷达传感器105b具有各自的感测区134和132。至于雷达传感器105b，感测区132是远离终端100的空间量，来自感测区132的发射的无线电波能够被反射并由传感器检测。在图4a的情况下，雷达传感器105b发射并检测终端100周围的无线电波，从而有效界定了各向同性的感测区132。在图4b中，雷达的感测区更集中，具体而言，具有比各向同性的感测区的一半更小的视场。至于摄像头105a，感测区是通常的矩形视场，其中由该摄像头的光学传感器检测从物体反射或由物体发射的光波。
[0061]因此，摄像头105a和雷达传感器105b在电磁谱的不同频段上操作。摄像头105a在这一实施例中检测波谱的可视部分的光，但是该摄像头105a也可以是红外摄像头。
[0062]摄像头105a和雷达传感器105b布置在终端100上使得它们各自的感测区重叠以界定出第三重叠区136，在该第三重叠区136中两个传感器都能够检测到共同物体。如示出了终端100的侧视图的图4a和图4b 二者所指示，该重叠是雷达传感器的感测区132根据其径向空间覆盖延伸到摄像头的感测区134之外的部分。其中，雷达传感器的感测区132的范围是有限的，摄像头的光学范围(即，摄像头能够检测到物体的自该摄像头的最远距离)可能延伸到雷达的光学范围之外。另外，摄像头的感测区134可能比更聚焦的雷达传感器105b的感测区更宽。[0063]参照图5，示出了手势控制模块130的部件。
[0064]手势控制模块130包括分别与雷达传感器105b和摄像头105a相关联的第一手势识别模块(i) 142和第二手势识别模块(j) 144。
[0065]第一手势识别模块142从雷达传感器105b接收数字化的数据(见图2)，从该数据中可以得到与以下内容有关的签名信息:(i)在感测区132内的物体140的存在，(ii)可选地，物体相对于传感器的径向距离，以及(iii)物体的移动，包括运动的速度和方向(基于检测到的多普勒频移)。总体而言，签名信息被称为R (i)，能够用来识别在雷达感测区132内对终端100远程操作的一个或多个预定的用户手势。这能够通过将得到的信息R (i)与参考信息Ref (i)比较来执行，其中，参考信息Ref (i)将R (i)与针对不同手势的预定的参考签名相关。
[0066]第二手势识别模块144从摄像头105a接收数字化的图像数据，从该数据中可以得出与在其感测区134内的物体140的存在、形状、大小和移动有关的签名信息。物体140的移动可以是基于物体关于水平和垂直轴(x，y)的位置的变化的平移运动。物体140的移动朝向还是远离摄像头105a (堪比物体140自终端100的距离)能够基于物体的大小随时间的变化来估计。总体而言，该签名信息被称为R (j)，能够用来识别在摄像头感测区134内对终端100远程操作的一个或多个预定的用户手势。这能够通过将得到的签名信息R (j)与参考信息Ref (j)比较来执行，其中，参考信息Ref (j)将R (j )与针对不同手势的预定的参考签名相关。
[0067]手势控制模块130还包括融合模块146，将R (i)和R (j) 二者作为输入，并基于R (i)和R (j) 二者的融合生成另一签名信息组R (f)。具体地，当在图4a和图4b所指示的重叠区136中检测到物体140时，融合模块146从R (i)和R (j)进行检测。如果是这样，它生成另一融合签名R (f)，等于wl*R (i)+w2*R (j)，其中，wl和w2是加权因子。此夕卜，R (f)能够与参考信息Ref (f)相比较，其中，参考信息Ref (f)将R (f)与针对不同手势的预定的参考签名相关。
[0068]可以在产品设计阶段将参考信息Ref (i)、Ref (j)和Ref (f)输入手势控制模块130，但是也可以将新的多模手势教授或存储在该模块中。
[0069]将理解，融合签名R Cf)能够基于来自摄像头105a和雷达传感器105b的数据的协作组合而提供更精确的手势识别。例如，针对精确地确定物体是否在径向移动(即，朝向还是远离终端100)，摄像头105a具有有限的能力，但是，从雷达传感器105b接收到的数据能够提供精确的径向运动的指示。然而，雷达传感器105b不具有精确标识物体140的形状和大小的能力；可以通过处理从摄像头105a接收到的图像数据来实现高精确度的识别物体140的形状和大小。此外，雷达传感器105b不具有精确标识物体140的平移运动(S卩，跨雷达传感器105b的视场的运动)的能力，但是，可以通过处理从摄像头105a接收到的图像数据来实现高精确度的识别物体140的平移运动。
[0070]根据标识特定手势，加权因子Wl和《2能用来为任何签名提供更大的重要性从而实现更高的精确性。例如，如果两个签名R (i)和R (j)都指示关于终端100的径向运动，则考虑到与摄像头固有的精确确定径向运动的能力相比的雷达的该能力，能够对R (i)实施更大的权重。能够基于学习算法自动计算加权因子wl和《2，该算法能够使用与用户上下文有关的信息来检测诸如周围照度、设备振动等的信息。例如，(如图3的盒132中所设想的)加速剂、陀螺仪、扩音器和光学传感器中的一个或多个的上述用法能够提供信息来调整上述手势控制模块130中的权重，并且也能够用于检测或帮助手势检测，或者甚至启用或禁用手势检测。
[0071]此外，通过识别物体140在重叠区136内部还是外部，能够将共同的或类似的手势分配给不同用户界面功能。
[0072]签名R (i)、R ( j)和R (f)被输出至手势到命令映射(下面称为“命令映射”)148，下面将进行描述。
[0073]命令映射148的目的在于标识接收到的签名R (i)、R (j)或R (f)对应哪个命令。标识出的命令然后被输出至控制器106以便控制与终端100关联的软件。
[0074]参照图6，示出了简化的命令映射148。这里假设使得三组界面控制功能能够用于远程手势控制，分别标签为CS#1、CS#2和CS#3。
[0075]在仅在雷达感测区132内检测到物体的情况下，雷达签名R(i)用来控制CS#1。类似的，在仅在摄像头感测区134内检测到物体的情况下，摄像头签名R (j)用来控制CS#2。如果在重叠区136内检测到物体，则融合签名R (f)用来控制CS#3。
[0076]在每组CS#1、CS#2和CS#3中，标识出的特定手势用来控制界面控制功能的进一步的特性。
[0077]例举实用示例，CF#1涉及音量控制命令，其中物体140仅在雷达感测区内的存在启用了音量控制。在这种情况下，随着物体的移动，响应于物体距离的增加和减少，相应地增加和减少音量控制。图7a生动地指示了操作原理。
[0078]原则上，有许多种使用距离来控制音量的方式。例如，音量水平可以取决于物体自设备的测量距离。可替换地，如图7a中示出的情况，(基于多普勒或距离对时间)基于运动是朝向还是远离设备相应地增加和减少音量水平。音量的变化率能够取决于运动的速度。第二种选择(即多普勒选择)更容易实施。在这两种情况下，一旦设置了期望的音量水平，则有需要提供允许用户的手从设备离开的方式。这可以通过按压按钮或通过以某些方式触摸终端100来启用该控制而实现。一种选项是仅当雷达105b检测到运动同时摄像头105a在其可视区134中检测到物体时启用音量控制。另一种选项是物体已经保持静止持续某一时间段之后使该水平冻结(例如，3秒)。
[0079]CF#2涉及⑶I选择滚动命令，其中物体140仅在摄像头感测区134的存在启用了选择光标。随着物体在视场中移动，光标在可选项之间移动，例如在桌面上的应用图标之间移动或在照片浏览应用中的各照片之间移动。图7b生动地指示了操作原理。
[0080]CF#3可以涉及三维⑶I交互命令，其中物体140在重叠区136中的存在引起了在X-Y空间内的平移移动、以及基于物体的径向运动引起了放大/缩小操作。缩放操作可采用从摄像头105a和雷达传感器105b接收到的信息，但是，正如前面所指示，从雷达传感器接收的签名可能是更高的加权。图7c生动地指示了操作原理。
[0081]CF#3还可以满足有径向运动但没有平移运动的情形，例如，为了控制放大和缩小功能而无需⑶I上的转化，反之亦然。
[0082]其它能够通过命令映射被识别的手势包括由有序运动形成的手势。例如，以下运动的顺序可以被解释为与用户界面沿逆时针方向旋转相对应:(i)远离该设备的径向运动(使用雷达105b检测)，(ii)从右到左的平移运动(使用摄像头105a检测)，(iii)朝向设备的径向运动(使用雷达检测)，(iv)从左到右的平移运动(使用摄像头检测)。其它这样有序手势也能够被供应。
[0083]手势控制模块130能够以软件、硬件或二者的结合的方式体现。
[0084]现在将参考图8描述本发明的第二实施例。在本实施例中，摄像头105a的视场被有效地分成两个或多个子区N，在本情况中摄像头105a的视场被分成4个子区。更具体地，与摄像头105a相关联的处理软件分别为不同的子区N分配相应的像素组。以和第一实施例(其中在雷达/摄像头重叠区的外部检测到的物体被分配给另一功能)的方式相同，在N个子区的不同子区中检测到的物体被分配给不同的用户界面功能。因此，能够使用手势来便利地区分的用户界面功能的数目进一步增加。
[0085]假定上述物体140是人手，尽管手指、指针或其它用户可操作物体也能够被摄像头105a和雷达传感器105b标识为可识别的物体。其它适当的物体包括:人头、脚、手套或鞋。系统也可以操作使得终端100相对于固定物体运动。
[0086]将理解，上面描述的实施例仅仅是说明性的并且不限定本发明的范围。在阅读本申请的基础上，其它变形和修改对本领域技术人员而言是显而易见的。例如，尽管已经说明雷达传感器105b具有比摄像头105a的视场更大的视场，但是反之也是可以的。
[0087]系统可以包括多于一个雷达传感器105b或多于一个摄像头105a或者二者。雷达传感器105b可以基于超声技术。
[0088]在另一实施例中，不需要总是保持传感器105a和105b都激活。为了节约能量，一个传感器一检测到运动或存在，就打开另一个传感器。例如，雷达传感器105b可以用相对低的工作周期(短接通时间而更长断开时间)来监控终端100的周围，并且一旦它检测到运动，控制器106可以接通摄像机105a，反之亦然。此外，雷达传感器105b和摄像头都可以例如通过声音/语音来激活。也可以通过针对每个应用来设计摄像头105a和雷达传感器105b的使用使得它们只在需要时被激活而使功耗最小化。
[0089]进一步地，可能使用来自某些通信无线电设备的部件作为感测无线电设备来有效地进行雷达检测。各示例包括蓝牙和W1-Fi部件。
[0090]再进一步地，在上述实施例中，尽管摄像头105a和雷达传感器105b被描述成终端100内集成的部件，但是在备选实施例中，一种或两种类型的传感器可以被提供为通过例如USB或蓝牙的有线或无线接口连接至终端的分离的配件。手势控制模块130包括处理器并且手势控制模块130用于接收和解释来自该配件的信息。
[0091]此外，本申请的公开内容应当被理解为包括这里显式或隐式公开的特征的任何新的特征或新的特征的组合、或其任何概括、或在本申请的审查期间由此衍生的任何申请，可以规划新的权利要求来覆盖任何这样的特征和/或这样特征的组合。
【权利要求】
1.一种装置，包括: 处理器； 用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互； 第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及 手势识别系统，用于从所述传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
2.根据权利要求1所述的装置，其中所述手势识别系统进一步响应于在所述重叠区外部检测到物体，来根据仅从所述传感器中的一个传感器接收的信号控制不同的第二用户界面功能。
3.根据权利要求1或2所述的装置，其中所述手势识别系统进一步响应于在所述重叠区内部检测到物体，来基于检测到的物体的运动从两个传感器接收的信号标识出一个或多个预定的手势，并且根据每个标识的手势来控制所述第一用户界面功能。
4.根据任一前述权利要求所述的装置，其中所述第一传感器是光学传感器，以及所述第二传感器使用电磁谱的不同部分来感测接收的无线电波并且可选的是雷达传感器。
5.根据权利要求4所述的装置，进一步包括:图像处理装置，与所述光学传感器关联，所述图像处理装置被配置为标识从所述光学`传感器的不同区域接收的图像信号，并且其中所述手势识别系统被配置为根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。
6.根据权利要求4或5所述的装置，其中所述雷达传感器被配置为以界定比所述光学传感器的空间感测区更宽的空间感测区的方式来发射或接收无线电信号。
7.根据权利要求4至6中任一项所述的装置，其中所述手势识别系统被配置为从接收的图像信号和无线电感测信号中标识平移运动和径向运动二者、和/或物体相对于所述装置的径向距离，以及被配置为从中确定用于控制所述第一用户界面功能的一个或多个预定的手势。
8.根据权利要求7所述的装置，其中所述手势识别系统被配置为从接收的所述图像信号中标识与在随后的图像帧之间的前景物体的位置变化关联的运动向量，以及被配置为从中获得所述平移运动。
9.根据任一前述权利要求所述的装置，其中所述装置是移动通信终端。
10.根据权利要求9所述的装置，其中所述移动通信终端包括在所述移动通信终端的一侧或一面的显示器，用于显示借助于从所述第一传感器和所述第二传感器二者接收的信号来控制的图像数据。
11.根据权利要求9或10所述的装置，当引用权利要求4时，其中，所述光学传感器是在所述显示器同侧或同面提供的摄像头。
12.根据权利要求11所述的装置，其中所述雷达传感器被配置为接收来自所述显示器同侧或同面的反射的无线电信号。
13.根据任一前述权利要求所述的装置，其中所述手势识别系统被配置为检测手形物体。
14.一种方法，包括: 从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及 响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
15.根据权利要求14所述的方法，进一步包括:响应于在所述重叠区外部检测到物体，仅从所述传感器中的一个传感器接收信号；以及根据接收的所述信号来控制不同的第二用户界面功能。
16.根据权利要求15或16所述的方法，进一步包括:响应于在所述重叠区外部检测到物体，仅从所述第二传感器接收信号；以及根据接收的所述信号来控制不同的第三用户界面功能。
17.根据权利要求15或16所述的方法，包括:基于检测到的所述物体的运动，从两个传感器接收的信号中标识出一个或多个预定的手势；以及根据该标识出的手势来控制所述第一用户界面功能。
18.根据权利要求15至17中任一项所述的方法，包括:标识从光学传感器的不同区域接收的图像信号，以及根据物体在其中被检测到的区域来控制不同的相应的用户界面功倉泛。
19.一种计算机程序，包括当被计算机装置执行时，用于控制所述计算机装置执行权利要求14至19中任一项所述的方法的指令。
20.一种非瞬态计算机可读存储介质，包括存储在其上的计算机可读代码，当被计算装置执行时致使所述计算装置执行包括以下的方法: 从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及 响应于在所述重叠区内检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
21.一种装置，所述装置具有至少一个处理器和至少一个其上存储有计算机可读代码的存储器，当所述代码被执行时，控制所述至少一个处理器: 从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及 响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
【文档编号】G06F3/0487GK103502911SQ201280021975
【公开日】2014年1月8日 申请日期:2012年4月30日 优先权日:2011年5月6日
【发明者】汪孔桥, J·P·J·奥利凯南 申请人:诺基亚公司
最新回复(0)