虚拟键盘及其提供方法
虚拟键盘及其提供方法
【专利摘要】本发明提供用于提供虚拟键盘的系统、方法和设备，包含编码在计算机存储媒体上的计算机程序。在一个方面中，一种系统包含相机、显示器、视频特征提取模块以及手势模式匹配模块。所述相机捕获含有用户的手指的图像序列，且所述显示器显示与具有多个虚拟键的虚拟键盘组合的每一图像。所述视频特征提取模块检测所述图像序列中的所述手指相对于所述虚拟键的虚拟传感器的运动，且基于所述检测到的相对于所述虚拟传感器的运动确定传感器致动数据。所述手势模式匹配模块使用所述传感器致动数据来辨识手势。
【专利说明】虚拟键盘及其提供方法
【技术领域】
[0001]本发明涉及虚拟键盘。更具体地说，本发明涉及将键盘图像呈现到电子显示器上，且使用数码相机来检测用户的手指相对于所述所显示键盘的位置，以便将数据输入到计算机系统中。
【背景技术】
[0002]电子装置(包含个人计算机和移动电话)可具有用于接收来自用户的输入的键盘或小键盘。所述键盘可包含按钮或键的布置，且可使用机械切换装置来操作。或者，所述键盘可为显示于电子装置的显示器上的虚拟键盘，且用户可通过接触显示器的触敏表面来提供输入。
[0003]某些电子装置(例如移动电话)可具有相对较小的显示器。在某些例子中，对于用户来说，可能难以通过触摸显示屏来键入字符或输入其它命令。举例来说，用户的手指可能覆盖一个以上虚拟键，从而增加了键入错误的可能性。此外，在输入期间，用户的手可能阻挡显示器的部分，从而阻挡呈现在显示器上的信息，且使得用户难以确定是否已选择了适当的键。
【发明内容】
[0004]本发明的系统、方法和装置各自具有若干创新方面，其中无单独一者唯一地负责本文所揭示的合意属性。
[0005]在一个方面中，提供一种用于将数据输入到计算装置中的系统。所述系统包含:相机，其用于捕获含有用户的手指的图像序列；显示器，其用于显示与虚拟键盘组合的所述序列的每一图像；以及视频特征提取模块，其经配置以检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动。所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变，且所述虚拟键盘包含多个虚拟键，每一虚拟键具有多个虚拟传感器。所述视频特征提取模块使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据。所述系统进一步包含手势模式匹配模块，其用于使用所述传感器致动数据来辨识用户的手势，且将数据输入到所述计算装置中。
[0006]在另一方面中，提供一种用于使用虚拟键盘将数据输入到电子装置中的方法。所述方法包含:接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；以及检测所述图像序列中的所述手指相对于所述虚拟键盘的运动。所述虚拟键盘具有多个虚拟键，且每一虚拟键具有多个虚拟传感器。所述方法进一步包含通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。
[0007]在另一方面中，提供一种用于将数据输入到计算装置中的系统。所述系统包含:用于捕获含有用户的手指的图像序列的装置；用于显示与虚拟键盘组合的所述序列的每一图像的装置；以及用于检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动的装置。所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变，且所述虚拟键盘包含多个虚拟键，每一虚拟键具有多个虚拟传感器。所述用于检测运动的装置使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据。所述系统进一步包含用于使用所述传感器致动数据来辨识用户的手势以将数据输入到所述计算装置中的装置。
[0008]在另一方面中，一种非暂时性计算机可读存储媒体包含指令，所述指令在被执行时实施使用虚拟键盘将数据输入到电子装置中的方法。所述方法包含:接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；以及检测所述图像序列中的所述手指相对于所述虚拟键盘的运动。所述虚拟键盘具有多个虚拟键，且每一虚拟键具有多个虚拟传感器。所述方法进一步包含通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。
[0009]附图和以下描述中陈述本说明书中所描述的标的物的一个或一个以上实施方案的细节。其它特征、方面和优点将从描述、图式和所附权利要求书变得明白。注意，以下各图的相对尺寸可不按比例绘制。
【专利附图】
【附图说明】
[0010]图1是根据一个实施例的具有服务器和所连接装置的网络的示意图。
[0011]图2是具有虚拟键盘的用户装置的一个实施例的示意图。
[0012]图3是捕获用户的手部运动的相机的示意图。
[0013]图4说明根据一个实施例的上覆于用户的手部图像上的虚拟键盘图像。
[0014]图5是用于虚拟键的虚拟传感器布局的三个实例的示意图。
[0015]图6是上覆于用户的手部图像上的图5的虚拟键的示意图。
[0016]图7是提供虚拟键盘的方法的一个实施例的流程图。
[0017]图8A是根据一个实施例的虚拟键盘的一部分。
[0018]图SB说明用于检测图8A的虚拟键盘的所述部分上的手部或手指运动的八个方向的八个手势辨识模板的实例。
[0019]图SC说明根据另一实施例的虚拟键盘的一部分。
[0020]图8D说明用于检测图SC的虚拟键盘的所述部分上的手势的手势辨识模板的实例。
[0021]图9是辨识手势的方法的一个实施例的流程图。
[0022]各个图中的相同参考编号和名称指示相同元件。
【具体实施方式】
[0023]以下对某些实施例的详细描述呈现本发明的特定实施例的各种描述。然而，本发明可以如由所附权利要求书界定并涵盖的众多不同方式来实施。在此描述中，参考图式，其中相同参考标号指示相同或功能上类似的元件。
[0024]本发明的实施例涉及用于控制虚拟键盘的系统和方法。本文所描述的虚拟键盘可用以将输入提供到用户装置中。举例来说，在其中用户装置为移动电话的实施例中，用户可使用虚拟键盘来拨电话号码，键入文本消息，且/或输入控制命令。在此实施例中，用户装置包含相机、显示器和处理器。相机可捕获用户的图像，且处理器可将虚拟键盘的图像上覆于所捕获的图像上。为了操作虚拟键盘，用户可使用她的手指或手在空中作出手势，例如手指键入运动，且无需触摸显示器的表面。
[0025]在某些实施例中，虚拟键盘可包含多个虚拟键，每一虚拟键具有多个虚拟传感器。可相对于虚拟传感器确定和测量用户手部和/或手指的运动，且可对照与各种用户手势相关联的一系列手势辨识模板来分析传感器数据序列。在一个实施例中，使用动态时间规整(DTff)来匹配不同速度的用户手势。
[0026]本发明结合大量其它通用或专用计算系统环境或配置来操作。可适合结合本发明使用的众所周知计算系统、环境和/或配置的实例包含但不限于个人计算机、服务器计算机、手持式或膝上型装置、多处理器系统、基于微处理器的系统、可编程消费型电子装置、网络PC、迷你计算机、包含上述系统或装置中的任一者的分布式计算环境，等等。
[0027]如本文所使用，指令涉及用于处理系统中的信息的计算机实施步骤。指令可在软件、固件或硬件中实施，且包含由系统的组件进行的任何类型的经编程步骤。
[0028]局域网(LAN)或广域网(WAN)可为包含对因特网的接入权的企业计算网络，构成系统的计算机和计算装置连接到所述企业计算网络。在一个实施例中，LAN符合传输控制协议/因特网协议(TCP/IP)行业标准。
[0029]如本文中所使用，媒体涉及输入到系统中的图像、声音、视频或任何其它多媒体类型数据。
[0030]微处理器可为任何常规通用单芯片或多芯片微处理器，例如Pentium?处理器、Itanium?处理器或ALPHA?处理器。另外，微处理器可为任何常规专用微处理器，例如数字信号处理器(DSP)或图形处理器。
[0031]所述系统由如下文详细论述的各种模块组成。如所属领域的技术人员可了解，所述模块中的每一者包括各种子例程、程序、明确声明和宏。所述模块中的每一者通常分开编译，且链接到单个可执行程序中。因此，所述模块中的每一者的以下描述是用于方便描述优选系统的功能性。因此，所述模块中的每一者所经历的过程可任意重新分配给其它模块中的一者、在单个模块中组合在一起，或例如使其在可共享动态链接库中可用。
[0032]所述系统可结合例如哩纳克斯(LINUX)、尤尼克斯(UNIX)或MICROSOFT WINDOWS?等各种操作系统使用。另外，所述系统可以任何合适编程语言写成，包含常规编程语言，例如C、C++、BASIC、Pascal、Perl或爪哇(Java)。
[0033]可使用包括网络浏览器用户接口的网络浏览器来向用户显示信息(例如，文本和图形信息)。网络浏览器可包括能够显示经由网络接收的信息的任何类型的虚拟显示器。网络浏览器的实例包含微软的Internet Explorer浏览器,苹果的Safari浏览器、摩斯拉(Mozilla)的火狐浏览器、帕姆索斯(PalmSource)的网络浏览器、谷歌的ChiOme浏览器或能够与网络通信的任何其它浏览或其它应用软件。在某些实施例中，网络浏览器可包含虚拟键盘接口。
[0034]本文所揭示的本发明的实施例可实施为使用标准编程或工程设计技术来产生软件、固件、硬件或其任何组合的方法、设备或制品。如本文所使用的术语“制品”指代在例如光学存储装置以及易失性或非易失性存储器装置等硬件或计算机可读媒体中实施的代码或逻辑。此硬件可包含但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、复合可编程逻辑装置(CPLD)、可编程逻辑阵列(PLA)、微处理器或其它类似处理装置。
[0035]用户装置的概述
[0036]图1是网络2的示意图。所说明的网络2包含用户装置10a、用户装置10b，以及服务器8，其各自与因特网4通信。尽管仅说明用户装置10a、10b以及服务器8，但网络2可包含额外用户装置和服务器。
[0037]如图1中所示,用户装置IOa为移动电话,且用户装置IOb为个人计算机。然而,用户装置可为结合网络使用的任何合适通信装置。用户装置10a、IOb可包含显示器和相机，且可经配置以使用虚拟键盘来操作，如本文将进一步详细描述。用户可使用虚拟键盘将输入提供到用户装置。所述输入可包含(例如)文本、数字、符号和/或控制命令。
[0038]可使用用户装置来经由因特网4将信息发射到其它装置且从其它装置接收信息。举例来说，用户装置IOa可与用户装置IOb和/或服务器8通信。所传送的信息可包含(例如)话音、数据和/或多媒体服务，且所发射或接收的信息的全部或一部分可从虚拟键盘获得。另外，用户可使用虚拟键盘来辅助控制用户装置与因特网4的通信。举例来说，用户可使用虚拟键盘提供控制命令来导航因特网。另外，网络浏览器可包含虚拟键盘接口，且用户可通过将输入提供到虚拟键盘来从服务器8请求多媒体。用户装置还可用以经由除因特网4之外的网络通信，包含例如蜂窝式网络。
[0039]用户装置可使用多种标准来通信。举例来说，某些用户装置可根据IEEE16.11标准(包含 IEEE16.11(a)、(b)或(g))，或 IEEE802.11 标准(包含 IEEE802.11a、b、g 或 η)来通信。在一些实施例中，用户装置可包含用于根据BLUETOOTH标准发射和接收RF信号的天线。对于某些用户装置，例如当用户装置为移动电话时，用户装置可使用经设计用以接收以下信号的天线来通信:码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)、全球移动通信系统(GSM) ,GSM/通用包无线电服务(GPRS)、增强型数据GSM环境(EDGE)、陆地集群无线电(TETRA)、宽带 CDMA(W-CDMA)、演进数据优化(EV-D0)、IxEV-DO、EV_D0 Rev A,EV-DO Rev
B、高速包接入(HSPA)、高速下行链路包接入(HSDPA)、高速上行链路包接入(HSUPA)、演进型高速包接入(HSPA+)、长期演进(LTE) ,AMPS,或用以在无线网络(例如利用3G或4G技术的系统)内通信的其它已知信号。
[0040]图2是具有虚拟键盘的用户装置10的一个实施例的示意图。用户装置10包含相机12、扬声器14、显示器16、视频处理模块18、特征提取模块20、存储器21、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30以及音频处理模块32。用户装置10可为例如移动电话或个人计算机。然而，用户装置10的相同组件或其稍微变化还说明例如电视机和便携式媒体播放器等其它类型的装置。
[0041]可在硬件和/或软件的各种组合中实施所述各种模块。举例来说，视频处理模块
18、特征提取模块20、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30和/或音频处理模块32可实施为存储在计算机可读存储媒体上的指令，其经配置以使用一个或一个以上处理器来执行。下文稍后将详细地描述关于所述模块的实施的额外细节。
[0042]相机12可为多种相机类型。举例来说，相机12可为移动电话的前置相机，包含具有固定焦距透镜的相机。或者，相机12可为经由端口与计算机通信的网络相机。相机12可包含图像传感器，例如互补金属氧化物半导体(CMOS)传感器或电荷耦合装置(CCD)传感器。如下文将详细描述，用户装置10可使用相对较简单的相机12 (包含例如具有相对较低帧速率(例如约30fps的帧速率)的相机)来提供虚拟键盘。因此，甚至在用户装置10不包含相对较高速度相机，或具有变焦、红外线、知晓深度和/或立体能力的相机时，用户装置10也可提供虚拟键盘。在一个实施例中，相机12为用于移动电话的前置相机，其具有范围在约20fps到约120fps之间的帧速率。
[0043]继续参看图2，用户装置10包含扬声器14。扬声器14可包含用于将电信号转换为声音的变换器。另外，扬声器14可包含用于升高接收到的电信号的量值的放大器和/或用于减少信号噪声的滤波器。尽管在图2中仅说明单个扬声器14，但可使用大量扬声器来提供增强的音频能力。
[0044]显示器16可为多种显示器中的任一者，包含利用等离子体、电致发光、有机发光二极管(OLED)、液晶显示器(LCD)和/或干涉式调制器装置(IMOD)技术的平板显示器。然而，在某些实施例中，显示器12可为非平板显示器，例如阴极射线管(CRT)或其它管装置。尽管虚拟键盘准许用户在不物理触摸显示表面的情况下将输入提供到用户装置12，但在某些实施例中，显示器可为触摸屏显示器，且本文所描述的虚拟键盘可用作辅助输入装置。
[0045]存储器21可为各种各样的存储媒体中的任一者，包含例如RAM存储器、快闪存储器、寄存器、硬盘、可装卸盘或卡，和/或此项技术中已知的任何其它形式的存储媒体。存储器21可包含图像数据33、虚拟键盘和传感器布局数据34、传感器致动数据35以及手势辨识模板36，如下文稍后将描述。在某些实施方案中，存储器21可包含用于执行与用户装置10的一个或一个以上模块(包含例如视频处理模块18、特征提取模块20、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30和/或音频处理模块32)相关联的功能性的全部或部分的指令。
[0046]如图2中所示，视频处理模块18可与相机12通信，且可接收由相机12捕获的图像序列。视频处理模块18可对接收到的图像执行多种功能，包含例如色彩信号处理、模/数转换和/或伽马校正。视频处理模块18可从相机12接收含有用户的手或手指的图像序列，且视频处理模块18可经配置以反转每一图像以产生镜像图像。视频处理模块18可将经反转和/或未经反转图像提供给视频特征提取模块20，以及其它模块。数据可作为图像数据21存储在存储器21中。
[0047]视频处理模块18可将经处理或未经处理图像与虚拟键盘图像组合以形成经组合图像。举例来说，可将用户的手或手指的经反转图像上覆于至少部分透明的虚拟键盘图像上。可增强经组合图像以包含视觉反馈，如下文将详细描述，且可将其提供给显示器16。如下文将描述，显示与虚拟键盘的图像组合的用户的手或手指的经反转图像可帮助用户使用虚拟键盘输入数据和/或命令。
[0048]视频特征提取模块20可从视频处理模块18和/或存储器21接收图像序列，且可处理所述图像序列以确定运动区域。举例来说，视频特征提取模块20可将接收到的帧与所捕获序列中早先的帧(例如，紧接在前的帧)进行比较，且计算所述帧之间的差异图像。可以任何合适方式对所述差异图像进行滤波，包含例如通过移除低于阈值的差异，以便产生经滤波差异图像。所述经滤波和/或未经滤波差异图像可作为图像数据33存储在存储器21中。[0049]继续参看图2，视频特征提取模块20可将经滤波差异图像与存储在存储器21中的虚拟键盘和虚拟传感器布局34进行比较，以便确定一个或一个以上虚拟键致动。举例来说，虚拟键盘可包含多个虚拟传感器，其可在图像中具有对应像素位置。可将用户的手或手指的运动相对于虚拟传感器的位置进行比较，以便确定虚拟传感器的致动。举例来说，当在对应于特定虚拟传感器的特定像素坐标处检测到运动变化时，可在所述时刻致动虚拟传感器。如所属领域的技术人员将了解，虚拟传感器信息的传感器致动捕获与用户的手或手指在虚拟键盘上的运动有关的地理和时间信息。可随着时间的过去收集虚拟传感器致动，以形成传感器致动数据35，其可存储在存储器21中。举例来说，可将虚拟传感器致动存储在范围在约I帧到约30帧之间的数目的帧上。
[0050]手势终点检测模块22可分析由特征提取模块20产生的差异图像序列，以确定手势终点。举例来说，手势终点检测模块22可经配置以定位具有在含有相对较高运动的一个或一个以上帧的序列之后检测到的相对较低运动的一个或一个以上帧。在确定已检测到手势终点后，手势终点检测模块22可即刻将手势终点的位置传送到手势模式匹配模块24，例如含有手势终点的帧的位置或传感器致动数据35中对应于手势的终止的位置。
[0051]继续参考图2，手势模式匹配模块24可从手势终点检测模块22接收手势终点的位置。手势模式匹配模块24可与存储器21通信，且可使用手势终点和传感器致动数据35来确定传感器致动序列是否与一个或一个以上手势辨识模板36匹配。举例来说，可将输入手势致动序列与每一手势辨识模板进行比较，以确定是否已发生所辨识的手势，且可确定对应于所辨识手势的经致动键。在一个实施例中，手势模式匹配模块24使用动态时间规整(DTff)来辅助匹配不同速度的手势。
[0052]在辨识手势后和/或在辨识过程期间，手势模式匹配模块24可将检测信息提供给误报拒绝模块30。误报拒绝模块30可确定装置10的运动条件是否高于阈值。举例来说，误报拒绝模块30可确定与手势相关联的一个或一个以上帧上的所致动虚拟传感器的总数是否超过阈值，以便确定全局运动条件。另外，误报拒绝模块30可分析所致动键的地理邻域中的所致动传感器的数目，以确定局部运动条件。可使用全局和局部运动条件来确定是否存在用户手势已被不正确地辨识的充分可能性。尽管误报拒绝模块30可经配置以分析传感器致动数据35，以便确定全局运动和局部运动条件，但在某些实施例中，误报拒绝模块30还可通过分析图像数据(例如存储在存储器21中的图像数据33)来确定误报。
[0053]误报拒绝模块30可与视频处理模块18和/或音频处理模块32通信以辅助将反馈提供给用户。举例来说，在确定检测到的手势有效后，误报拒绝模块30可即刻与音频处理模块32协调，以便使用扬声器14起始指示虚拟键已致动的声音。类似地，误报拒绝模块30可与视频处理模块18协调，以便提供虚拟键被致动的视觉反馈，例如通过用色彩增强虚拟键的边界。当误报拒绝模块30确定手势模式匹配24所辨识的手势具有不可接受的为错误的高风险时，误报拒绝模块可与音频处理模块32和/或视频处理模块18通信，以向用户提供指示未辨识到手势的视觉和/或音频反馈。
[0054]尽管已将用户装置10说明为包含某些模块，但在某些实施例中，用户装置10可包含较多或较少模块。举例来说，用户装置10无需包含单独的音频处理模块32，且/或用户装置10可包含用于向用户提供振动反馈的振动模块。另外，用户装置10可包含网络接口模块，使得用户装置10可经由网络(例如图1的网络2)进行通信。网络接口模块可与用于发射和接收射频信号的天线和收发器通信。
[0055]可将用户装置10放置在由多种制造工艺(包含例如，注射模制和/或真空成形)中的任一者形成的外壳中。所述外壳可由任何合适材料构造，包含但不限于塑料、金属、玻璃、橡胶和/或陶瓷。所述外壳可包含可装卸部分，其可与不同色彩且含有标识、图片或符号的其它可装卸部分互换。此外，用户装置10可包含能量储存装置，包含(例如)可再充电电池，例如镍镉电池或锂离子电池，或太阳能电池。在某些实施例中，用户装置10可从壁式插座接收电力。
[0056]图3是捕获用户的手部运动的相机12的示意图。相机12包含相机传感器42和相机透镜44，且相机12已经定位以捕获用户的手46的手键入动作。在真实世界中，手46的点(例如指尖位置47)的运动可具有三维坐标(X，Y，Z)，其中Z表示从相机透镜到指尖位置47的距离。
[0057]相机透镜44可接收用户手部的图像，且将图像聚焦到相机传感器42上。相机透镜44可具有焦距F。相机传感器42可为例如CCD或CMOS传感器，其经配置以将接收到的光转换为对应于所述光的强度的离散信号。相机传感器42和相机透镜44可隔开像距S。
[0058]指尖位置47投影在相机传感器42的表面上的图像可具有坐标(x，y)，其可由下面的等式I表示，其中X，Y，Z，X，y以及S如上文所界定，且C是与二维空间中的所投影图像因指尖在三维空间中的深度(Z)变化而导致的水平(X)和垂直(y)变化的程度有关的常数。
[0059]等式I
【权利要求】
1.一种用于将数据输入到计算装置中的系统，所述系统包括:相机，其用于捕获含有用户的手指的图像序列；显示器，其用于显示与虚拟键盘组合的所述序列的每一图像，其中所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变；视频特征提取模块，其经配置以检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动，其中所述虚拟键盘包括多个虚拟键，每一虚拟键具有多个虚拟传感器，且其中所述视频特征提取模块使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据；以及手势模式匹配模块，其用于使用所述传感器致动数据来辨识用户的手势，且将数据输入到所述计算装置中。
2.根据权利要求1所述的系统，其中所述显示器将所述虚拟键盘上覆于所述序列中的所述图像中的每一者上，所述虚拟键盘至少部分透明。
3.根据权利要求1所述的系统，其中所述系统经配置以在辨识到所述手势时提供视觉反馈、音频反馈和振动反馈中的至少一者。
4.根据权利要求1所述的系统，其进一步包括用于检测手势终点的手势终点检测模块。
5.根据权利要求4所述的系统，其中所述手势模式匹配模块经配置以将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以辨识所述手势。
6.根据权利要求4所述的系`统，其中所述手势模式匹配模块经配置以在检测到所述手势终点之后，将所述传感器致动数据与所述多个手势辨识模板中的每一者进行比较。
7.根据权利要求5所述的系统，其中所述手势模式匹配模块经配置以使用动态时间规整将所述传感器致动数据与所述多个手势辨识模板中的每一者对准。
8.根据权利要求1所述的系统，其进一步包括误报拒绝模块，所述误报拒绝模块用于使用所述传感器致动数据来检测运动条件，且防止所述手势模式匹配模块在所述运动条件高于阈值时辨识所述手势。
9.根据权利要求8所述的系统，其中所述误报拒绝模块经配置以在所述运动条件高于所述阈值时提供视觉反馈、音频反馈和振动反馈中的至少一者。
10.根据权利要求1所述的系统，其中所述手势为键击。
11.一种用于使用虚拟键盘将数据输入到电子装置中的方法，所述方法包括:接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；检测所述图像序列中的所述手指相对于所述虚拟键盘的运动，所述虚拟键盘具有多个虚拟键，每一虚拟键具有多个虚拟传感器；通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。
12.根据权利要求11所述的方法，其进一步包括在显示器上显示所述组合图像。
13.根据权利要求12所述的方法，其中显示所述组合图像包括显示上覆于所述图像序列上的所述虚拟键盘，所述虚拟键盘至少部分透明。
14.根据权利要求12所述的方法，其进一步包括在辨识到所述手势之后突出显示至少一个虚拟键。
15.根据权利要求11所述的方法，其中辨识所述手势包括将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以识别至少一个候选手势。
16.根据权利要求15所述的方法，其进一步包括使用所述所检测运动来检测手势终
17.根据权利要求16所述的方法，其进一步包括使用动态时间规整来使所述传感器致动数据与每一手势辨识模板对准。
18.根据权利要求15所述的方法，其进一步包括将置信度因子指派给每一候选手势。
19.根据权利要求18所述的方法，其中辨识所述手势包括从所述至少一个候选手势选择具有最高置信度因子的手势。
20.根据权利要求15所述的方法，其进一步包括使用所述传感器致动数据确定运动条件，以及防止所述至少一个候选手势中的一者或一者以上在所述运动条件高于阈值时成为所述所辨识手势。
21.一种用于将数据输入到计算装置中的系统，所述系统包括:用于捕获含有用户的手指的图像序列的装置；用于显示与虚拟键盘组合的所述序列的每一图像的装置，其中所述所显示图像中的所述手指相对于所述虚拟键盘的`位置随着所述用户的所述手指相对于相机移动而改变；用于检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动的装置，其中所述虚拟键盘包括多个虚拟键，每一虚拟键具有多个虚拟传感器，且其中用于检测运动的装置使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据；以及用于使用所述传感器致动数据来辨识用户的手势以将数据输入到所述计算装置中的>j-U ρ?α装直。
22.根据权利要求21所述的系统，其中所述用于显示的装置将所述虚拟键盘上覆于所述序列中的所述图像中的每一者上，所述虚拟键盘至少部分透明。
23.根据权利要求21所述的系统，其中所述系统经配置以在辨识到所述手势时提供视觉反馈、音频反馈和振动反馈中的至少一者。
24.根据权利要求21所述的系统，其进一步包括用于检测手势终点的装置。
25.根据权利要求24所述的系统，其中所述用于辨识所述用户的手势的装置经配置以将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以辨识所述手势。
26.根据权利要求25所述的系统，其中所述用于辨识所述用户的手势的装置经配置以在检测到所述手势终点之后将所述传感器致动数据与所述多个手势辨识模板中的每一者进行比较。
27.根据权利要求25所述的系统，其中用于辨识所述用户的手势的装置经配置以使用动态时间规整将所述传感器致动数据与所述多个手势辨识模板中的每一者对准。
28.根据权利要求21所述的系统，其进一步包括用于防止所述手势模式匹配模块在所述运动条件高于阈值时辨识所述手势的装置。
29.—种包括指令的非暂时性计算机可读存储媒体，所述指令在被执行时实施使用虚拟键盘将数据输入到电子装置中的方法，所述方法包括:接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；检测所述图像序列中的所述手指相对于所述虚拟键盘的运动，所述虚拟键盘具有多个虚拟键，每一虚拟键具有多个虚拟传感器；通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。
30.根据权利要求29所述的计算机可读存储媒体，其中所述方法进一步包括在显示器上显示所述组合图像。
31.根据权利要求30所述的计算机可读存储媒体，其中显示所述组合图像包括显示上覆于所述图像序列上的所述虚拟键盘，所述虚拟键盘至少部分透明。
32.根据权利要求31所述的计算机可读存储媒体，其中所述方法进一步包括在辨识到所述手势之后突出显示至少一个虚拟键。
33.根据权利要求29所述的计算机可读存储媒体，其中辨识所述手势包括将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以识别至少一个候选手势。
34.根据权利要求33所述的计算机可读存储媒体，其中所述方法进一步包括使用所述所检测运动来检测手势终点。`
35.根据权利要求34所述的计算机可读存储媒体，其中所述方法进一步包括使用动态时间规整来使所述传感器致动数据与每一手势辨识模板对准。
36.根据权利要求35所述的计算机可读存储媒体，其中所述方法进一步包括将置信度因子指派给每一候选手势。
37.根据权利要求36所述的计算机可读存储媒体，其中辨识所述手势包括从所述至少一个候选手势选择具有最高置信度因子的手势。
38.根据权利要求37所述的计算机可读存储媒体，其中所述方法进一步包括使用所述传感器致动数据确定运动条件，以及防止所述至少一个候选手势中的一者或一者以上在所述运动条件高于阈值时成为所述所辨识手势。
【文档编号】G06F3/042GK103518179SQ201280022589
【公开日】2014年1月15日 申请日期:2012年4月18日 优先权日:2011年4月20日
【发明者】毕宁 申请人:高通股份有限公司
【专利摘要】本发明提供用于提供虚拟键盘的系统、方法和设备，包含编码在计算机存储媒体上的计算机程序。在一个方面中，一种系统包含相机、显示器、视频特征提取模块以及手势模式匹配模块。所述相机捕获含有用户的手指的图像序列，且所述显示器显示与具有多个虚拟键的虚拟键盘组合的每一图像。所述视频特征提取模块检测所述图像序列中的所述手指相对于所述虚拟键的虚拟传感器的运动，且基于所述检测到的相对于所述虚拟传感器的运动确定传感器致动数据。所述手势模式匹配模块使用所述传感器致动数据来辨识手势。
【专利说明】虚拟键盘及其提供方法
【技术领域】
[0001]本发明涉及虚拟键盘。更具体地说，本发明涉及将键盘图像呈现到电子显示器上，且使用数码相机来检测用户的手指相对于所述所显示键盘的位置，以便将数据输入到计算机系统中。
【背景技术】
[0002]电子装置(包含个人计算机和移动电话)可具有用于接收来自用户的输入的键盘或小键盘。所述键盘可包含按钮或键的布置，且可使用机械切换装置来操作。或者，所述键盘可为显示于电子装置的显示器上的虚拟键盘，且用户可通过接触显示器的触敏表面来提供输入。
[0003]某些电子装置(例如移动电话)可具有相对较小的显示器。在某些例子中，对于用户来说，可能难以通过触摸显示屏来键入字符或输入其它命令。举例来说，用户的手指可能覆盖一个以上虚拟键，从而增加了键入错误的可能性。此外，在输入期间，用户的手可能阻挡显示器的部分，从而阻挡呈现在显示器上的信息，且使得用户难以确定是否已选择了适当的键。
【发明内容】
[0004]本发明的系统、方法和装置各自具有若干创新方面，其中无单独一者唯一地负责本文所揭示的合意属性。
[0005]在一个方面中，提供一种用于将数据输入到计算装置中的系统。所述系统包含:相机，其用于捕获含有用户的手指的图像序列；显示器，其用于显示与虚拟键盘组合的所述序列的每一图像；以及视频特征提取模块，其经配置以检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动。所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变，且所述虚拟键盘包含多个虚拟键，每一虚拟键具有多个虚拟传感器。所述视频特征提取模块使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据。所述系统进一步包含手势模式匹配模块，其用于使用所述传感器致动数据来辨识用户的手势，且将数据输入到所述计算装置中。
[0006]在另一方面中，提供一种用于使用虚拟键盘将数据输入到电子装置中的方法。所述方法包含:接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；以及检测所述图像序列中的所述手指相对于所述虚拟键盘的运动。所述虚拟键盘具有多个虚拟键，且每一虚拟键具有多个虚拟传感器。所述方法进一步包含通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。
[0007]在另一方面中，提供一种用于将数据输入到计算装置中的系统。所述系统包含:用于捕获含有用户的手指的图像序列的装置；用于显示与虚拟键盘组合的所述序列的每一图像的装置；以及用于检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动的装置。所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变，且所述虚拟键盘包含多个虚拟键，每一虚拟键具有多个虚拟传感器。所述用于检测运动的装置使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据。所述系统进一步包含用于使用所述传感器致动数据来辨识用户的手势以将数据输入到所述计算装置中的装置。
[0008]在另一方面中，一种非暂时性计算机可读存储媒体包含指令，所述指令在被执行时实施使用虚拟键盘将数据输入到电子装置中的方法。所述方法包含:接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；以及检测所述图像序列中的所述手指相对于所述虚拟键盘的运动。所述虚拟键盘具有多个虚拟键，且每一虚拟键具有多个虚拟传感器。所述方法进一步包含通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。
[0009]附图和以下描述中陈述本说明书中所描述的标的物的一个或一个以上实施方案的细节。其它特征、方面和优点将从描述、图式和所附权利要求书变得明白。注意，以下各图的相对尺寸可不按比例绘制。
【专利附图】
【附图说明】
[0010]图1是根据一个实施例的具有服务器和所连接装置的网络的示意图。
[0011]图2是具有虚拟键盘的用户装置的一个实施例的示意图。
[0012]图3是捕获用户的手部运动的相机的示意图。
[0013]图4说明根据一个实施例的上覆于用户的手部图像上的虚拟键盘图像。
[0014]图5是用于虚拟键的虚拟传感器布局的三个实例的示意图。
[0015]图6是上覆于用户的手部图像上的图5的虚拟键的示意图。
[0016]图7是提供虚拟键盘的方法的一个实施例的流程图。
[0017]图8A是根据一个实施例的虚拟键盘的一部分。
[0018]图SB说明用于检测图8A的虚拟键盘的所述部分上的手部或手指运动的八个方向的八个手势辨识模板的实例。
[0019]图SC说明根据另一实施例的虚拟键盘的一部分。
[0020]图8D说明用于检测图SC的虚拟键盘的所述部分上的手势的手势辨识模板的实例。
[0021]图9是辨识手势的方法的一个实施例的流程图。
[0022]各个图中的相同参考编号和名称指示相同元件。
【具体实施方式】
[0023]以下对某些实施例的详细描述呈现本发明的特定实施例的各种描述。然而，本发明可以如由所附权利要求书界定并涵盖的众多不同方式来实施。在此描述中，参考图式，其中相同参考标号指示相同或功能上类似的元件。
[0024]本发明的实施例涉及用于控制虚拟键盘的系统和方法。本文所描述的虚拟键盘可用以将输入提供到用户装置中。举例来说，在其中用户装置为移动电话的实施例中，用户可使用虚拟键盘来拨电话号码，键入文本消息，且/或输入控制命令。在此实施例中，用户装置包含相机、显示器和处理器。相机可捕获用户的图像，且处理器可将虚拟键盘的图像上覆于所捕获的图像上。为了操作虚拟键盘，用户可使用她的手指或手在空中作出手势，例如手指键入运动，且无需触摸显示器的表面。
[0025]在某些实施例中，虚拟键盘可包含多个虚拟键，每一虚拟键具有多个虚拟传感器。可相对于虚拟传感器确定和测量用户手部和/或手指的运动，且可对照与各种用户手势相关联的一系列手势辨识模板来分析传感器数据序列。在一个实施例中，使用动态时间规整(DTff)来匹配不同速度的用户手势。
[0026]本发明结合大量其它通用或专用计算系统环境或配置来操作。可适合结合本发明使用的众所周知计算系统、环境和/或配置的实例包含但不限于个人计算机、服务器计算机、手持式或膝上型装置、多处理器系统、基于微处理器的系统、可编程消费型电子装置、网络PC、迷你计算机、包含上述系统或装置中的任一者的分布式计算环境，等等。
[0027]如本文所使用，指令涉及用于处理系统中的信息的计算机实施步骤。指令可在软件、固件或硬件中实施，且包含由系统的组件进行的任何类型的经编程步骤。
[0028]局域网(LAN)或广域网(WAN)可为包含对因特网的接入权的企业计算网络，构成系统的计算机和计算装置连接到所述企业计算网络。在一个实施例中，LAN符合传输控制协议/因特网协议(TCP/IP)行业标准。
[0029]如本文中所使用，媒体涉及输入到系统中的图像、声音、视频或任何其它多媒体类型数据。
[0030]微处理器可为任何常规通用单芯片或多芯片微处理器，例如Pentium?处理器、Itanium?处理器或ALPHA?处理器。另外，微处理器可为任何常规专用微处理器，例如数字信号处理器(DSP)或图形处理器。
[0031]所述系统由如下文详细论述的各种模块组成。如所属领域的技术人员可了解，所述模块中的每一者包括各种子例程、程序、明确声明和宏。所述模块中的每一者通常分开编译，且链接到单个可执行程序中。因此，所述模块中的每一者的以下描述是用于方便描述优选系统的功能性。因此，所述模块中的每一者所经历的过程可任意重新分配给其它模块中的一者、在单个模块中组合在一起，或例如使其在可共享动态链接库中可用。
[0032]所述系统可结合例如哩纳克斯(LINUX)、尤尼克斯(UNIX)或MICROSOFT WINDOWS?等各种操作系统使用。另外，所述系统可以任何合适编程语言写成，包含常规编程语言，例如C、C++、BASIC、Pascal、Perl或爪哇(Java)。
[0033]可使用包括网络浏览器用户接口的网络浏览器来向用户显示信息(例如，文本和图形信息)。网络浏览器可包括能够显示经由网络接收的信息的任何类型的虚拟显示器。网络浏览器的实例包含微软的Internet Explorer浏览器,苹果的Safari浏览器、摩斯拉(Mozilla)的火狐浏览器、帕姆索斯(PalmSource)的网络浏览器、谷歌的ChiOme浏览器或能够与网络通信的任何其它浏览或其它应用软件。在某些实施例中，网络浏览器可包含虚拟键盘接口。
[0034]本文所揭示的本发明的实施例可实施为使用标准编程或工程设计技术来产生软件、固件、硬件或其任何组合的方法、设备或制品。如本文所使用的术语“制品”指代在例如光学存储装置以及易失性或非易失性存储器装置等硬件或计算机可读媒体中实施的代码或逻辑。此硬件可包含但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、复合可编程逻辑装置(CPLD)、可编程逻辑阵列(PLA)、微处理器或其它类似处理装置。
[0035]用户装置的概述
[0036]图1是网络2的示意图。所说明的网络2包含用户装置10a、用户装置10b，以及服务器8，其各自与因特网4通信。尽管仅说明用户装置10a、10b以及服务器8，但网络2可包含额外用户装置和服务器。
[0037]如图1中所示,用户装置IOa为移动电话,且用户装置IOb为个人计算机。然而,用户装置可为结合网络使用的任何合适通信装置。用户装置10a、IOb可包含显示器和相机，且可经配置以使用虚拟键盘来操作，如本文将进一步详细描述。用户可使用虚拟键盘将输入提供到用户装置。所述输入可包含(例如)文本、数字、符号和/或控制命令。
[0038]可使用用户装置来经由因特网4将信息发射到其它装置且从其它装置接收信息。举例来说，用户装置IOa可与用户装置IOb和/或服务器8通信。所传送的信息可包含(例如)话音、数据和/或多媒体服务，且所发射或接收的信息的全部或一部分可从虚拟键盘获得。另外，用户可使用虚拟键盘来辅助控制用户装置与因特网4的通信。举例来说，用户可使用虚拟键盘提供控制命令来导航因特网。另外，网络浏览器可包含虚拟键盘接口，且用户可通过将输入提供到虚拟键盘来从服务器8请求多媒体。用户装置还可用以经由除因特网4之外的网络通信，包含例如蜂窝式网络。
[0039]用户装置可使用多种标准来通信。举例来说，某些用户装置可根据IEEE16.11标准(包含 IEEE16.11(a)、(b)或(g))，或 IEEE802.11 标准(包含 IEEE802.11a、b、g 或 η)来通信。在一些实施例中，用户装置可包含用于根据BLUETOOTH标准发射和接收RF信号的天线。对于某些用户装置，例如当用户装置为移动电话时，用户装置可使用经设计用以接收以下信号的天线来通信:码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)、全球移动通信系统(GSM) ,GSM/通用包无线电服务(GPRS)、增强型数据GSM环境(EDGE)、陆地集群无线电(TETRA)、宽带 CDMA(W-CDMA)、演进数据优化(EV-D0)、IxEV-DO、EV_D0 Rev A,EV-DO Rev
B、高速包接入(HSPA)、高速下行链路包接入(HSDPA)、高速上行链路包接入(HSUPA)、演进型高速包接入(HSPA+)、长期演进(LTE) ,AMPS,或用以在无线网络(例如利用3G或4G技术的系统)内通信的其它已知信号。
[0040]图2是具有虚拟键盘的用户装置10的一个实施例的示意图。用户装置10包含相机12、扬声器14、显示器16、视频处理模块18、特征提取模块20、存储器21、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30以及音频处理模块32。用户装置10可为例如移动电话或个人计算机。然而，用户装置10的相同组件或其稍微变化还说明例如电视机和便携式媒体播放器等其它类型的装置。
[0041]可在硬件和/或软件的各种组合中实施所述各种模块。举例来说，视频处理模块
18、特征提取模块20、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30和/或音频处理模块32可实施为存储在计算机可读存储媒体上的指令，其经配置以使用一个或一个以上处理器来执行。下文稍后将详细地描述关于所述模块的实施的额外细节。
[0042]相机12可为多种相机类型。举例来说，相机12可为移动电话的前置相机，包含具有固定焦距透镜的相机。或者，相机12可为经由端口与计算机通信的网络相机。相机12可包含图像传感器，例如互补金属氧化物半导体(CMOS)传感器或电荷耦合装置(CCD)传感器。如下文将详细描述，用户装置10可使用相对较简单的相机12 (包含例如具有相对较低帧速率(例如约30fps的帧速率)的相机)来提供虚拟键盘。因此，甚至在用户装置10不包含相对较高速度相机，或具有变焦、红外线、知晓深度和/或立体能力的相机时，用户装置10也可提供虚拟键盘。在一个实施例中，相机12为用于移动电话的前置相机，其具有范围在约20fps到约120fps之间的帧速率。
[0043]继续参看图2，用户装置10包含扬声器14。扬声器14可包含用于将电信号转换为声音的变换器。另外，扬声器14可包含用于升高接收到的电信号的量值的放大器和/或用于减少信号噪声的滤波器。尽管在图2中仅说明单个扬声器14，但可使用大量扬声器来提供增强的音频能力。
[0044]显示器16可为多种显示器中的任一者，包含利用等离子体、电致发光、有机发光二极管(OLED)、液晶显示器(LCD)和/或干涉式调制器装置(IMOD)技术的平板显示器。然而，在某些实施例中，显示器12可为非平板显示器，例如阴极射线管(CRT)或其它管装置。尽管虚拟键盘准许用户在不物理触摸显示表面的情况下将输入提供到用户装置12，但在某些实施例中，显示器可为触摸屏显示器，且本文所描述的虚拟键盘可用作辅助输入装置。
[0045]存储器21可为各种各样的存储媒体中的任一者，包含例如RAM存储器、快闪存储器、寄存器、硬盘、可装卸盘或卡，和/或此项技术中已知的任何其它形式的存储媒体。存储器21可包含图像数据33、虚拟键盘和传感器布局数据34、传感器致动数据35以及手势辨识模板36，如下文稍后将描述。在某些实施方案中，存储器21可包含用于执行与用户装置10的一个或一个以上模块(包含例如视频处理模块18、特征提取模块20、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30和/或音频处理模块32)相关联的功能性的全部或部分的指令。
[0046]如图2中所示，视频处理模块18可与相机12通信，且可接收由相机12捕获的图像序列。视频处理模块18可对接收到的图像执行多种功能，包含例如色彩信号处理、模/数转换和/或伽马校正。视频处理模块18可从相机12接收含有用户的手或手指的图像序列，且视频处理模块18可经配置以反转每一图像以产生镜像图像。视频处理模块18可将经反转和/或未经反转图像提供给视频特征提取模块20，以及其它模块。数据可作为图像数据21存储在存储器21中。
[0047]视频处理模块18可将经处理或未经处理图像与虚拟键盘图像组合以形成经组合图像。举例来说，可将用户的手或手指的经反转图像上覆于至少部分透明的虚拟键盘图像上。可增强经组合图像以包含视觉反馈，如下文将详细描述，且可将其提供给显示器16。如下文将描述，显示与虚拟键盘的图像组合的用户的手或手指的经反转图像可帮助用户使用虚拟键盘输入数据和/或命令。
[0048]视频特征提取模块20可从视频处理模块18和/或存储器21接收图像序列，且可处理所述图像序列以确定运动区域。举例来说，视频特征提取模块20可将接收到的帧与所捕获序列中早先的帧(例如，紧接在前的帧)进行比较，且计算所述帧之间的差异图像。可以任何合适方式对所述差异图像进行滤波，包含例如通过移除低于阈值的差异，以便产生经滤波差异图像。所述经滤波和/或未经滤波差异图像可作为图像数据33存储在存储器21中。[0049]继续参看图2，视频特征提取模块20可将经滤波差异图像与存储在存储器21中的虚拟键盘和虚拟传感器布局34进行比较，以便确定一个或一个以上虚拟键致动。举例来说，虚拟键盘可包含多个虚拟传感器，其可在图像中具有对应像素位置。可将用户的手或手指的运动相对于虚拟传感器的位置进行比较，以便确定虚拟传感器的致动。举例来说，当在对应于特定虚拟传感器的特定像素坐标处检测到运动变化时，可在所述时刻致动虚拟传感器。如所属领域的技术人员将了解，虚拟传感器信息的传感器致动捕获与用户的手或手指在虚拟键盘上的运动有关的地理和时间信息。可随着时间的过去收集虚拟传感器致动，以形成传感器致动数据35，其可存储在存储器21中。举例来说，可将虚拟传感器致动存储在范围在约I帧到约30帧之间的数目的帧上。
[0050]手势终点检测模块22可分析由特征提取模块20产生的差异图像序列，以确定手势终点。举例来说，手势终点检测模块22可经配置以定位具有在含有相对较高运动的一个或一个以上帧的序列之后检测到的相对较低运动的一个或一个以上帧。在确定已检测到手势终点后，手势终点检测模块22可即刻将手势终点的位置传送到手势模式匹配模块24，例如含有手势终点的帧的位置或传感器致动数据35中对应于手势的终止的位置。
[0051]继续参考图2，手势模式匹配模块24可从手势终点检测模块22接收手势终点的位置。手势模式匹配模块24可与存储器21通信，且可使用手势终点和传感器致动数据35来确定传感器致动序列是否与一个或一个以上手势辨识模板36匹配。举例来说，可将输入手势致动序列与每一手势辨识模板进行比较，以确定是否已发生所辨识的手势，且可确定对应于所辨识手势的经致动键。在一个实施例中，手势模式匹配模块24使用动态时间规整(DTff)来辅助匹配不同速度的手势。
[0052]在辨识手势后和/或在辨识过程期间，手势模式匹配模块24可将检测信息提供给误报拒绝模块30。误报拒绝模块30可确定装置10的运动条件是否高于阈值。举例来说，误报拒绝模块30可确定与手势相关联的一个或一个以上帧上的所致动虚拟传感器的总数是否超过阈值，以便确定全局运动条件。另外，误报拒绝模块30可分析所致动键的地理邻域中的所致动传感器的数目，以确定局部运动条件。可使用全局和局部运动条件来确定是否存在用户手势已被不正确地辨识的充分可能性。尽管误报拒绝模块30可经配置以分析传感器致动数据35，以便确定全局运动和局部运动条件，但在某些实施例中，误报拒绝模块30还可通过分析图像数据(例如存储在存储器21中的图像数据33)来确定误报。
[0053]误报拒绝模块30可与视频处理模块18和/或音频处理模块32通信以辅助将反馈提供给用户。举例来说，在确定检测到的手势有效后，误报拒绝模块30可即刻与音频处理模块32协调，以便使用扬声器14起始指示虚拟键已致动的声音。类似地，误报拒绝模块30可与视频处理模块18协调，以便提供虚拟键被致动的视觉反馈，例如通过用色彩增强虚拟键的边界。当误报拒绝模块30确定手势模式匹配24所辨识的手势具有不可接受的为错误的高风险时，误报拒绝模块可与音频处理模块32和/或视频处理模块18通信，以向用户提供指示未辨识到手势的视觉和/或音频反馈。
[0054]尽管已将用户装置10说明为包含某些模块，但在某些实施例中，用户装置10可包含较多或较少模块。举例来说，用户装置10无需包含单独的音频处理模块32，且/或用户装置10可包含用于向用户提供振动反馈的振动模块。另外，用户装置10可包含网络接口模块，使得用户装置10可经由网络(例如图1的网络2)进行通信。网络接口模块可与用于发射和接收射频信号的天线和收发器通信。
[0055]可将用户装置10放置在由多种制造工艺(包含例如，注射模制和/或真空成形)中的任一者形成的外壳中。所述外壳可由任何合适材料构造，包含但不限于塑料、金属、玻璃、橡胶和/或陶瓷。所述外壳可包含可装卸部分，其可与不同色彩且含有标识、图片或符号的其它可装卸部分互换。此外，用户装置10可包含能量储存装置，包含(例如)可再充电电池，例如镍镉电池或锂离子电池，或太阳能电池。在某些实施例中，用户装置10可从壁式插座接收电力。
[0056]图3是捕获用户的手部运动的相机12的示意图。相机12包含相机传感器42和相机透镜44，且相机12已经定位以捕获用户的手46的手键入动作。在真实世界中，手46的点(例如指尖位置47)的运动可具有三维坐标(X，Y，Z)，其中Z表示从相机透镜到指尖位置47的距离。
[0057]相机透镜44可接收用户手部的图像，且将图像聚焦到相机传感器42上。相机透镜44可具有焦距F。相机传感器42可为例如CCD或CMOS传感器，其经配置以将接收到的光转换为对应于所述光的强度的离散信号。相机传感器42和相机透镜44可隔开像距S。
[0058]指尖位置47投影在相机传感器42的表面上的图像可具有坐标(x，y)，其可由下面的等式I表示，其中X，Y，Z，X，y以及S如上文所界定，且C是与二维空间中的所投影图像因指尖在三维空间中的深度(Z)变化而导致的水平(X)和垂直(y)变化的程度有关的常数。
[0059]等式I
【权利要求】
1.一种用于将数据输入到计算装置中的系统，所述系统包括:相机，其用于捕获含有用户的手指的图像序列；显示器，其用于显示与虚拟键盘组合的所述序列的每一图像，其中所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变；视频特征提取模块，其经配置以检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动，其中所述虚拟键盘包括多个虚拟键，每一虚拟键具有多个虚拟传感器，且其中所述视频特征提取模块使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据；以及手势模式匹配模块，其用于使用所述传感器致动数据来辨识用户的手势，且将数据输入到所述计算装置中。
2.根据权利要求1所述的系统，其中所述显示器将所述虚拟键盘上覆于所述序列中的所述图像中的每一者上，所述虚拟键盘至少部分透明。
3.根据权利要求1所述的系统，其中所述系统经配置以在辨识到所述手势时提供视觉反馈、音频反馈和振动反馈中的至少一者。
4.根据权利要求1所述的系统，其进一步包括用于检测手势终点的手势终点检测模块。
5.根据权利要求4所述的系统，其中所述手势模式匹配模块经配置以将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以辨识所述手势。
6.根据权利要求4所述的系`统，其中所述手势模式匹配模块经配置以在检测到所述手势终点之后，将所述传感器致动数据与所述多个手势辨识模板中的每一者进行比较。
7.根据权利要求5所述的系统，其中所述手势模式匹配模块经配置以使用动态时间规整将所述传感器致动数据与所述多个手势辨识模板中的每一者对准。
8.根据权利要求1所述的系统，其进一步包括误报拒绝模块，所述误报拒绝模块用于使用所述传感器致动数据来检测运动条件，且防止所述手势模式匹配模块在所述运动条件高于阈值时辨识所述手势。
9.根据权利要求8所述的系统，其中所述误报拒绝模块经配置以在所述运动条件高于所述阈值时提供视觉反馈、音频反馈和振动反馈中的至少一者。
10.根据权利要求1所述的系统，其中所述手势为键击。
11.一种用于使用虚拟键盘将数据输入到电子装置中的方法，所述方法包括:接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；检测所述图像序列中的所述手指相对于所述虚拟键盘的运动，所述虚拟键盘具有多个虚拟键，每一虚拟键具有多个虚拟传感器；通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。
12.根据权利要求11所述的方法，其进一步包括在显示器上显示所述组合图像。
13.根据权利要求12所述的方法，其中显示所述组合图像包括显示上覆于所述图像序列上的所述虚拟键盘，所述虚拟键盘至少部分透明。
14.根据权利要求12所述的方法，其进一步包括在辨识到所述手势之后突出显示至少一个虚拟键。
15.根据权利要求11所述的方法，其中辨识所述手势包括将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以识别至少一个候选手势。
16.根据权利要求15所述的方法，其进一步包括使用所述所检测运动来检测手势终
17.根据权利要求16所述的方法，其进一步包括使用动态时间规整来使所述传感器致动数据与每一手势辨识模板对准。
18.根据权利要求15所述的方法，其进一步包括将置信度因子指派给每一候选手势。
19.根据权利要求18所述的方法，其中辨识所述手势包括从所述至少一个候选手势选择具有最高置信度因子的手势。
20.根据权利要求15所述的方法，其进一步包括使用所述传感器致动数据确定运动条件，以及防止所述至少一个候选手势中的一者或一者以上在所述运动条件高于阈值时成为所述所辨识手势。
21.一种用于将数据输入到计算装置中的系统，所述系统包括:用于捕获含有用户的手指的图像序列的装置；用于显示与虚拟键盘组合的所述序列的每一图像的装置，其中所述所显示图像中的所述手指相对于所述虚拟键盘的`位置随着所述用户的所述手指相对于相机移动而改变；用于检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动的装置，其中所述虚拟键盘包括多个虚拟键，每一虚拟键具有多个虚拟传感器，且其中用于检测运动的装置使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据；以及用于使用所述传感器致动数据来辨识用户的手势以将数据输入到所述计算装置中的>j-U ρ?α装直。
22.根据权利要求21所述的系统，其中所述用于显示的装置将所述虚拟键盘上覆于所述序列中的所述图像中的每一者上，所述虚拟键盘至少部分透明。
23.根据权利要求21所述的系统，其中所述系统经配置以在辨识到所述手势时提供视觉反馈、音频反馈和振动反馈中的至少一者。
24.根据权利要求21所述的系统，其进一步包括用于检测手势终点的装置。
25.根据权利要求24所述的系统，其中所述用于辨识所述用户的手势的装置经配置以将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以辨识所述手势。
26.根据权利要求25所述的系统，其中所述用于辨识所述用户的手势的装置经配置以在检测到所述手势终点之后将所述传感器致动数据与所述多个手势辨识模板中的每一者进行比较。
27.根据权利要求25所述的系统，其中用于辨识所述用户的手势的装置经配置以使用动态时间规整将所述传感器致动数据与所述多个手势辨识模板中的每一者对准。
28.根据权利要求21所述的系统，其进一步包括用于防止所述手势模式匹配模块在所述运动条件高于阈值时辨识所述手势的装置。
29.—种包括指令的非暂时性计算机可读存储媒体，所述指令在被执行时实施使用虚拟键盘将数据输入到电子装置中的方法，所述方法包括:接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；检测所述图像序列中的所述手指相对于所述虚拟键盘的运动，所述虚拟键盘具有多个虚拟键，每一虚拟键具有多个虚拟传感器；通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。
30.根据权利要求29所述的计算机可读存储媒体，其中所述方法进一步包括在显示器上显示所述组合图像。
31.根据权利要求30所述的计算机可读存储媒体，其中显示所述组合图像包括显示上覆于所述图像序列上的所述虚拟键盘，所述虚拟键盘至少部分透明。
32.根据权利要求31所述的计算机可读存储媒体，其中所述方法进一步包括在辨识到所述手势之后突出显示至少一个虚拟键。
33.根据权利要求29所述的计算机可读存储媒体，其中辨识所述手势包括将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以识别至少一个候选手势。
34.根据权利要求33所述的计算机可读存储媒体，其中所述方法进一步包括使用所述所检测运动来检测手势终点。`
35.根据权利要求34所述的计算机可读存储媒体，其中所述方法进一步包括使用动态时间规整来使所述传感器致动数据与每一手势辨识模板对准。
36.根据权利要求35所述的计算机可读存储媒体，其中所述方法进一步包括将置信度因子指派给每一候选手势。
37.根据权利要求36所述的计算机可读存储媒体，其中辨识所述手势包括从所述至少一个候选手势选择具有最高置信度因子的手势。
38.根据权利要求37所述的计算机可读存储媒体，其中所述方法进一步包括使用所述传感器致动数据确定运动条件，以及防止所述至少一个候选手势中的一者或一者以上在所述运动条件高于阈值时成为所述所辨识手势。
【文档编号】G06F3/042GK103518179SQ201280022589
【公开日】2014年1月15日 申请日期:2012年4月18日 优先权日:2011年4月20日
【发明者】毕宁 申请人:高通股份有限公司
最新回复(0)