用于手势辨识的系统和方法
用于手势辨识的系统和方法
【技术领域】
[0001]本发明的技术领域整体上涉及触摸屏设备的手势辨识。
【背景技术】
[0002]触摸屏设备是具有触摸屏用户界面的电子设备。触摸屏设备一般测量屏幕表面附近的电容的变化来识别人接触的位置。触摸屏设备一般响应于检测到在屏幕上的特定位置的人的接触而执行操作。例如，响应于检测到与关闭窗口按钮相同位置上的人的接触，触摸屏设备可以关闭窗口。但是，检测人的接触的常规方法使触摸屏设备能够识别触摸屏上的接触点的位置。
【发明内容】
[0003]根据一方面，提供一种手势识别系统。手势识别系统包括用于存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息的存储器、耦合到存储器的至少一个处理器、以及能够通过至少一个处理器执行的手势辨识部件。手势辨识部件被配置成从触摸屏接收包括至少一个指纹和操作信息的手势信息；基于至少一个指纹和手指识别信息识别至少一个用户的多个手指中的至少一个手指；基于操作信息识别执行的操作；将操作和至少一个手指与在存储器中存储的至少一个手指和操作对匹配；以及执行与至少一个手指和操作对关联的命令。
[0004]在一些实施方式中，手势辨识部件还被配置成:通过唯一地识别至少一个用户的右食指、右中指、右无名指、右小指、左食指、左中指、左无名指和左小指中的至少一个来唯一地识别至少一个手指。
[0005]在一个实施方式中，手指识别信息包括与多个手指中的每个手指关联的多个关键特征。在该实施方式中，手势辨识部件还可以被配置成:从至少一个指纹中提取关键特征，并且将提取到的关键特征与存储的与多个手指中的每个手指关联的关键特征匹配。
[0006]在一些实施方式中，操作包括定向滑动操作、触击操作、以及按住操作中的至少一种。在一个实施方式中，该命令包括向右滚动、向左滚动、向下滚动、向上滚动、放大、缩小、以及打开属性中的至少一种。
[0007]在一个实施方式中，操作信息包括在触摸屏上的一个或多个接触点的位置和与至少一个手指的移动相关的信息。在该实施方式中，存储器可以存储识别多个操作的操作识别信息并且手势辨识部件还可以被配置成至少部分地通过将位置和移动相关的信息与存储器中存储的操作识别信息匹配来识别执行的操作。
[0008]在一个实施方式中，手势处理部件还被配置成经由触摸屏向至少一个用户呈现包括具有多个控制元件的控制面板的显示器。在该实施方式中，多个控制元件中的每个元件可以与至少两个命令关联，至少两个命令中的每个命令与唯一的手指和操作对关联。例如，至少两个命令可以包括用于改变相应控制元件的状态的第一命令和用于存储相应控制元件的状态的第二命令。第一命令可以与食指和触击操作关联并且第二命令与中指和触击操作关联。
[0009]在一个实施方式中，手势处理部件还被配置成:经由触摸屏向至少一个用户呈现包括具有多个控制元件的、与建筑采暖、通风和空调(HVAC)系统关联的控制面板的显示器。
[0010]根据一个方面，提供一种辨识手势的方法。该方法包括:经由耦合到至少一个处理器的存储器来存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息；通过能够由至少一个处理器执行的手势辨识部件来接收包括至少一个指纹和操作信息的手势信息；通过手势辨识部件来基于至少一个指纹和手指识别信息识别至少一个用户的多个手指中的至少一个手指；通过手势辨识部件来基于操作信息识别执行的操作；通过手势辨识部件来将操作和至少一个手指与在存储器中存储的至少一个手指和操作对匹配；以及通过手势辨识部件来执行与至少一个手指和操作对关联的命令。
[0011]在一个实施方式中，识别至少一个手指包括识别至少一个用户的右食指、右中指、以及右无名指和右小指中的至少一个。
[0012]在一个实施方式中，存储手指识别信息包括存储与多个手指中的每个手指关联的多个关键特征。在该实施方式中，唯一地识别至少一个手指可以包括从至少一个指纹中提取关键特征和将提取的关键特征与存储的多个手指中的每个手指关联的关键特征匹配。
[0013]在一个实施方式中，接收操作信息包括接收触摸屏上的一个或多个接触点的位置和与所述至少一个手指的移动相关的信息。在该实施方式中，该方法还可以包括存储识别多个操作的操作识别信息，并且识别被执行的操作包括将位置和移动相关的信息与操作识别信息匹配。
[0014]根据一个方面，提供一种触摸屏设备。该触摸屏设备包括:被构造成响应于从至少一个用户接收输入来产生手势信息的触摸屏；用于存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息的存储器；耦合到存储器和触摸屏的至少一个处理器；以及能够通过至少一个处理器执行的手势辨识部件。手势辨识部件被配置成:从触摸屏接收包括至少一个指纹和操作信息的手势信息；基于至少一个指纹和手指识别信息识别至少一个用户的多个手指中的至少一个手指；基于操作信息识别执行的操作；将操作和至少一个手指与在存储器中存储的至少一个手指和操作对匹配；以及执行与至少一个手指和操作对关联的命令。
[0015]下面详细地介绍其他方面、实施方式以及这些示例的方面和实施方式的优点。进一步地，应当理解，前述信息和下面的详细的描述都只是各个方面和实施方式的说明性的例子，并且旨在提供用于理解要求保护的主题的本质和特点的概述或框架。对例子和实施方式的特定的提及，例如“实施方式”、“另一实施方式”、“一些实施方式”、“其他实施方式”、“可替代的实施方式”、“各种实施方式”、“一个实施方式”、“至少一个实施方式”、“这个和其他实施方式”等，其不一定彼此排斥并且旨在指示结合实施方式或例子描述的并且可以被包括在该实施方式或例子和其它实施方式或例子中的特定特征、结构、或者特性。本文中这些术语的出现不一定都指的是相同的实施方式或例子。
[0016]另外，在本文和通过引用并入到本文中的文件中对术语的使用不一致的情况下，在被并入的引用文件中的术语的使用是对本文中的术语的使用的补充；对于矛盾的不一致，以本文中的术语使用为准。另外，附图被包括来提供对各个方面和实施方式的说明和进一步的理解，并且被包括在说明书内且构成说明书的一部分。附图与说明书中的其余部分一起用于解释所描述和要求保护的方面和实施方式的原理和操作。
【附图说明】
[0017]下面结合附图介绍至少一个实施方式的各个方面，该附图不是按比例绘制。附图被包含来提供对各个方面和实施方式的说明和进一步的理解，并且被包含在本说明书内且构成说明书的一部分，但是不旨在作为对任何特定实施方式的限制的定义。附图与说明书中的其余部分一起用于解释所描述和要求保护的方面和实施方式的原理和操作。在附图中，通过相似的编号表示在每个附图中示出的每个一致的或近似一致的部件。出于清楚的目的，没有在每一个附图中将每一个部件标出。在附图中:
[0018]图1是根据某些实施方式的示例触摸屏设备的框图；
[0019]图2是根据某些实施方式的示例手势辨识系统的框图；
[0020]图3A-3C是根据某些实施方式示出基于用户交互确定的各个命令的图解；
[0021]图4是根据某些实施方式的示例手势辨识过程的流程图；
[0022]图5是根据某些实施方式的示例命令识别和执行过程的流程图；以及
[0023]图6是根据某些实施方式的具有手势辨识的示例用户界面。
【具体实施方式】
[0024]本文公开的一些实施方式包括用于手势辨识的装置和过程。根据各个实施方式，提供一种辨识由用户在触摸屏上执行的特定手势的手势辨识系统。手势辨识系统从触摸屏接收手势信息，并且识别被使用来与触摸屏交互的特定手指或者手指的组合和在触摸屏上执行的操作。手势辨识系统将被使用来执行操作的手指以及操作本身的特定组合与特定命令匹配。手势辨识系统可以执行匹配的命令和/或将匹配的命令提供给另一个系统或软件应用。使用手指和操作组合来执行特定命令有益地增加了用户可以利用用户界面中的单个控制元件执行的命令的数量。例如，可以通过将四个命令中的每个命令分别与通过四个手指中的一个手指执行的触击操作关联来将四个命令与单个按钮的触击操作关联。在用户界面中可利用的命令密度增加，从而减少使用户能够执行给定数量的命令所需要的屏幕空间的量。
[0025]本文介绍的方法和系统的例子不限于在下面的说明书中或者在附图中示出的部件的构造和布置的细节的应用。能够在其他实施方式中实施这些方法和系统并且以各种方式实践和或执行这些方法和系统。仅出于说明的目的，本文提供特定实现的例子，而不是进行限制。具体地 ，结合任何一个或多个例子而介绍的动作、部件、元件和特征不是要被在任何其他例子中的相似角色排斥。
[0026]而且，本文使用的词组和术语是出于说明的目的，并且不应当被当作限制。以单数方式引用的本文的系统和方法的例子、实施方式、部件、元件或动作的任何引用也可以包含包括复数的实施方式，以复数方式引用的本文的任何实施方式、部件、元件或动作的任何引用也可以包含仅包括单数的实施方式。以单数或复数形式的引用不是要限制本文公开的系统或方法、它们的部件、动作或元件。“包括(including) ”、“包括(comprising) ”、“具有(having) ”、“包含(containing) ”、“含有(involving) ”以及其变形在本文的使用意味着包含列在其后的术语和其等效物以及其他术语。对术语“或者”的引用可以被解释成包含性的，使得使用“或者”描述的任何术语可以指示单个、多余一个、以及全部被描述的术语中的任意一个。另外，在本文和通过引用并入到本文中的文件对术语的使用不一致的情况下，在被并入的引用文件中的术语的使用是对该文件的术语的使用补充，对于矛盾的不一致，以本文中的术语的使用为准。
[0027]触摸屏设备
[0028]图1示出触摸屏设备100，触摸屏设备100被配置来实施手势辨识系统，例如下面参考图2描述的手势辨识系统200。如图1中所示，触摸屏设备100包括处理器102、手势辨识部件108、数据储存器104、触摸屏112、和可选网络接口 106。
[0029]根据图1中示出的实施方式，处理器102耦合到数据储存器104、可选网络接口106、手势辨识部件108、和触摸屏112。处理器102执行一系列指令，产生在数据存储器104中存储的和从数据存储器104检索的被操作的数据。根据各种例子，处理器102是市场上在售的处理器，例如由 Texaslnstruments、Intel、AMD、Sun、IBM、Motorola、Freescale 和ARM Holdings制造的处理器。但是，处理器102可以是市场上在售的或者专门制造的处理器、多处理器或控制器中的任意类型。
[0030]另外，在若干实施方式中，处理器102被配置成执行常规的操作系统。在这些例子中，操作系统可以为应用软件提供平台服务，例如下面进一步介绍的手势辨识部件108的一些例子。这些平台服务可以包括交互过程和网络通信、文件系统管理和标准数据库操作。可以使用许多操作系统中的一种或多种，并且例子不限于任何特定操作系统或者操作系统特性。
[0031]在一些实施方式中，手势辨识部件108被配置为基于用来在触摸屏112上执行操作的手指和操作的特定组合识别和/或执行命令。下面参考手势辨识过程部分以及还有图4和5进一步说明通过手势辨识部件108执行的过程的具体例子。
[0032]可以使用硬件或硬件和软件的组合来实现手势辨识部件108。例如，在一个例子中，手势辨识部件108被实现为被安装在数据储存器104内并由处理器102执行的软件部件。在这个例子中，在手势辨识部件108内包含的指令对处理器102编程以基于被用来在触摸屏112上执行操作的手指和操作的特定组合识别和/或执行命令。在其他例子中，手势辨识部件108可以是耦合到处理器102的专用集成电路(ASIC)，专用集成电路(ASIC)被定制成基于被用来在触摸屏112上执行操作的手指和操作的特定组合识别和/或执行命令。因此，手势辨识部件108的例子不限于特定的硬件或软件实现。
[0033]在一些实施方式中，本文公开的部件例如手势辨识部件108可以读取影响由该部件执行的功能的参数。这些参数可以被物理存储在任何形式的合适的存储器中，包括易失性存储器例如RAM、或者非易失性存储器例如闪存或磁硬盘驱动器。另外，参数可以被逻辑存储在适当的数据结构中，例如通过用户模式应用定义的数据库或者文件，或者被逻辑存储在共享数据结构中，例如通过操作系统定义的应用注册表。另外，提供了关于系统和用户界面的一些例子，如可以使用触摸屏112实现，其允许外界实体修改参数并且从而配置该部件的动作。
[0034]数据储存器104包括被配置来存储非易失性指令和数据的计算机可读和可写的非易失性数据存储介质。另外，数据储存器104包含在处理器102的运行过程中存储数据的处理器存储器。在一些例子中，处理器存储器包含相对高性能的、易失性的、随机存取存储器例如动态随机存取存储器(DRAM)、静态存储器(SRAM)或同步DRAM。但是，处理器存储器可以包括具有足够的吞吐量和存储容量以支持本文描述的功能的、用于存储数据的任何设备，例如非易失性存储器。根据若干例子，处理器102在处理数据前使数据被从非易失性数据存储介质中读取到处理器存储器。在这些例子中，处理器102在处理完成后将数据从处理器存储器复制到非易失性存储介质。各个部件可以管理在非易失性存储介质和处理器存储器之间的数据移动，并且例子不限于特定数据管理部件。另外，例子不限于特定存储器、存储器系统或数据存储系统。
[0035]在数据储存器104上存储的指令可以包括可以被处理器102执行的可执行程序或其他代码。这些指令可以被永久性地作为编码信号存储，并且这些指令可以促使处理器102执行本文描述的功能。数据储存器104还可以包含在介质上或介质内记录的信息，并且处理器102在指令执行的过程中可以处理该信息。例如，除其它介质之外，该介质可以是光盘、磁盘或闪存，并且可以被永久地固定到触摸屏设备100或者可从触摸屏设备100移除。
[0036]手势辨识部件108可以被存储在能够在计算机可读介质中存储信息的任何逻辑构造中，除其他结构外，包括平面文件、索引文件、分层数据库、关系数据库或面向对象数据库。这些数据结构可以被特别地配置来节省存储空间或者增加数据交换性能。另外，各个例子将手势辨识部件108组织成特定的(且在一些情况下唯一的)结构以执行本文公开的功能。在这些例子中，数据结构被设置大小并且被布置成存储特定类型的数据的值，该数据例如为整数、浮点数、字符串、阵列、链表等。
[0037]如图1中所示，触摸屏设备100包括可选通信网络接口 106。可选通信网络接口部件106可以包括硬件部件、软件部件或者硬件和软件部件的组合。根据各个例子，可选网络接口 106的硬件和/或软件部件经由网络设备例如桥、路由器或集线器将处理器102耦合到计算机网络。可选网络接口 106可以支持多种标准和协议，其例子包括USB、TCP/IP、以太网、无线以太网，蓝牙(BLUETOOTH)、ZigBee、M_Bus、CAN-bus、IP、IPV6、UDP、DTN、HTTP、FTP、SNMP、CDMA、NMEA和GSM。在一些例子中，为保证数据传输的安全，触摸屏设备100能够使用多种安全措施来经由可选网络接口 106传输数据，这些安全措施包括例如TLS、SSL或VPNo在其他例子中，可选网络接口 106包括被配置用于无线通信的物理接口和被配置用于有线通信的物理接口。根据各个实施方式，可选网络接口 106实现在触摸屏100和包括计算机实现的眼镜与耳机的多种个人电子设备之间的通信。
[0038]如图1中所示，触摸屏设备100包含触摸屏112。触摸屏112接收用户的输入并且基于用户的输入产生手势信息。触摸屏112可以识别用户的手指与触摸屏112接触之处的一个或更多个接触点114。接触点114的位置、移动和/或持续可以被提供给例如手势辨识部件108作为手势信息的一部分。在一些实施方式中，触摸屏112扫描接触点114以读取与触摸屏112交互的用户的指纹并且还将该指纹包括在手势信息中。在一个例子中，触摸屏112通过从触摸屏的后侧投射红外光并且分析从触摸屏的前侧上的对象的手指反射的红外光来检测指纹。通过在触摸屏的后侧上的光传感器(例如摄像机)可以接收反射光。例如，作为触摸屏112使用的合适的设备包含由位于德国波茨坦的Hasso Plattner Institute开发的Fiber1触摸屏。手势辨识系统
[0039]本文公开的一些实施方式使用一个或多个计算机系统例如上文参考图1描述的触摸屏设备100实现手势辨识系统。图2示出示例手势辨识系统200。如图2中所示，手势辨识系统200包含手势辨识部件108和数据储存器104。数据储存器104包含命令数据库212、操作数据库214和手指标识(ID)数据库216。数据储存器104经由网络元件210耦合到手势辨识部件108。手势辨识部件108接收手势信息202并且可选地输出命令信息218。手势辨识部件108包含手势处理器208和可选地包含用来接收用户220的输入的用户接口206的接口部件204。
[0040]手势辨识系统200从例 如图1中的触摸屏112接收手势信息。手势信息202可以包含例如接触点例如接触点114的位置、以及接触的持续和/或接触点的任何移动。手势信息202还可以包含用来在触摸屏上执行手势的手指的指纹信息。在手势信息202中接收的指纹不限于在触摸屏上的指纹的图像。例如，在手势信息202中接收的指纹可以是手指上的关键特征的位置和/或表征指纹图案(例如弓形图案、环形图案和盘旋形图案)的信息。
[0041]数据储存器104存储信息以便于通过手势辨识部件108识别特定手势。在一些实施方式中，手指ID数据库216存储用于识别与注册用户的指纹关联的关键特征的信息。例如，存储的关键特征可以表示手指中的特定特征的位置和/或指纹图案(例如弓形图案、环形图案和盘旋形图案)。在手指注册过程中可以接收手指识别信息并将手指识别信息存储在手指ID数据库中。手指注册过程可以包含指令用户将手指放置到触摸屏上并且扫描触摸屏以捕获手指识别信息。操作数据库214存储多个被辨识的操作的操作识别信息。在一个例子中，操作识别信息可以包含特定接触点位置、移动、和/或与操作关联的持续图案。例如，图案可以包括通过接触点向右横穿屏幕表征的右滑操作。命令数据库212存储手指和操作与特定命令之间的关系。
[0042]在一些实施方式中，手势辨识部件108基于在手势中使用的特定手指和在手势中执行的操作，使用手势信息202来识别命令。例如，手势辨识部件108经由接口 204接收手势信息。手势处理器208可以将从手势信息202接收的指纹与在手指ID数据库216中存储的指纹匹配。手势处理器208可以继续将指示由用户执行的特定操作的信息与在操作数据库214中的一组被辨识的操作匹配。手势处理器208还可以通过将识别出的手指和操作对与在命令数据库212中存储的被识别的手指和操作对匹配来识别与识别出的手指和操作对关联的命令。手势处理器208可以执行在命令数据库212中识别出的命令或者可选地产生命令信息218。命令信息218可以指令单独的软件应用或者特定的硬件元件以执行操作。在一个例子中，与手指和操作对关联的命令捕获声音记录并且识别在声音记录中陈述的词组。在这个例子中，手势辨识部件可以产生命令信息以指令记录设备捕获声音记录。
[0043]图3A-3C示出与触摸屏交互的各个用户和例如通过手势辨识部件108确定的关联的命令。参见图3A，示出的图解300A示出在触摸屏112上接收的输入及产生的手指和操作对310A以及匹配的命令312A。触摸屏112从右食指接收在右滑308操作中在接触点114通过右食指指纹302示出的输入。手势处理部件108从触摸屏112接收手势信息并且将接收到的指纹与右食指匹配并且将接触点114的移动与右滑操作匹配以形成手指和操作对310A。手势辨识部件108还将手指和操作对310A与通过匹配的命令312A示出的向右滚动命令匹配。
[0044]图3B示出另一个图解300B，示出与在触摸屏112上的不同组的用户交互关联的匹配的命令312B。相对于图解300A，在右滑移动308中使用右中指而不是右食指。相应地，手势辨识部件基于右中指指纹304匹配右中指并且确定关联的手指和操作对310B。然后，手指和操作对310B被匹配到不同的命令，即放大命令(通过匹配的命令312B示出)。
[0045]图3C示出另一个图解300C，示出与在触摸屏112上的不同组的用户操作关联的匹配的命令312B。相对于图解300A和300B，在右滑移动308中使用右无名指而不是右食指或右中指。相应地，手势辨识部件基于右无名指指纹306匹配右无名指并且确定关联的手指和操作对310C。手指和操作对310C然后被匹配到通过匹配的命令312B示出的不同的命令，即打开属性命令。
[0046]手势辨识过程
[0047]如上参考图2所描述的，若干实施方式执行辨识手势的过程。在一些实施方式中，通过手势辨识系统例如上述参考图2描述的手势辨识系统200执行这些手势辨识过程。在图4中示出这样的手势辨识过程的一个例子。根据该例子，手势辨识过程400包含接收手势信息402、辨识至少一个手指404、可选地确定授权406、以及识别并执行命令408的动作。
[0048]在动作402中，手势辨识系统从例如触摸屏接收手势信息。手势信息可以包含指示在触摸屏上执行的特定操作的操作信息。例如，操作信息可以指示在触摸屏上的各个接触点的位置以及接触点的移动和持续。手势信息还包含手指识别信息。例如，手指识别信息可以包含在触摸屏上的操作中使用的手指或其任何部分的指纹。
[0049]在动作404中，手势辨识系统识别用来在触摸屏上做出特定手势的单个或多个手指。在一个实施方式中，手势辨识系统识别在接收到的手指识别信息中的指纹的关键特征。在该实施方式中，将关键特征与例如在手指ID数据库216中存储的一个或多个存储的关键特征组比较来进行匹配。如果手指识别信息不与任何已知手指匹配，手势辨识系统可以做出假设。例如，手势辨识系统可以假设使用食指来做出手势并且从而依然能够使未注册的用户以受限的模式与触摸屏交互。
[0050]在可选的动作406中，手势辨识系统确定用来做出手势的手指是否被授权做出该手势。在一个实施方式中，系统确定在接收的手指识别信息和注册用户的指纹之间是否存在成功的匹配。如果系统将接收到的手指识别信息匹配到注册用户的已知指纹，系统继续到动作408且识别并执行命令。否则，手势辨识系统终止该过程并且从而不允许任何未注册的用户与触摸屏交互。手势辨识系统还可以存储与注册用户的每个手指关联的访问信息。在一个例子中，访问信息指定特定的用户只能利用食指在触摸屏上做出手势。在这个例子中，如果特定用户利用食指执行手势则手势辨识系统可以继续到动作408，如果使用任何其他手指则终止该过程。
[0051]在动作408中，手势辨识系统识别并且执行与在触摸屏上执行的手势关联的命令。下面结合图5进一步描述在示例命令识别和执行过程中通过手势辨识系统执行的操作。
[0052]图5根据各个实施方式示出示例命令识别和执行过程500。该命令识别和执行过程500包含识别执行的操作502、将手指和操作对与命令匹配504、确定手指和操作对是否有效506以及执行命令508的动作。
[0053]在动作502中，手势辨识系统基于从触摸屏接收的操作信息识别所执行的操作。如上所述，操作信息可以包含在触摸屏上的接触点的位置、持续和移动。在这些实施方式中，手势辨识匹配位置、持续和移动来识别特定操作。在一个例子中，手势辨识系统可以接收指示单个接触点在屏幕上向右移动的信息。在这个例子中，手势辨识系统可以识别右滑操作。
[0054]在动作504中，手势辨识系统将手指和操作对与命令匹配。手势辨识系统可以通过将确定的手指和操作对与在存储器中存储的多个被识别的手指和操作对比较来匹配手指和操作对。
[0055]在动作506中，手势辨识系统确定手指和操作对是否有效。手势辨识系统可以通过确定在存储器中是否存储有匹配的手指和操作对来确定手指和操作对是否有效。如果手势辨识系统确定手指和操作对有效，手势辨识系统继续到动作508并且执行关联的命令。否则，手势辨识系统结束命令识别和执行过程500。
[0056]在动作508中，手势辨识系统执行与识别出的手指和操作对关联的命令。例如，该命令可以包含向右滚动、向左滚动、向下滚动、向上滚动、放大、缩小、以及打开属性。手势辨识系统可以向触摸屏设备的其他部件提供命令信息来执行命令。在一个例子中，与手指和操作对关联的命令捕获声音记录并且识别在声音记录中陈述的词组。在这个例子中，手势辨识部件可以产生命令信息来指令记录设备捕获声音记录。
[0057]过程400和500的每一个描述在【具体实施方式】中的动作的一个特定顺序。通过或使用如本文介绍的专门配置的一个或多个计算机系统可以执行在这些过程中的动作。一些动作是可选的并且因此根据一个或多个实施方式可以被省略掉。另外，可以改变动作的次序，或者可以增加其他动作而不背离本文描述的实施方式的范围。另外，如上所述，在至少一个实施方式中，在特定的、专门配置的机器一所谓的根据本文公开的例子和实施方式配置的手势辨识系统一上执行这些动作。
[0058]具有手势辨识的示例用户界面
[0059]图6示出具有与本文公开的各个实施方式一致的手势辨识的示例用户界面600。用户界面600包含用于采暖、通风和空调(HVAC)系统的控制面板602。控制面板602包含多个控制元件标签604、控制元件606、和控制元件606的状态的图画表示608。
[0060]在各个实施方式中，控制面板602在单个屏幕上向例如HVAC技师呈现多个HVAC部件 信息和控制元件。控制面板602控制多个HVAC部件的状态，HVAC部件包括例如排气(EA)阻尼器、回风(RA)阻尼器、外部空气(0A)阻尼器、过滤器、冷水(CHW)阀和热水(HW)阀。控制面板602还显示来自各个仪器的信息，包括RA温度、RA湿度、RA 二氧化碳(C02)浓度、供气(SA)温度和SA静态压力。
[0061]在一个实施方式中，与控制面板602中的各个控制元件606的用户交互可以触发手势辨识系统执行三个不同命令中的一个。例如，三个不同命令可以包含与食指触击操作关联的选择命令、与中指触击操作关联的声音辨识编辑命令、和与无名指触击操作关联的保存命令。在这个实施方式中，手势辨识系统可以检测在EA阻尼器控制元件上的食指触击并且选择控制元件。手势辨识系统还可以检测在EA阻尼器控制元件上的中指触击并且向触摸屏设备发送指令(例如命令信息)以记录音频，检测措辞，以及在控制元件中显示检测的措辞。手势辨识系统还可检测在EA阻尼器控控制元件上的无名指触击并且将检测到和显示的措辞保存为控制元件的新状态。应当理解，在本实施方式中描述的命令可易于应用到其他控制面板显示器。例如，还可以在包含相似的多个控制元件606和它们的关联的标签604的电子制表软件中使用描述的命令。
[0062]示出HVAC系统的示例控制面板602的用户界面600只是手势辨识系统的一个特定应用。手势辨识系统可以相似地应用到包含例如信息数据中心、电力分配系统、医疗保健系统、旅店管理系统等其他系统的控制面板。
[0063]另外，手势辨识系统可以与系统控制面板分离地应用到触摸屏系统。在一个实施方式中，利用触摸屏键盘实现手势辨识系统以便于将信息输入触摸屏设备。在这个实施方式中，触摸屏设备呈现具有减少的数量的键的弦形键盘(例如速记类型机器键盘)，其中在单个操作(例如通过一次触击多个键)中按照发音拼写单词。弦形键盘将字母分成多个组，其中每个组的字母与一个或更多个手指关联。例如，7个辅音可以与左手关联来发出声音，4个元音可以与左拇指和右拇指关联，以及10个辅音可以与右手关联来结束声音。手势辨识系统基于在触摸屏上使用的特定手指和触击的位置确定哪个键或者哪些键的组合被按压。弦形键盘利用有限的屏幕空间有益地改进了在触摸屏设备上的打字速度和准确性。
[0064]至此已经描述了至少一个例子的若干方面，应当理解，对于本领域技术人员来说容易想到各种变形、修改和改进。例如，本文公开的例子还可以在其他背景中使用。旨在将这些变形、修改和改进作为本公开的一部分，并在旨在落在本文介绍的例子的范围内。相应地，前面描述地说明书和附图仅是作为例子。
【主权项】
1.一种手势辨识系统，包括: 存储器，其用于存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息； 至少一个处理器，其耦合到所述存储器；以及 手势辨识部件，其能够通过所述至少一个处理器执行并且被配置成: 从触摸屏接收包括至少一个指纹和操作信息的手势信息； 基于所述至少一个指纹和所述手指识别信息识别所述至少一个用户的所述多个手指中的至少一个手指； 基于所述操作信息识别执行的操作； 将所述操作和所述至少一个手指与所述存储器中存储的所述至少一个手指和操作对进行匹配；以及 执行与所述至少一个手指和操作对关联的所述命令。2.如权利要求1所述的系统，其中所述手势辨识部件还被配置成:通过唯一地识别所述至少一个用户的右食指、右中指、右无名指、右小指、左食指、左中指、左无名指和左小指中的至少一个来唯一地识别所述至少一个手指。3.如权利要求1所述的系统，其中所述手指识别信息包括与所述多个手指中的每个手指关联的多个关键特征。4.如权利要求3所述的系统，其中所述手势辨识部件还被配置成:从所述至少一个指纹提取关键特征，并且将所提取的关键特征与存储的与所述多个手指中的每个手指关联的关键特征进行匹配。5.如权利要求1所述的系统，其中所述操作包括定向滑动操作、触击操作、以及按住操作中的至少一种。6.如权利要求1所述的系统，其中所述操作信息包括在所述触摸屏上的一个或多个接触点的位置和与所述至少一个手指的移动相关的信息。7.如权利要求6所述的系统，其中所述存储器存储识别多个操作的操作识别信息，并且其中所述手势辨识部件还被配置成至少部分地通过将所述位置和与移动相关的信息与所述存储器中存储的操作识别信息匹配来识别执行的操作。8.如权利要求1所述的系统，其中所述命令包括向右滚动、向左滚动、向下滚动、向上滚动、放大、缩小、以及打开属性中的至少一种。9.如权利要求1所述的系统，其中所述手势处理部件还被配置成经由所述触摸屏向所述至少一个用户呈现包括具有多个控制元件的控制面板的显示器。10.如权利要求9所述的系统，其中所述多个控制元件中的每个控制元件与至少两个命令关联，所述至少两个命令中的每个命令与唯一的手指和操作对关联。11.如权利要求10所述的系统，其中所述至少两个命令包括用于改变相应控制元件的状态的第一命令和用于存储所述相应控制元件的状态的第二命令。12.如权利要求11所述的系统，其中所述第一命令与食指和触击操作关联并且所述第二命令与中指和触击操作关联。13.如权利要求9所述的系统，其中所述控制面板与建筑采暖、通风和空调(HVAC)系统关联。14.一种辨识手势的方法，包括: 经由耦合到至少一个处理器的存储器存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息； 通过能够由所述至少一个处理器执行的手势辨识部件接收包括至少一个指纹和操作信息的手势信息； 基于所述至少一个指纹和所述手指识别信息，通过所述手势辨识部件识别所述至少一个用户的所述多个手指中的至少一个手指； 通过所述手势辨识部件基于所述操作信息识别执行的操作； 通过所述手势辨识部件将所述操作和所述至少一个手指与所述存储器中存储的所述至少一个手指和操作对匹配；以及 通过所述手势辨识部件执行与所述至少一个手指和操作对关联的所述命令。15.如权利要求14所述的方法，其中，识别所述至少一个手指包括识别所述至少一个用户的右食指、右中指、以及右无名指和右小指中的至少一个。16.如权利要求14所述的方法，其中，存储所述手指识别信息包括存储与所述多个手指中的每个手指关联的多个关键特征。17.如权利要求16所述的方法，其中，唯一地识别所述至少一个手指包括从所述至少一个指纹提取关键特征和将所提取的关键特征与存储的与所述多个手指中的每个手指关联的关键特征进行匹配。18.如权利要求14所述的方法，其中，接收所述操作信息包括接收在所述触摸屏上的一个或多个接触点的位置和与所述至少一个手指的移动相关的信息。19.如权利要求18所述的方法，还包括存储识别多个操作的操作识别信息，并且其中，识别执行的操作包括将所述位置和与移动相关的信息与所述操作识别信息进行匹配。20.—种触摸屏设备，包括: 触摸屏，其被构造成响应于从至少一个用户接收输入来产生手势信息； 存储器，其存储识别所述至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息； 至少一个处理器，其耦合到所述存储器和所述触摸屏；以及 手势辨识部件，其能够通过所述至少一个处理器执行并且被配置成: 从所述触摸屏接收包括至少一个指纹和操作信息的所述手势信息； 基于所述至少一个指纹和所述手指识别信息识别所述至少一个用户的所述多个手指中的至少一个手指； 基于所述操作信息识别执行的操作； 将所述操作和所述至少一个手指与所述存储器中存储的所述至少一个手指和操作对匹配；以及 执行与所述至少一个手指和操作对关联的所述命令。
【专利摘要】本发明提供了用于手势辨识的系统和方法。根据各个方面，提供一种手势辨识系统。该手势辨识系统包含用于存储识别用户的多个手指的手指识别信息和将命令与手指和操作对关联的命令信息的存储器、耦合到存储器的至少一个处理器、以及能够通过至少一个处理器执行的手势辨识部件。该手势辨识部件被配置成：从触摸屏接收包括指纹和操作信息的手势信息；基于指纹和手指识别信息识别用户的多个手指中的手指；基于操作信息识别执行的操作；将操作和手指与在存储器中存储的手指和操作对匹配；以及执行与手指和操作对关联的命令。
【IPC分类】G06F3/0488
【公开号】CN105487792
【申请号】CN201510644081
【发明人】迈克尔·摩尔利, 拉蒙纳·伊森·哈奇, 丹尼尔·沃尔顿, 亚当·梅兰
【申请人】施耐德电气建筑有限公司
【公开日】2016年4月13日
【申请日】2015年10月8日
【公告号】EP3012731A1, US20160098087
【技术领域】
[0001]本发明的技术领域整体上涉及触摸屏设备的手势辨识。
【背景技术】
[0002]触摸屏设备是具有触摸屏用户界面的电子设备。触摸屏设备一般测量屏幕表面附近的电容的变化来识别人接触的位置。触摸屏设备一般响应于检测到在屏幕上的特定位置的人的接触而执行操作。例如，响应于检测到与关闭窗口按钮相同位置上的人的接触，触摸屏设备可以关闭窗口。但是，检测人的接触的常规方法使触摸屏设备能够识别触摸屏上的接触点的位置。
【发明内容】
[0003]根据一方面，提供一种手势识别系统。手势识别系统包括用于存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息的存储器、耦合到存储器的至少一个处理器、以及能够通过至少一个处理器执行的手势辨识部件。手势辨识部件被配置成从触摸屏接收包括至少一个指纹和操作信息的手势信息；基于至少一个指纹和手指识别信息识别至少一个用户的多个手指中的至少一个手指；基于操作信息识别执行的操作；将操作和至少一个手指与在存储器中存储的至少一个手指和操作对匹配；以及执行与至少一个手指和操作对关联的命令。
[0004]在一些实施方式中，手势辨识部件还被配置成:通过唯一地识别至少一个用户的右食指、右中指、右无名指、右小指、左食指、左中指、左无名指和左小指中的至少一个来唯一地识别至少一个手指。
[0005]在一个实施方式中，手指识别信息包括与多个手指中的每个手指关联的多个关键特征。在该实施方式中，手势辨识部件还可以被配置成:从至少一个指纹中提取关键特征，并且将提取到的关键特征与存储的与多个手指中的每个手指关联的关键特征匹配。
[0006]在一些实施方式中，操作包括定向滑动操作、触击操作、以及按住操作中的至少一种。在一个实施方式中，该命令包括向右滚动、向左滚动、向下滚动、向上滚动、放大、缩小、以及打开属性中的至少一种。
[0007]在一个实施方式中，操作信息包括在触摸屏上的一个或多个接触点的位置和与至少一个手指的移动相关的信息。在该实施方式中，存储器可以存储识别多个操作的操作识别信息并且手势辨识部件还可以被配置成至少部分地通过将位置和移动相关的信息与存储器中存储的操作识别信息匹配来识别执行的操作。
[0008]在一个实施方式中，手势处理部件还被配置成经由触摸屏向至少一个用户呈现包括具有多个控制元件的控制面板的显示器。在该实施方式中，多个控制元件中的每个元件可以与至少两个命令关联，至少两个命令中的每个命令与唯一的手指和操作对关联。例如，至少两个命令可以包括用于改变相应控制元件的状态的第一命令和用于存储相应控制元件的状态的第二命令。第一命令可以与食指和触击操作关联并且第二命令与中指和触击操作关联。
[0009]在一个实施方式中，手势处理部件还被配置成:经由触摸屏向至少一个用户呈现包括具有多个控制元件的、与建筑采暖、通风和空调(HVAC)系统关联的控制面板的显示器。
[0010]根据一个方面，提供一种辨识手势的方法。该方法包括:经由耦合到至少一个处理器的存储器来存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息；通过能够由至少一个处理器执行的手势辨识部件来接收包括至少一个指纹和操作信息的手势信息；通过手势辨识部件来基于至少一个指纹和手指识别信息识别至少一个用户的多个手指中的至少一个手指；通过手势辨识部件来基于操作信息识别执行的操作；通过手势辨识部件来将操作和至少一个手指与在存储器中存储的至少一个手指和操作对匹配；以及通过手势辨识部件来执行与至少一个手指和操作对关联的命令。
[0011]在一个实施方式中，识别至少一个手指包括识别至少一个用户的右食指、右中指、以及右无名指和右小指中的至少一个。
[0012]在一个实施方式中，存储手指识别信息包括存储与多个手指中的每个手指关联的多个关键特征。在该实施方式中，唯一地识别至少一个手指可以包括从至少一个指纹中提取关键特征和将提取的关键特征与存储的多个手指中的每个手指关联的关键特征匹配。
[0013]在一个实施方式中，接收操作信息包括接收触摸屏上的一个或多个接触点的位置和与所述至少一个手指的移动相关的信息。在该实施方式中，该方法还可以包括存储识别多个操作的操作识别信息，并且识别被执行的操作包括将位置和移动相关的信息与操作识别信息匹配。
[0014]根据一个方面，提供一种触摸屏设备。该触摸屏设备包括:被构造成响应于从至少一个用户接收输入来产生手势信息的触摸屏；用于存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息的存储器；耦合到存储器和触摸屏的至少一个处理器；以及能够通过至少一个处理器执行的手势辨识部件。手势辨识部件被配置成:从触摸屏接收包括至少一个指纹和操作信息的手势信息；基于至少一个指纹和手指识别信息识别至少一个用户的多个手指中的至少一个手指；基于操作信息识别执行的操作；将操作和至少一个手指与在存储器中存储的至少一个手指和操作对匹配；以及执行与至少一个手指和操作对关联的命令。
[0015]下面详细地介绍其他方面、实施方式以及这些示例的方面和实施方式的优点。进一步地，应当理解，前述信息和下面的详细的描述都只是各个方面和实施方式的说明性的例子，并且旨在提供用于理解要求保护的主题的本质和特点的概述或框架。对例子和实施方式的特定的提及，例如“实施方式”、“另一实施方式”、“一些实施方式”、“其他实施方式”、“可替代的实施方式”、“各种实施方式”、“一个实施方式”、“至少一个实施方式”、“这个和其他实施方式”等，其不一定彼此排斥并且旨在指示结合实施方式或例子描述的并且可以被包括在该实施方式或例子和其它实施方式或例子中的特定特征、结构、或者特性。本文中这些术语的出现不一定都指的是相同的实施方式或例子。
[0016]另外，在本文和通过引用并入到本文中的文件中对术语的使用不一致的情况下，在被并入的引用文件中的术语的使用是对本文中的术语的使用的补充；对于矛盾的不一致，以本文中的术语使用为准。另外，附图被包括来提供对各个方面和实施方式的说明和进一步的理解，并且被包括在说明书内且构成说明书的一部分。附图与说明书中的其余部分一起用于解释所描述和要求保护的方面和实施方式的原理和操作。
【附图说明】
[0017]下面结合附图介绍至少一个实施方式的各个方面，该附图不是按比例绘制。附图被包含来提供对各个方面和实施方式的说明和进一步的理解，并且被包含在本说明书内且构成说明书的一部分，但是不旨在作为对任何特定实施方式的限制的定义。附图与说明书中的其余部分一起用于解释所描述和要求保护的方面和实施方式的原理和操作。在附图中，通过相似的编号表示在每个附图中示出的每个一致的或近似一致的部件。出于清楚的目的，没有在每一个附图中将每一个部件标出。在附图中:
[0018]图1是根据某些实施方式的示例触摸屏设备的框图；
[0019]图2是根据某些实施方式的示例手势辨识系统的框图；
[0020]图3A-3C是根据某些实施方式示出基于用户交互确定的各个命令的图解；
[0021]图4是根据某些实施方式的示例手势辨识过程的流程图；
[0022]图5是根据某些实施方式的示例命令识别和执行过程的流程图；以及
[0023]图6是根据某些实施方式的具有手势辨识的示例用户界面。
【具体实施方式】
[0024]本文公开的一些实施方式包括用于手势辨识的装置和过程。根据各个实施方式，提供一种辨识由用户在触摸屏上执行的特定手势的手势辨识系统。手势辨识系统从触摸屏接收手势信息，并且识别被使用来与触摸屏交互的特定手指或者手指的组合和在触摸屏上执行的操作。手势辨识系统将被使用来执行操作的手指以及操作本身的特定组合与特定命令匹配。手势辨识系统可以执行匹配的命令和/或将匹配的命令提供给另一个系统或软件应用。使用手指和操作组合来执行特定命令有益地增加了用户可以利用用户界面中的单个控制元件执行的命令的数量。例如，可以通过将四个命令中的每个命令分别与通过四个手指中的一个手指执行的触击操作关联来将四个命令与单个按钮的触击操作关联。在用户界面中可利用的命令密度增加，从而减少使用户能够执行给定数量的命令所需要的屏幕空间的量。
[0025]本文介绍的方法和系统的例子不限于在下面的说明书中或者在附图中示出的部件的构造和布置的细节的应用。能够在其他实施方式中实施这些方法和系统并且以各种方式实践和或执行这些方法和系统。仅出于说明的目的，本文提供特定实现的例子，而不是进行限制。具体地 ，结合任何一个或多个例子而介绍的动作、部件、元件和特征不是要被在任何其他例子中的相似角色排斥。
[0026]而且，本文使用的词组和术语是出于说明的目的，并且不应当被当作限制。以单数方式引用的本文的系统和方法的例子、实施方式、部件、元件或动作的任何引用也可以包含包括复数的实施方式，以复数方式引用的本文的任何实施方式、部件、元件或动作的任何引用也可以包含仅包括单数的实施方式。以单数或复数形式的引用不是要限制本文公开的系统或方法、它们的部件、动作或元件。“包括(including) ”、“包括(comprising) ”、“具有(having) ”、“包含(containing) ”、“含有(involving) ”以及其变形在本文的使用意味着包含列在其后的术语和其等效物以及其他术语。对术语“或者”的引用可以被解释成包含性的，使得使用“或者”描述的任何术语可以指示单个、多余一个、以及全部被描述的术语中的任意一个。另外，在本文和通过引用并入到本文中的文件对术语的使用不一致的情况下，在被并入的引用文件中的术语的使用是对该文件的术语的使用补充，对于矛盾的不一致，以本文中的术语的使用为准。
[0027]触摸屏设备
[0028]图1示出触摸屏设备100，触摸屏设备100被配置来实施手势辨识系统，例如下面参考图2描述的手势辨识系统200。如图1中所示，触摸屏设备100包括处理器102、手势辨识部件108、数据储存器104、触摸屏112、和可选网络接口 106。
[0029]根据图1中示出的实施方式，处理器102耦合到数据储存器104、可选网络接口106、手势辨识部件108、和触摸屏112。处理器102执行一系列指令，产生在数据存储器104中存储的和从数据存储器104检索的被操作的数据。根据各种例子，处理器102是市场上在售的处理器，例如由 Texaslnstruments、Intel、AMD、Sun、IBM、Motorola、Freescale 和ARM Holdings制造的处理器。但是，处理器102可以是市场上在售的或者专门制造的处理器、多处理器或控制器中的任意类型。
[0030]另外，在若干实施方式中，处理器102被配置成执行常规的操作系统。在这些例子中，操作系统可以为应用软件提供平台服务，例如下面进一步介绍的手势辨识部件108的一些例子。这些平台服务可以包括交互过程和网络通信、文件系统管理和标准数据库操作。可以使用许多操作系统中的一种或多种，并且例子不限于任何特定操作系统或者操作系统特性。
[0031]在一些实施方式中，手势辨识部件108被配置为基于用来在触摸屏112上执行操作的手指和操作的特定组合识别和/或执行命令。下面参考手势辨识过程部分以及还有图4和5进一步说明通过手势辨识部件108执行的过程的具体例子。
[0032]可以使用硬件或硬件和软件的组合来实现手势辨识部件108。例如，在一个例子中，手势辨识部件108被实现为被安装在数据储存器104内并由处理器102执行的软件部件。在这个例子中，在手势辨识部件108内包含的指令对处理器102编程以基于被用来在触摸屏112上执行操作的手指和操作的特定组合识别和/或执行命令。在其他例子中，手势辨识部件108可以是耦合到处理器102的专用集成电路(ASIC)，专用集成电路(ASIC)被定制成基于被用来在触摸屏112上执行操作的手指和操作的特定组合识别和/或执行命令。因此，手势辨识部件108的例子不限于特定的硬件或软件实现。
[0033]在一些实施方式中，本文公开的部件例如手势辨识部件108可以读取影响由该部件执行的功能的参数。这些参数可以被物理存储在任何形式的合适的存储器中，包括易失性存储器例如RAM、或者非易失性存储器例如闪存或磁硬盘驱动器。另外，参数可以被逻辑存储在适当的数据结构中，例如通过用户模式应用定义的数据库或者文件，或者被逻辑存储在共享数据结构中，例如通过操作系统定义的应用注册表。另外，提供了关于系统和用户界面的一些例子，如可以使用触摸屏112实现，其允许外界实体修改参数并且从而配置该部件的动作。
[0034]数据储存器104包括被配置来存储非易失性指令和数据的计算机可读和可写的非易失性数据存储介质。另外，数据储存器104包含在处理器102的运行过程中存储数据的处理器存储器。在一些例子中，处理器存储器包含相对高性能的、易失性的、随机存取存储器例如动态随机存取存储器(DRAM)、静态存储器(SRAM)或同步DRAM。但是，处理器存储器可以包括具有足够的吞吐量和存储容量以支持本文描述的功能的、用于存储数据的任何设备，例如非易失性存储器。根据若干例子，处理器102在处理数据前使数据被从非易失性数据存储介质中读取到处理器存储器。在这些例子中，处理器102在处理完成后将数据从处理器存储器复制到非易失性存储介质。各个部件可以管理在非易失性存储介质和处理器存储器之间的数据移动，并且例子不限于特定数据管理部件。另外，例子不限于特定存储器、存储器系统或数据存储系统。
[0035]在数据储存器104上存储的指令可以包括可以被处理器102执行的可执行程序或其他代码。这些指令可以被永久性地作为编码信号存储，并且这些指令可以促使处理器102执行本文描述的功能。数据储存器104还可以包含在介质上或介质内记录的信息，并且处理器102在指令执行的过程中可以处理该信息。例如，除其它介质之外，该介质可以是光盘、磁盘或闪存，并且可以被永久地固定到触摸屏设备100或者可从触摸屏设备100移除。
[0036]手势辨识部件108可以被存储在能够在计算机可读介质中存储信息的任何逻辑构造中，除其他结构外，包括平面文件、索引文件、分层数据库、关系数据库或面向对象数据库。这些数据结构可以被特别地配置来节省存储空间或者增加数据交换性能。另外，各个例子将手势辨识部件108组织成特定的(且在一些情况下唯一的)结构以执行本文公开的功能。在这些例子中，数据结构被设置大小并且被布置成存储特定类型的数据的值，该数据例如为整数、浮点数、字符串、阵列、链表等。
[0037]如图1中所示，触摸屏设备100包括可选通信网络接口 106。可选通信网络接口部件106可以包括硬件部件、软件部件或者硬件和软件部件的组合。根据各个例子，可选网络接口 106的硬件和/或软件部件经由网络设备例如桥、路由器或集线器将处理器102耦合到计算机网络。可选网络接口 106可以支持多种标准和协议，其例子包括USB、TCP/IP、以太网、无线以太网，蓝牙(BLUETOOTH)、ZigBee、M_Bus、CAN-bus、IP、IPV6、UDP、DTN、HTTP、FTP、SNMP、CDMA、NMEA和GSM。在一些例子中，为保证数据传输的安全，触摸屏设备100能够使用多种安全措施来经由可选网络接口 106传输数据，这些安全措施包括例如TLS、SSL或VPNo在其他例子中，可选网络接口 106包括被配置用于无线通信的物理接口和被配置用于有线通信的物理接口。根据各个实施方式，可选网络接口 106实现在触摸屏100和包括计算机实现的眼镜与耳机的多种个人电子设备之间的通信。
[0038]如图1中所示，触摸屏设备100包含触摸屏112。触摸屏112接收用户的输入并且基于用户的输入产生手势信息。触摸屏112可以识别用户的手指与触摸屏112接触之处的一个或更多个接触点114。接触点114的位置、移动和/或持续可以被提供给例如手势辨识部件108作为手势信息的一部分。在一些实施方式中，触摸屏112扫描接触点114以读取与触摸屏112交互的用户的指纹并且还将该指纹包括在手势信息中。在一个例子中，触摸屏112通过从触摸屏的后侧投射红外光并且分析从触摸屏的前侧上的对象的手指反射的红外光来检测指纹。通过在触摸屏的后侧上的光传感器(例如摄像机)可以接收反射光。例如，作为触摸屏112使用的合适的设备包含由位于德国波茨坦的Hasso Plattner Institute开发的Fiber1触摸屏。手势辨识系统
[0039]本文公开的一些实施方式使用一个或多个计算机系统例如上文参考图1描述的触摸屏设备100实现手势辨识系统。图2示出示例手势辨识系统200。如图2中所示，手势辨识系统200包含手势辨识部件108和数据储存器104。数据储存器104包含命令数据库212、操作数据库214和手指标识(ID)数据库216。数据储存器104经由网络元件210耦合到手势辨识部件108。手势辨识部件108接收手势信息202并且可选地输出命令信息218。手势辨识部件108包含手势处理器208和可选地包含用来接收用户220的输入的用户接口206的接口部件204。
[0040]手势辨识系统200从例 如图1中的触摸屏112接收手势信息。手势信息202可以包含例如接触点例如接触点114的位置、以及接触的持续和/或接触点的任何移动。手势信息202还可以包含用来在触摸屏上执行手势的手指的指纹信息。在手势信息202中接收的指纹不限于在触摸屏上的指纹的图像。例如，在手势信息202中接收的指纹可以是手指上的关键特征的位置和/或表征指纹图案(例如弓形图案、环形图案和盘旋形图案)的信息。
[0041]数据储存器104存储信息以便于通过手势辨识部件108识别特定手势。在一些实施方式中，手指ID数据库216存储用于识别与注册用户的指纹关联的关键特征的信息。例如，存储的关键特征可以表示手指中的特定特征的位置和/或指纹图案(例如弓形图案、环形图案和盘旋形图案)。在手指注册过程中可以接收手指识别信息并将手指识别信息存储在手指ID数据库中。手指注册过程可以包含指令用户将手指放置到触摸屏上并且扫描触摸屏以捕获手指识别信息。操作数据库214存储多个被辨识的操作的操作识别信息。在一个例子中，操作识别信息可以包含特定接触点位置、移动、和/或与操作关联的持续图案。例如，图案可以包括通过接触点向右横穿屏幕表征的右滑操作。命令数据库212存储手指和操作与特定命令之间的关系。
[0042]在一些实施方式中，手势辨识部件108基于在手势中使用的特定手指和在手势中执行的操作，使用手势信息202来识别命令。例如，手势辨识部件108经由接口 204接收手势信息。手势处理器208可以将从手势信息202接收的指纹与在手指ID数据库216中存储的指纹匹配。手势处理器208可以继续将指示由用户执行的特定操作的信息与在操作数据库214中的一组被辨识的操作匹配。手势处理器208还可以通过将识别出的手指和操作对与在命令数据库212中存储的被识别的手指和操作对匹配来识别与识别出的手指和操作对关联的命令。手势处理器208可以执行在命令数据库212中识别出的命令或者可选地产生命令信息218。命令信息218可以指令单独的软件应用或者特定的硬件元件以执行操作。在一个例子中，与手指和操作对关联的命令捕获声音记录并且识别在声音记录中陈述的词组。在这个例子中，手势辨识部件可以产生命令信息以指令记录设备捕获声音记录。
[0043]图3A-3C示出与触摸屏交互的各个用户和例如通过手势辨识部件108确定的关联的命令。参见图3A，示出的图解300A示出在触摸屏112上接收的输入及产生的手指和操作对310A以及匹配的命令312A。触摸屏112从右食指接收在右滑308操作中在接触点114通过右食指指纹302示出的输入。手势处理部件108从触摸屏112接收手势信息并且将接收到的指纹与右食指匹配并且将接触点114的移动与右滑操作匹配以形成手指和操作对310A。手势辨识部件108还将手指和操作对310A与通过匹配的命令312A示出的向右滚动命令匹配。
[0044]图3B示出另一个图解300B，示出与在触摸屏112上的不同组的用户交互关联的匹配的命令312B。相对于图解300A，在右滑移动308中使用右中指而不是右食指。相应地，手势辨识部件基于右中指指纹304匹配右中指并且确定关联的手指和操作对310B。然后，手指和操作对310B被匹配到不同的命令，即放大命令(通过匹配的命令312B示出)。
[0045]图3C示出另一个图解300C，示出与在触摸屏112上的不同组的用户操作关联的匹配的命令312B。相对于图解300A和300B，在右滑移动308中使用右无名指而不是右食指或右中指。相应地，手势辨识部件基于右无名指指纹306匹配右无名指并且确定关联的手指和操作对310C。手指和操作对310C然后被匹配到通过匹配的命令312B示出的不同的命令，即打开属性命令。
[0046]手势辨识过程
[0047]如上参考图2所描述的，若干实施方式执行辨识手势的过程。在一些实施方式中，通过手势辨识系统例如上述参考图2描述的手势辨识系统200执行这些手势辨识过程。在图4中示出这样的手势辨识过程的一个例子。根据该例子，手势辨识过程400包含接收手势信息402、辨识至少一个手指404、可选地确定授权406、以及识别并执行命令408的动作。
[0048]在动作402中，手势辨识系统从例如触摸屏接收手势信息。手势信息可以包含指示在触摸屏上执行的特定操作的操作信息。例如，操作信息可以指示在触摸屏上的各个接触点的位置以及接触点的移动和持续。手势信息还包含手指识别信息。例如，手指识别信息可以包含在触摸屏上的操作中使用的手指或其任何部分的指纹。
[0049]在动作404中，手势辨识系统识别用来在触摸屏上做出特定手势的单个或多个手指。在一个实施方式中，手势辨识系统识别在接收到的手指识别信息中的指纹的关键特征。在该实施方式中，将关键特征与例如在手指ID数据库216中存储的一个或多个存储的关键特征组比较来进行匹配。如果手指识别信息不与任何已知手指匹配，手势辨识系统可以做出假设。例如，手势辨识系统可以假设使用食指来做出手势并且从而依然能够使未注册的用户以受限的模式与触摸屏交互。
[0050]在可选的动作406中，手势辨识系统确定用来做出手势的手指是否被授权做出该手势。在一个实施方式中，系统确定在接收的手指识别信息和注册用户的指纹之间是否存在成功的匹配。如果系统将接收到的手指识别信息匹配到注册用户的已知指纹，系统继续到动作408且识别并执行命令。否则，手势辨识系统终止该过程并且从而不允许任何未注册的用户与触摸屏交互。手势辨识系统还可以存储与注册用户的每个手指关联的访问信息。在一个例子中，访问信息指定特定的用户只能利用食指在触摸屏上做出手势。在这个例子中，如果特定用户利用食指执行手势则手势辨识系统可以继续到动作408，如果使用任何其他手指则终止该过程。
[0051]在动作408中，手势辨识系统识别并且执行与在触摸屏上执行的手势关联的命令。下面结合图5进一步描述在示例命令识别和执行过程中通过手势辨识系统执行的操作。
[0052]图5根据各个实施方式示出示例命令识别和执行过程500。该命令识别和执行过程500包含识别执行的操作502、将手指和操作对与命令匹配504、确定手指和操作对是否有效506以及执行命令508的动作。
[0053]在动作502中，手势辨识系统基于从触摸屏接收的操作信息识别所执行的操作。如上所述，操作信息可以包含在触摸屏上的接触点的位置、持续和移动。在这些实施方式中，手势辨识匹配位置、持续和移动来识别特定操作。在一个例子中，手势辨识系统可以接收指示单个接触点在屏幕上向右移动的信息。在这个例子中，手势辨识系统可以识别右滑操作。
[0054]在动作504中，手势辨识系统将手指和操作对与命令匹配。手势辨识系统可以通过将确定的手指和操作对与在存储器中存储的多个被识别的手指和操作对比较来匹配手指和操作对。
[0055]在动作506中，手势辨识系统确定手指和操作对是否有效。手势辨识系统可以通过确定在存储器中是否存储有匹配的手指和操作对来确定手指和操作对是否有效。如果手势辨识系统确定手指和操作对有效，手势辨识系统继续到动作508并且执行关联的命令。否则，手势辨识系统结束命令识别和执行过程500。
[0056]在动作508中，手势辨识系统执行与识别出的手指和操作对关联的命令。例如，该命令可以包含向右滚动、向左滚动、向下滚动、向上滚动、放大、缩小、以及打开属性。手势辨识系统可以向触摸屏设备的其他部件提供命令信息来执行命令。在一个例子中，与手指和操作对关联的命令捕获声音记录并且识别在声音记录中陈述的词组。在这个例子中，手势辨识部件可以产生命令信息来指令记录设备捕获声音记录。
[0057]过程400和500的每一个描述在【具体实施方式】中的动作的一个特定顺序。通过或使用如本文介绍的专门配置的一个或多个计算机系统可以执行在这些过程中的动作。一些动作是可选的并且因此根据一个或多个实施方式可以被省略掉。另外，可以改变动作的次序，或者可以增加其他动作而不背离本文描述的实施方式的范围。另外，如上所述，在至少一个实施方式中，在特定的、专门配置的机器一所谓的根据本文公开的例子和实施方式配置的手势辨识系统一上执行这些动作。
[0058]具有手势辨识的示例用户界面
[0059]图6示出具有与本文公开的各个实施方式一致的手势辨识的示例用户界面600。用户界面600包含用于采暖、通风和空调(HVAC)系统的控制面板602。控制面板602包含多个控制元件标签604、控制元件606、和控制元件606的状态的图画表示608。
[0060]在各个实施方式中，控制面板602在单个屏幕上向例如HVAC技师呈现多个HVAC部件 信息和控制元件。控制面板602控制多个HVAC部件的状态，HVAC部件包括例如排气(EA)阻尼器、回风(RA)阻尼器、外部空气(0A)阻尼器、过滤器、冷水(CHW)阀和热水(HW)阀。控制面板602还显示来自各个仪器的信息，包括RA温度、RA湿度、RA 二氧化碳(C02)浓度、供气(SA)温度和SA静态压力。
[0061]在一个实施方式中，与控制面板602中的各个控制元件606的用户交互可以触发手势辨识系统执行三个不同命令中的一个。例如，三个不同命令可以包含与食指触击操作关联的选择命令、与中指触击操作关联的声音辨识编辑命令、和与无名指触击操作关联的保存命令。在这个实施方式中，手势辨识系统可以检测在EA阻尼器控制元件上的食指触击并且选择控制元件。手势辨识系统还可以检测在EA阻尼器控制元件上的中指触击并且向触摸屏设备发送指令(例如命令信息)以记录音频，检测措辞，以及在控制元件中显示检测的措辞。手势辨识系统还可检测在EA阻尼器控控制元件上的无名指触击并且将检测到和显示的措辞保存为控制元件的新状态。应当理解，在本实施方式中描述的命令可易于应用到其他控制面板显示器。例如，还可以在包含相似的多个控制元件606和它们的关联的标签604的电子制表软件中使用描述的命令。
[0062]示出HVAC系统的示例控制面板602的用户界面600只是手势辨识系统的一个特定应用。手势辨识系统可以相似地应用到包含例如信息数据中心、电力分配系统、医疗保健系统、旅店管理系统等其他系统的控制面板。
[0063]另外，手势辨识系统可以与系统控制面板分离地应用到触摸屏系统。在一个实施方式中，利用触摸屏键盘实现手势辨识系统以便于将信息输入触摸屏设备。在这个实施方式中，触摸屏设备呈现具有减少的数量的键的弦形键盘(例如速记类型机器键盘)，其中在单个操作(例如通过一次触击多个键)中按照发音拼写单词。弦形键盘将字母分成多个组，其中每个组的字母与一个或更多个手指关联。例如，7个辅音可以与左手关联来发出声音，4个元音可以与左拇指和右拇指关联，以及10个辅音可以与右手关联来结束声音。手势辨识系统基于在触摸屏上使用的特定手指和触击的位置确定哪个键或者哪些键的组合被按压。弦形键盘利用有限的屏幕空间有益地改进了在触摸屏设备上的打字速度和准确性。
[0064]至此已经描述了至少一个例子的若干方面，应当理解，对于本领域技术人员来说容易想到各种变形、修改和改进。例如，本文公开的例子还可以在其他背景中使用。旨在将这些变形、修改和改进作为本公开的一部分，并在旨在落在本文介绍的例子的范围内。相应地，前面描述地说明书和附图仅是作为例子。
【主权项】
1.一种手势辨识系统，包括: 存储器，其用于存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息； 至少一个处理器，其耦合到所述存储器；以及 手势辨识部件，其能够通过所述至少一个处理器执行并且被配置成: 从触摸屏接收包括至少一个指纹和操作信息的手势信息； 基于所述至少一个指纹和所述手指识别信息识别所述至少一个用户的所述多个手指中的至少一个手指； 基于所述操作信息识别执行的操作； 将所述操作和所述至少一个手指与所述存储器中存储的所述至少一个手指和操作对进行匹配；以及 执行与所述至少一个手指和操作对关联的所述命令。2.如权利要求1所述的系统，其中所述手势辨识部件还被配置成:通过唯一地识别所述至少一个用户的右食指、右中指、右无名指、右小指、左食指、左中指、左无名指和左小指中的至少一个来唯一地识别所述至少一个手指。3.如权利要求1所述的系统，其中所述手指识别信息包括与所述多个手指中的每个手指关联的多个关键特征。4.如权利要求3所述的系统，其中所述手势辨识部件还被配置成:从所述至少一个指纹提取关键特征，并且将所提取的关键特征与存储的与所述多个手指中的每个手指关联的关键特征进行匹配。5.如权利要求1所述的系统，其中所述操作包括定向滑动操作、触击操作、以及按住操作中的至少一种。6.如权利要求1所述的系统，其中所述操作信息包括在所述触摸屏上的一个或多个接触点的位置和与所述至少一个手指的移动相关的信息。7.如权利要求6所述的系统，其中所述存储器存储识别多个操作的操作识别信息，并且其中所述手势辨识部件还被配置成至少部分地通过将所述位置和与移动相关的信息与所述存储器中存储的操作识别信息匹配来识别执行的操作。8.如权利要求1所述的系统，其中所述命令包括向右滚动、向左滚动、向下滚动、向上滚动、放大、缩小、以及打开属性中的至少一种。9.如权利要求1所述的系统，其中所述手势处理部件还被配置成经由所述触摸屏向所述至少一个用户呈现包括具有多个控制元件的控制面板的显示器。10.如权利要求9所述的系统，其中所述多个控制元件中的每个控制元件与至少两个命令关联，所述至少两个命令中的每个命令与唯一的手指和操作对关联。11.如权利要求10所述的系统，其中所述至少两个命令包括用于改变相应控制元件的状态的第一命令和用于存储所述相应控制元件的状态的第二命令。12.如权利要求11所述的系统，其中所述第一命令与食指和触击操作关联并且所述第二命令与中指和触击操作关联。13.如权利要求9所述的系统，其中所述控制面板与建筑采暖、通风和空调(HVAC)系统关联。14.一种辨识手势的方法，包括: 经由耦合到至少一个处理器的存储器存储识别至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息； 通过能够由所述至少一个处理器执行的手势辨识部件接收包括至少一个指纹和操作信息的手势信息； 基于所述至少一个指纹和所述手指识别信息，通过所述手势辨识部件识别所述至少一个用户的所述多个手指中的至少一个手指； 通过所述手势辨识部件基于所述操作信息识别执行的操作； 通过所述手势辨识部件将所述操作和所述至少一个手指与所述存储器中存储的所述至少一个手指和操作对匹配；以及 通过所述手势辨识部件执行与所述至少一个手指和操作对关联的所述命令。15.如权利要求14所述的方法，其中，识别所述至少一个手指包括识别所述至少一个用户的右食指、右中指、以及右无名指和右小指中的至少一个。16.如权利要求14所述的方法，其中，存储所述手指识别信息包括存储与所述多个手指中的每个手指关联的多个关键特征。17.如权利要求16所述的方法，其中，唯一地识别所述至少一个手指包括从所述至少一个指纹提取关键特征和将所提取的关键特征与存储的与所述多个手指中的每个手指关联的关键特征进行匹配。18.如权利要求14所述的方法，其中，接收所述操作信息包括接收在所述触摸屏上的一个或多个接触点的位置和与所述至少一个手指的移动相关的信息。19.如权利要求18所述的方法，还包括存储识别多个操作的操作识别信息，并且其中，识别执行的操作包括将所述位置和与移动相关的信息与所述操作识别信息进行匹配。20.—种触摸屏设备，包括: 触摸屏，其被构造成响应于从至少一个用户接收输入来产生手势信息； 存储器，其存储识别所述至少一个用户的多个手指的手指识别信息和将命令与至少一个手指和操作对关联的命令信息； 至少一个处理器，其耦合到所述存储器和所述触摸屏；以及 手势辨识部件，其能够通过所述至少一个处理器执行并且被配置成: 从所述触摸屏接收包括至少一个指纹和操作信息的所述手势信息； 基于所述至少一个指纹和所述手指识别信息识别所述至少一个用户的所述多个手指中的至少一个手指； 基于所述操作信息识别执行的操作； 将所述操作和所述至少一个手指与所述存储器中存储的所述至少一个手指和操作对匹配；以及 执行与所述至少一个手指和操作对关联的所述命令。
【专利摘要】本发明提供了用于手势辨识的系统和方法。根据各个方面，提供一种手势辨识系统。该手势辨识系统包含用于存储识别用户的多个手指的手指识别信息和将命令与手指和操作对关联的命令信息的存储器、耦合到存储器的至少一个处理器、以及能够通过至少一个处理器执行的手势辨识部件。该手势辨识部件被配置成：从触摸屏接收包括指纹和操作信息的手势信息；基于指纹和手指识别信息识别用户的多个手指中的手指；基于操作信息识别执行的操作；将操作和手指与在存储器中存储的手指和操作对匹配；以及执行与手指和操作对关联的命令。
【IPC分类】G06F3/0488
【公开号】CN105487792
【申请号】CN201510644081
【发明人】迈克尔·摩尔利, 拉蒙纳·伊森·哈奇, 丹尼尔·沃尔顿, 亚当·梅兰
【申请人】施耐德电气建筑有限公司
【公开日】2016年4月13日
【申请日】2015年10月8日
【公告号】EP3012731A1, US20160098087
最新回复(0)