产生多点触碰指令的系统与方法
专利名称：产生多点触碰指令的系统与方法
技术领域：
本发明关于一种产生多点触碰指令的系统与方法，尤其是指一种通过单点触控感应板与影像感测器产生多点触碰指令的系统与方法。
背景技术：
近来，应用于个人电脑的多指触控输入领域的发展，改善了电脑应用程序的输入能力。随着触控荧幕的改革创新，当多点与以手势为基础的触碰板成为超越标准输入装置 (例如现有鼠标)的输入装置时，它们提供各方面优化的生产力。直至目前，设置于键盘和遥控器上的标准触碰板为单点触控感应板。尽管是标准的用法，然而欲使单点触控感应板产生多点触碰输入或直觉式的多维输入指令却具有天生的障碍。因此，让单点触控感应板具有多点触碰输入的能力，而成为如同多点触碰板或是其他多维输入装置的需求确实存在。
发明内容
本发明的发展为了回应现今可用的触碰板系统与方法尚未能完全解决的技术问题与需求。因此，此系统与方法通过利用一单点触控感应板与一影像感测器的结合，进而提供一多指触控使用者接口。此系统与方法可被用以控制现有的二维和三维软件应用程序。 此系统与方法也允许通过使用者位于单点触碰板上的双手或手指产生多维输入指令触碰板。此系统与方法也提供一种简单地通过将使用者的手指盘悬于触碰板的表面所产生的输入指令触碰板。实施本系统与方法具有数个有益特征与优点。举例来说，本系统与方法提供一双输入模式。于一第一模式中，手部手势位于一单点触控感应板则产生一多点触碰指令。在一第二模式中，手部手势位于开放空间则产生一多点触碰输入。在实施上，当单点触控感应板感应到其表面存在使用者手指的一触碰点，则本系统与方法进入一第一输入模式。当单点触控感应板感应到其表面不存在使用者手指的一触碰点，则本系统切换至一第二输入模式。于其他实施例中，本系统与方法通过数据融合，明显减少触碰板的多点触碰侦测与追踪的运算负荷。同时，厂商可利用低成本的单点触控感应板生产本系统，且于不使用成本较高的多点触碰感应板的情况下，依旧具有多点触碰板的功能。上述系统具有直觉式的输入指令，且可被应用于例如多维应用程序的控制。于一实施例中，本发明包含由单点触控感应板和影像感测器产生多点触碰指令的一系统。影像感测器设置在相邻于单点触控感应板之处，用以获取单点触控感应板表面或上方的使用者手指的一或多个影像。本系统包括固件，固件用以获取来自单点触控感应板的数据，并利用数据与来自影像感测器的一或多个影像，进而产生一多点触碰指令。于另一实施例中，本发明包括由单点触控感应板产生一多点触碰指令的方法。本方法与获取来自一单点触控感应板的数据有关，其中数据用以表示使用者是否接触感应板以及接触位置。本方法也与获取自影像感测器的使用者手指的影像有关。接着，本系统的固件利用获取的数据和影像，识别使用者的手部手势，并根据手部手势产生一多点触碰指令。本发明的以上与其他特征与优点将被具体表现于本发明的主要实施例中，且于以下说明与申请专利范围中进一步展现，或通过下文中的发明实施例获悉。本发明无须合并下文中所有有益特征与优点至每一个发明实施例。
图1为本发明具有单点触碰感应板与影像感测器的键盘立体图。图2为本发明通过单点触碰感应板与影像感测器产生多点触碰输入的示意图。图3为本发明的影像感测器作为独立输入装置的示意图。图4A与4B为本发明影像感测器与其上方的手部手势(X-Y移动)以及获取画面示意图。图5A与5B为本发明影像感测器与其上方的手部手势(Z移动)以及获取画面的示意图。图6A与6B为本发明影像感测器与其上方的手部手势(Z轴旋转)以及获取画面的示意图。图7为本发明的硬件元件的方块图。图8为本发明的固件的功能方块图。图9A与9B为本发明的二手指与其位于单点触碰板表面座标的示意图。图IOA与IOB为本发明的二色影像以及影像中的目标物(手指-手)座标的示意图。图11为本发明通过一或二只手输入手势产生多维指令的示意图。图12为本发明通过单点触控感应板与单一手指产生二维指令控制三维地图应用程序的示意图。图13为本发明通过旋转/缩放手势控制三维地图应用程序的示意图。图14A为本发明的设置于键盘的影像感测器以及未执行悬空指令动作前的使用者手指的侧视图。图14B为本发明于执行悬空指令动作前所获取的手指影像的示意图。图15A为本发明设置于键盘的影像感测器以及于执行悬空指令后的使用者手指的侧视图。图15B为本发明的于执行悬空指令后的手指的获取影像。图16A为本发明的前一获取影像的影像框示意图，用以计算悬空指尖在χ轴的位
移改变量。图16B为本发明的当前获取影像的影像框示意图，用以计算悬空指尖在χ轴的位
移改变量。其中，附图标记说明如下20:触碰板22 影像感测器
5
24:键盘
26:光源
28:感测相机
30:手部
30':手部
30'':第二手部
32:手指
34:手指
40:虚拟平面
50:影像
60:输入系统
62:键盘部
64:微处理器
66:USB或PS/2连接接口
70:固件
72:第一逻辑装置
74:第二逻辑装置
76:第三逻辑装置
80:影像
90:显示器
IOCI :外框区域
102丨:影像
IlCI:回反射器
112:线条
P 丄av:平均触碰点
(X，Y):平均触碰点
(X1,Y1):第一触碰点
(X2，Y2):第二触碰点
Dx 距离
Dv 距离
具体实施例方式本发明的较佳实施例通过图式参考进行了解，图中相同标号即表示为相同或功能相似的元件。可以理解的是，一般说明或图式中的本发明组成要素可采其他不同形式设置或设计。因此，下文的详细说明或图式仅为表现本发明的较佳实施例，不应用以限制本发明的申请专利范围。本发明的内容将以数个副标题进行揭露，而设立副标题仅为方便阅读，不应被解释为任何的限制。以下叙述以透视法进行描写，例如上/下、前/后、左/右和顶/底。这些说明仅用以协助讨论，而非企图限制本发明的应用或实施例。于下文说明中，「A/B」表示A或B，「A及/或B」表示「(A)、⑶或(A和B)」，而「至少一 A 和 B 禾口 CJ 表示「(A)、(B)、(C)、(A 和 B)、(A 和 C)、(B 和 C)或(A 和 B 和 C)」。各种操作被依序描述为多种不连续的操作，某种程度上将有助于理解本发明的实施例。然而，描述的顺序不应被视为需要依赖顺序才能进行操作的暗示。如词汇「于一实施例中」或「于其他实施例中」中所使用的描述，同样对应至一或多个相同或不同的实施例。甚者，本发明的实施例中常用「包含」、「包括」、「具有」和其他类似字词，其含意皆与「包括」的定义相同。本输入系统与方法侦测单点触控感应板上(简称为「触碰板」)以及影像感测器的影像数据中(简称为「影像」)多个指尖的二维座标。当使用者将二个或二个以上指尖放置于单点触控感应板的表面时，本系统与方法使用一种单点触控感应板，于使用者将二个或多个指尖放置于该单点触控感应板上时，该单点触控感应板可回报该多个触碰点的一平均触碰点的二维座标Pav，其中Pav= (xav，Yav)。为了计算每个指尖正确的二维座标，本系统与方法将平均触碰点的二维座标Pav与获取自影像感测器的影像数据进行结合或融合。数据融合一般是指结合多个来源的数据以进行判断推论，而于本系统与方法中，数据融合是关于来自触碰板20与影像感测器22的数据的结合。假若每个手指被分别识别，数据融合将更有效率且缩限识别手指的位置。而通过数据融合，本系统与方法可以判断触碰板20表面上的每个指尖(或触碰点)的二维位置。硬件结构与其应用请参阅图1，图1为应用本输入系统的硬件的实施例。如图所示，输入系统包括一键盘对，其中包括一触碰板20与一影像感测器22，且设置于键盘M本体之上。为了进行数据融合，影像感测器22选用低解析度且黑白影像感测器22 (例如具有 CGA且解析度为320x200黑白像素的CMOS感测器)。影像感测器22固设于键盘M且相邻于触碰板20，在某种程度上允许影像感测器22的感测相机28获取触碰板20表面或触碰板20及/或影像感测器22上方的开放空间中的使用者手指。于某些实施例中，影像感测器22的感测相机观的角度可被移动，用以改变感测相机观的相机角度(包括垂直角度与水平角度的方向)。感测相机观可被自动或手动移动。举例来说，感测相机观感测使用者手部30的位置，并自动调整其方向以面对使用者手部30。感测相机观的移动如图1与2 所示，其中图1中感测相机观的方向朝上，图2中感测相机观的方向则朝向触碰板20。作为可选择的设计特征的光源沈，例如小型LED灯，被设置于键盘M上，且相邻于触碰板20，用以提供光线至触碰板20区域以及触碰板及/或影像感22测器的上方区域。 因此，于某些实施例中，当使用者手指接触触碰板20时，光源沈至少照亮触碰板20以及一部分的使用者手指。有些实施例将因可移动光源而受益，其中移动式光源可自动或手动移动，以便改变沿着二个或多个平面的照明角度。请参阅图2，图2为本系统结合触碰板20与影像感测器22以产生多点触碰输入的示意图。如图所示，影像感测器22的感测相机观的角度朝向触碰板20，因此感测相机观得以获取触碰板20完整的表面和手指32、34及/或使用者的手部30。于此方位中，感测相机观得以获取触碰板20上的使用者手部手势(于此是指手部和手指手势)。通过融合触碰板20与影像感测器22的数据以产生一多指输入，且此输入类型成为一双输入系统的一第一类型多指输入。关于数据融合的过程将于下文中详细描述。请参阅图3，图3显示影像感测器22被作为一独立输入装置使用的情况。如图所示，影像感测器22得以获取使用者在开放空间(例如虚拟平面40)所产生的手部手势，而开放空间是指触碰板20表面及/或影像感测器22的上方。这些被获取的影像将通过固件的一即时样板(real-time template)(目标物影像)追踪演算法而被处理，该演算法将使用者的手部手势编译为多点触碰输入指令。在某些例子中，开放空间中产生的手部手势可作为一双输入系统的一第二类型多指输入。而在其他例子中，上述二种输入类型可以被分开使用。图4A至6B为影像感测器22获取手部手势影像的示意图。举例来说，图4A显示手部位于影像感测器22上方X-Y轴的开放空间中(在三维且具有X-Y-Z座标系统中)。图 4B显示由影像感测器22获取手部位置的二维影像50 (在X-Y座标系统中)。同样地，图5A 显示产生于影像感测器22上方Z轴的手部手势，图5B则显示由影像感测器22所获取手部手势的影像50。最后，图6A显示产生于影像感测器22上方的旋转手部手势，而图6B显示产生的影像系列50 (重叠于单一影像上)。请参阅图7,图7为输入系统60的硬件兀件的方块图。如图所不,一微处理器64 连接并接收键盘部62、影像感测器22、触碰板20和光源26 (可选)的数据。微处理器64获取来自上述每一个元件的数据封包。微处理器64通过有线/无线USB连接接口或PS/2连接接口 66与主机连接，因此微处理器64可将获取自上述元件的数据封包传送至主机。固件结构与功能请参阅图8，图8为本系统与方法的固件70的功能方块图。如图所示，固件70包括三个逻辑装置(即使实际上每个逻辑装置的硬件被分别实施为单一装置)，其中第一逻辑装置72处理来自现有键盘的键盘信号，第二逻辑装置74融合来自触碰板20与第三逻辑装置76的数据，而第三逻辑装置76则处理来自影像感测器22的影像数据。在第二逻辑装置74的数据处理中，固件70获取触碰板20的数据以识别触碰板上是否存在一触碰点，若触碰点存在，则识别触碰点的位置或座标。固件70也获取来自影像感测器22的影像，而被获取的影像为点阵影像数据。通过数据的获取，固件70得以识别使用者的一或多指所产生的手部手势，并根据被辨识的手部手势产生一多点触碰指令。最后， 第二逻辑装置74输出与多点触碰感应板相同的格式，而固件70的第三逻辑装置76执行实时样板追踪计算式，辨别开放空间中符合使用者手指-手部的物件的三维位置与方向。当使用者的手部未接触触碰板20时，第三逻辑装置76可独立于第二逻辑装置74进行运作。 关于固件的额外功能将于下文中说明。数据融合演算法下文将说明利用固件70的数据融合演算法识别多点触碰位置的过程。图9A至9B 显示自触碰板20上二个或二个以上触碰点获取单一平均触碰点(X，Y)。做为背景说明之用，图9A与图9B显示接触于接触板20的二手指32、34，以及触碰板20上的二实际触碰点 (XijY1)^(X2jY2)的一平均触碰点(X，Y)。由于触碰板20为单点触控感应板，因此仅能感应并输出单一平均触碰点(X，Y)。以下将说明利用数据融合演算法计算每一个位于触控20上触碰点的实际位置。 首先，如图9A与图9B所示，固件70自触碰板20上一或多个触碰点获取一平均触碰点(X，Y)。同时，固件70也获取来自影像感测器22的影像80。固件70将影像80转换及/或处理为仅有黑白像素的二色影像，如图IOA所示，以利于进行手指32、34识别。截至目前，分开的触碰点的各自位置仍为未知。接下来，固件70反复执行以下步骤。当获取平均触碰点(X，Y)后，平均触碰点(X， Y)被对映至一像素座标系统上，如图IOB所示。接着，固件70融合数据、影像感测器22的影像以及对映位于相同座标的全部或一部分影像80，也如图IOB所示。需要了解的是，固件70将影像80的相对座标对映至触碰板20的座标，以调整影像感测器22的相机角度以及影像感测器22与触碰板20表面的相对位置。接着，固件70利用全部或部分影像80识别手指32、34边缘的位置，方法是通过扫描平均触碰点附近的X轴与Y轴像素线，达到识别手指边缘的目的。在某些例子中，固件70识别特定扫描线的列索引数据与行索引数据以物体体边缘。接下来，当手指边缘的识别完成后，固件70即可侦测影像80中的手指数量以推算触碰板20上的指尖数量。固件70也可通过座标系统量测影像80中指尖之间的距离，而进一步推算触碰点之间的距离。以二个触碰点为例，如图IOB所示，侦测二个触碰点座标之间
的距离为Dx与Dy。接下来，固件70识别二个或二个以上实际触碰点的座标。举例来说，侦测二个触碰点后，固件70通过已知数值(X，Y)、Dx与Dy推算第一触碰点的座标(X1, Y1)与第二触碰点的座标( ，Y2)。计算公式如下所示X1 = X-Dx/2 -J1 = Y-Dy/2X2 = X+Dx/2 ；Y2 = Y+Dy/2最后，如果后来触碰点座标的数据序列中具有一或多个不平稳的移动，则此组触碰点座标将通过滤波器进行平整化，其中滤波器为数位低通滤波器或其他合适的滤波器。承上所述，固件70的第二逻辑装置74并未采用现有影像处理方法追踪触碰点，例如即时样板(目标物影像)追踪演算法，因现有方法需要依赖具有强大运算能力的微处理器64。本方法通过扫描平均触碰点附近的一维像素线以估算指尖之间的距离，以降低微控制器64的运算负荷。因此，数据融合利用触碰板20的平均触碰点与影像感测器22的部分像素数据，提供一种明显降低微控制器64的运算负荷的方法。多维输入指令如上所述，触碰板20与影像感测器22的数据融合被用以产生多点触碰指令。通过数据融合产生多点触碰指令时，触碰板20与影像感测器22被视为主要输入以及用以产生输入指令的独立利用。即时样板追踪演算法也可以被固件70利用。图11显示通过触碰板20与影像感测器22的数据产生多点触碰指令，其中多点触碰指令的产生可由分开或同时使用一只或两只手完成。于此例中，影像感测器22的影像并非用以侦测触碰板20上的多个指尖位置，而是用以识别开放空间中的手指或手部位置，进而辨识手部手势。图11显示使用者利用触碰板20上的右手手指32产生单点触控输入指令。而使用者也可利用其左手产生独立的输入指令，例如一多点触碰指令。举例来说，图12显示在触碰板20上移动手部30，以产生二维平移指令。如图所示，使用者在触碰板20表面拖曳单一手指32，产生二维摄像取景指令对应于三维软件应用程序，例如google earth。手指32在触碰板20上的左右方向移动为摄像取景的水平平移指令，而前后方向移动则为摄像取景的前后平移指令。承上所述，图13显示在影像感测器22的开放空间中移动第二手部30”以产生转向和缩放指令。如图所示，使用者沿着影像感测器22的相机的垂直轴旋转其第二手部30”。 举例来说，影像处理演算法(例如即时样板追踪演算法)识别样板的旋转角度，并依此产生摄像取景的转向指令(Z轴旋转)。手部平移手势沿着轴靠近影像感测器22的相机，可被影像处理演算法识别，并在软件应用程序中产生如一放大或缩小指令。上述的移动用以控制软件程序在显示器90中的显示内容。通过触碰板附近的手指悬空手势产生指令于某些实施例中，本发明的系统与方法提供一多点触碰输入手势，其中多点触碰输入手势通过触碰板20表面附近的手指悬空手势产生。如图14A与15A所示，仔细调整影像感测器22的取景角度后，影像感测器22得以获取触碰板20表面、一使用者手指32、34 与触碰板20的一外框区域100,其中外框区域100为一环绕于触碰板20的一侧壁,且侧壁凹陷或低于键盘或其他本体的表面。此外，外框区域100包括一墙面，且墙面自键盘的表面延伸至触碰板20的表面。如此设计，影像感测器22不仅可以侦测位于触碰板20的区域X-Y座标上手指32、 34的二维手指位置，更可以侦测使用者指尖与触碰板20表面的间的垂直距离(沿着Z轴)。 关于触碰板20附近的指尖位置数据可被应用于Z轴相关指令，例如Z轴平移或创造其他多点手势输入指令的控制。图14A显示使用者手指32、34接触于触碰板20表面。图14B显示影像感测器22 的影像102以对应图14A的使用者手指32、34。图15A显示手指32、34自图14A的接触位置移至触碰板20表面上方的悬空位置。图15B显示影像感测器22的影像102以对应图 15A的使用者手指32、34。在某些实施例中，影像感测器22被用以识别触碰板20表面与上方的手指32、34 的区域X-Y位置，以及位于触碰板20上方手指32、34的悬空距离。此识别通过比较连续影像框(也即目前与先前影像框)，例如图14B与图15B的影像框而达成。接着，影像感测器 22识别手指32、34的X、Y与Z的约略的位置变化。当使用者手指32、34接触至触碰板20表面，如前文所述，将通过数据融合识别触碰点的绝对位置。然而，当使用者抬起手指32、34且悬空于触碰板20表面，数据融合可能无法识别手指32、34的精确二维位置。于此例中，影像感测器22通过比对先前获取影像框与现在获取影像框估算X轴的位置变化量。举例来说，图16A和图16B显示通过比对二个连续影像框之间的差异以侦测X轴的位置改变量。于图16A与16B的例中，固件70使用回反射器110 (retroreflector)的一或多个的视觉特征进行识别并比较影像，以便估算手指32、34在X轴的位置变化量。图16A与图 16B显示现有回反射器110设置于触碰板20的外边缘区域(外框100)以协助识别影像。如图所示，回反射器110包括一或多个视觉特征，例如线条112、格纹或是其他视觉背景影像， 上述视觉特征用以量测及/或估算手指32、34在X轴的相对移动与位置变化量。在某些实施例中，回反射器110包括一薄膜材质的表面，用以反射光线至其发射源以减少光线散逸。 当手指32、34阻断回反射器110的反射光时，固件70依据回反射器110的线条112侦测手指32、34的位置改变量，且位置改变量可被设定为手指32、34在X轴上的预设位置变化量。
于某些实施例中，固件70也可侦测悬空于触碰板20上方的手指Y轴移动(前进/后退)。于此实施例中，固件70及/或影像感测器22的用法与图4说明中所述方法相同， 通过比对后来影像框中的手指影像尺寸(比例改变)，进而估算手指32、34在Y轴上的位置
改变量。需要理解的是，本系统与方法通过触碰板20表面以及悬空于触碰板20表面的手部手势产生多点触碰指令。当触碰板20被接触时，触碰板20产生多指触控指令，例如包括卷轴卷动、网页翻页、文字影像缩放、图片旋转等等。同样地，悬空于触碰板上方的手指也可产生多点触碰指令。举例来说，左/右移动悬空手指产生X轴平移的信号，前/后移动悬空手指产生Y轴平移的信号，左/右方向移动二悬空手指产生一转向指令(Y轴旋转)，而前/ 后移动二只悬空手指产生一翻转指令(X轴旋转)。在特别例子中，悬空手指产生令三维地图(如google earth)的摄像取景改变的指令。在某些实施例中，触碰板20表面的手部手势启动一第一指令模式，而悬空手指在触碰板20上方产生的手部手势启动一第二指令模式。在某些例子中，此二模式接收触碰板表面与其上方空间的手势输入，而成为双模式系统。因此，使用者可以通过接触触碰板20、 将手指盘悬于触碰板20的上及/或将手指盘悬于影像感应器22之上，进行软件程序的输入与控制。以上所述仅为本发明的较佳实施例，并非用以限定本发明的申请专利范围，因此凡其他未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含于本案的申请专利范围内。
权利要求
1.一种产生多点触碰指令的系统,包括一单点触控感应板；一影像感测器，设置于该单点触控感应板附近，其中该影像感测器用以获取该单点触控感应板表面或上方的一使用者手指的一或多个影像；以及一固件，用以接收该单点触控感应板的一数据，并依据该数据与该影像感测器的一或多个该影像产生一多点触碰指令。
2.如权利要求I所述的系统，其中该固件还用以通过比较该影像感测器所获取的该一或多个影像的连续影像而识别该使用者手指的一位置与移动。
3.如权利要求I所述的系统，其中该影像感测器包括一感测相机。
4.如权利要求3所述的系统，其中该感测相机能移动以改变该感测相机的一相机角度。
5.如权利要求I所述的系统，还包括一外框区域，设置于该单点触碰感应板的一外边缘。
6.如权利要求5所述的系统，还包括一回反射器，设置于该斜面的至少一部分上，于该回反射器上具有多个线条或一格纹。
7.如权利要求6所述的系统，其中该固件还包括通过比较该影像感测器所获取的该一或多个影像的连续影像，以及通过辨识该连续影像中该使用者手指的位置与该回反射器的该多个线条或该格纹的位置的关系，而识别该使用者手指的位置与移动。
8.如权利要求I所述的系统，还包括一光源，设置于该单点触碰感应板附近，用以于该使用者手指接触该单点触碰感应板时，照明至少该单点触控感应板与该使用者手指的一部分。
9.一种使用一单点触碰感应板产生一多点触碰指令的方法,该方法包括从一单点触控感应板获取数据，该数据用以识别该单点触碰感应板上是否存在一触碰点，若是，则依据该数据识别该触碰点位置，其中该触碰点自一使用者的一或多个手指接触于该单点触控感应板所产生；获取来自一影像感测器的该使用者的该一或多个手指的一或多个影像；使用固件及来自该单点触控感应板的该数据以及该一或多个影像来识别该使用者的该一或多个手指所产生的一手部手势；以及基于该被识别的手势，使用固件产生一多点触碰指令。
10.如权利要求9所述的方法，其中该触碰点位置为一平均触碰点的位置；且该方法还包括使用固件、该平均触碰点的该位置以及该一或多个影像来识别该单点触控感应板的二个或二个以上触碰点。
11.如权利要求10所述的方法，还包括对映该平均触碰点的该位置至一座标系统；对映该一或多个影像的至少一部分至该座标系统；识别至少一部分的该一或多个影像中的手指边缘于该座标系统的位置；决定该二个或二个以上实际触碰点的数量，以及该二个或二个以上实际触碰点之间的距离；以及识别该二个或二个以上实际触碰点的座标。
12.如权利要求11所述的方法，其中该一或多个影像的至少一部分接近该平均触碰点的位置。
13.如权利要求11所述的方法，还包括过滤该二个或二个以上实际触碰点的一组识别座标，以滤除不平稳的移动。
14.如权利要求9所述的方法，其中识别一手部手势包括，当该数据显示该单点触碰感应板上不存在一触碰点时，仅使用该一或多个影像识别该使用者的一或多个手指所做的手势。
15.如权利要求14所述的方法，还包括比较该一或多个影像中的二个或二个以上连续影像，以侦测一使用者手部手势。
16.如权利要求15所述的方法，还包括识别该二个或二个以上连续影像中的一回反射器的一或多个视觉特征；以及基于该使用者的一或多个手指相对于该二个或二个以上连续影像中该回反射器的该一或多个视觉特征的位置，识别该二个或二个以上连续影像中该使用者的一或多个手指的一移动。
17.如权利要求15所述的方法，其中识别一手部手势包括使用一即时样板追踪演算法进行识别。
18.如权利要求9所述的方法，其中当该数据显示该单点触碰感应板上不存在一触碰点时，识别一手部手势包括识别于开放空间中产生的一手部手势。
19.如权利要求9所述的方法，其中当该数据识别该单点触碰感应板上存在一触碰点时，识别一手部手势包括识别于至少部分的该触碰板上所产生的一手部手势。
20.一种使用一单点触碰感应板产生一多点触碰指令的方法，该方法包括获取一单点触控感应板的数据，该数据用以识别该单点触碰感应板上是否存在一触碰点，当该数据识别该触碰点的位置存在时，该数据还识别该触碰点的位置，其中该触碰点由一使用者的一或多个手指接触于该单点触碰感应板所产生；获取来自一影像感测器的该使用者的该一或多个手指的一或多个影像； 当该数据显示该单点触控感应板上存在一触碰点时，使用固件及来自该单点触碰感应板的数据以及该一或多个影像识别该使用者的该一或多个手指所产生的一手部手势，而于该数据显示该单点触控感应板上不存在一触碰点时，仅使用该一或多个影像识别一手部手势；以及使用固件并基于该被识别的手部手势产生一多点触碰指令。
全文摘要
本发明公开了一种产生多点触碰指令的系统与方法。影像感测器设置于单点触控感应板附近，用以获取位于单点触控感应板表面或上方的一使用者手指的影像。本系统包括固件，其中固件用以获取单点触控感应板的数据，并利用数据以及影像感测器的一或多个影像产生一多点触碰指令。
文档编号G06F3/042GK102541365SQ201110461270
公开日2012年7月4日 申请日期2011年12月26日 优先权日2011年1月3日
发明者泰山安武 申请人:致伸科技股份有限公司
技术领域：
本发明关于一种产生多点触碰指令的系统与方法，尤其是指一种通过单点触控感应板与影像感测器产生多点触碰指令的系统与方法。
背景技术：
近来，应用于个人电脑的多指触控输入领域的发展，改善了电脑应用程序的输入能力。随着触控荧幕的改革创新，当多点与以手势为基础的触碰板成为超越标准输入装置 (例如现有鼠标)的输入装置时，它们提供各方面优化的生产力。直至目前，设置于键盘和遥控器上的标准触碰板为单点触控感应板。尽管是标准的用法，然而欲使单点触控感应板产生多点触碰输入或直觉式的多维输入指令却具有天生的障碍。因此，让单点触控感应板具有多点触碰输入的能力，而成为如同多点触碰板或是其他多维输入装置的需求确实存在。
发明内容
本发明的发展为了回应现今可用的触碰板系统与方法尚未能完全解决的技术问题与需求。因此，此系统与方法通过利用一单点触控感应板与一影像感测器的结合，进而提供一多指触控使用者接口。此系统与方法可被用以控制现有的二维和三维软件应用程序。 此系统与方法也允许通过使用者位于单点触碰板上的双手或手指产生多维输入指令触碰板。此系统与方法也提供一种简单地通过将使用者的手指盘悬于触碰板的表面所产生的输入指令触碰板。实施本系统与方法具有数个有益特征与优点。举例来说，本系统与方法提供一双输入模式。于一第一模式中，手部手势位于一单点触控感应板则产生一多点触碰指令。在一第二模式中，手部手势位于开放空间则产生一多点触碰输入。在实施上，当单点触控感应板感应到其表面存在使用者手指的一触碰点，则本系统与方法进入一第一输入模式。当单点触控感应板感应到其表面不存在使用者手指的一触碰点，则本系统切换至一第二输入模式。于其他实施例中，本系统与方法通过数据融合，明显减少触碰板的多点触碰侦测与追踪的运算负荷。同时，厂商可利用低成本的单点触控感应板生产本系统，且于不使用成本较高的多点触碰感应板的情况下，依旧具有多点触碰板的功能。上述系统具有直觉式的输入指令，且可被应用于例如多维应用程序的控制。于一实施例中，本发明包含由单点触控感应板和影像感测器产生多点触碰指令的一系统。影像感测器设置在相邻于单点触控感应板之处，用以获取单点触控感应板表面或上方的使用者手指的一或多个影像。本系统包括固件，固件用以获取来自单点触控感应板的数据，并利用数据与来自影像感测器的一或多个影像，进而产生一多点触碰指令。于另一实施例中，本发明包括由单点触控感应板产生一多点触碰指令的方法。本方法与获取来自一单点触控感应板的数据有关，其中数据用以表示使用者是否接触感应板以及接触位置。本方法也与获取自影像感测器的使用者手指的影像有关。接着，本系统的固件利用获取的数据和影像，识别使用者的手部手势，并根据手部手势产生一多点触碰指令。本发明的以上与其他特征与优点将被具体表现于本发明的主要实施例中，且于以下说明与申请专利范围中进一步展现，或通过下文中的发明实施例获悉。本发明无须合并下文中所有有益特征与优点至每一个发明实施例。
图1为本发明具有单点触碰感应板与影像感测器的键盘立体图。图2为本发明通过单点触碰感应板与影像感测器产生多点触碰输入的示意图。图3为本发明的影像感测器作为独立输入装置的示意图。图4A与4B为本发明影像感测器与其上方的手部手势(X-Y移动)以及获取画面示意图。图5A与5B为本发明影像感测器与其上方的手部手势(Z移动)以及获取画面的示意图。图6A与6B为本发明影像感测器与其上方的手部手势(Z轴旋转)以及获取画面的示意图。图7为本发明的硬件元件的方块图。图8为本发明的固件的功能方块图。图9A与9B为本发明的二手指与其位于单点触碰板表面座标的示意图。图IOA与IOB为本发明的二色影像以及影像中的目标物(手指-手)座标的示意图。图11为本发明通过一或二只手输入手势产生多维指令的示意图。图12为本发明通过单点触控感应板与单一手指产生二维指令控制三维地图应用程序的示意图。图13为本发明通过旋转/缩放手势控制三维地图应用程序的示意图。图14A为本发明的设置于键盘的影像感测器以及未执行悬空指令动作前的使用者手指的侧视图。图14B为本发明于执行悬空指令动作前所获取的手指影像的示意图。图15A为本发明设置于键盘的影像感测器以及于执行悬空指令后的使用者手指的侧视图。图15B为本发明的于执行悬空指令后的手指的获取影像。图16A为本发明的前一获取影像的影像框示意图，用以计算悬空指尖在χ轴的位
移改变量。图16B为本发明的当前获取影像的影像框示意图，用以计算悬空指尖在χ轴的位
移改变量。其中，附图标记说明如下20:触碰板22 影像感测器
5
24:键盘
26:光源
28:感测相机
30:手部
30':手部
30'':第二手部
32:手指
34:手指
40:虚拟平面
50:影像
60:输入系统
62:键盘部
64:微处理器
66:USB或PS/2连接接口
70:固件
72:第一逻辑装置
74:第二逻辑装置
76:第三逻辑装置
80:影像
90:显示器
IOCI :外框区域
102丨:影像
IlCI:回反射器
112:线条
P 丄av:平均触碰点
(X，Y):平均触碰点
(X1,Y1):第一触碰点
(X2，Y2):第二触碰点
Dx 距离
Dv 距离
具体实施例方式本发明的较佳实施例通过图式参考进行了解，图中相同标号即表示为相同或功能相似的元件。可以理解的是，一般说明或图式中的本发明组成要素可采其他不同形式设置或设计。因此，下文的详细说明或图式仅为表现本发明的较佳实施例，不应用以限制本发明的申请专利范围。本发明的内容将以数个副标题进行揭露，而设立副标题仅为方便阅读，不应被解释为任何的限制。以下叙述以透视法进行描写，例如上/下、前/后、左/右和顶/底。这些说明仅用以协助讨论，而非企图限制本发明的应用或实施例。于下文说明中，「A/B」表示A或B，「A及/或B」表示「(A)、⑶或(A和B)」，而「至少一 A 和 B 禾口 CJ 表示「(A)、(B)、(C)、(A 和 B)、(A 和 C)、(B 和 C)或(A 和 B 和 C)」。各种操作被依序描述为多种不连续的操作，某种程度上将有助于理解本发明的实施例。然而，描述的顺序不应被视为需要依赖顺序才能进行操作的暗示。如词汇「于一实施例中」或「于其他实施例中」中所使用的描述，同样对应至一或多个相同或不同的实施例。甚者，本发明的实施例中常用「包含」、「包括」、「具有」和其他类似字词，其含意皆与「包括」的定义相同。本输入系统与方法侦测单点触控感应板上(简称为「触碰板」)以及影像感测器的影像数据中(简称为「影像」)多个指尖的二维座标。当使用者将二个或二个以上指尖放置于单点触控感应板的表面时，本系统与方法使用一种单点触控感应板，于使用者将二个或多个指尖放置于该单点触控感应板上时，该单点触控感应板可回报该多个触碰点的一平均触碰点的二维座标Pav，其中Pav= (xav，Yav)。为了计算每个指尖正确的二维座标，本系统与方法将平均触碰点的二维座标Pav与获取自影像感测器的影像数据进行结合或融合。数据融合一般是指结合多个来源的数据以进行判断推论，而于本系统与方法中，数据融合是关于来自触碰板20与影像感测器22的数据的结合。假若每个手指被分别识别，数据融合将更有效率且缩限识别手指的位置。而通过数据融合，本系统与方法可以判断触碰板20表面上的每个指尖(或触碰点)的二维位置。硬件结构与其应用请参阅图1，图1为应用本输入系统的硬件的实施例。如图所示，输入系统包括一键盘对，其中包括一触碰板20与一影像感测器22，且设置于键盘M本体之上。为了进行数据融合，影像感测器22选用低解析度且黑白影像感测器22 (例如具有 CGA且解析度为320x200黑白像素的CMOS感测器)。影像感测器22固设于键盘M且相邻于触碰板20，在某种程度上允许影像感测器22的感测相机28获取触碰板20表面或触碰板20及/或影像感测器22上方的开放空间中的使用者手指。于某些实施例中，影像感测器22的感测相机观的角度可被移动，用以改变感测相机观的相机角度(包括垂直角度与水平角度的方向)。感测相机观可被自动或手动移动。举例来说，感测相机观感测使用者手部30的位置，并自动调整其方向以面对使用者手部30。感测相机观的移动如图1与2 所示，其中图1中感测相机观的方向朝上，图2中感测相机观的方向则朝向触碰板20。作为可选择的设计特征的光源沈，例如小型LED灯，被设置于键盘M上，且相邻于触碰板20，用以提供光线至触碰板20区域以及触碰板及/或影像感22测器的上方区域。 因此，于某些实施例中，当使用者手指接触触碰板20时，光源沈至少照亮触碰板20以及一部分的使用者手指。有些实施例将因可移动光源而受益，其中移动式光源可自动或手动移动，以便改变沿着二个或多个平面的照明角度。请参阅图2，图2为本系统结合触碰板20与影像感测器22以产生多点触碰输入的示意图。如图所示，影像感测器22的感测相机观的角度朝向触碰板20，因此感测相机观得以获取触碰板20完整的表面和手指32、34及/或使用者的手部30。于此方位中，感测相机观得以获取触碰板20上的使用者手部手势(于此是指手部和手指手势)。通过融合触碰板20与影像感测器22的数据以产生一多指输入，且此输入类型成为一双输入系统的一第一类型多指输入。关于数据融合的过程将于下文中详细描述。请参阅图3，图3显示影像感测器22被作为一独立输入装置使用的情况。如图所示，影像感测器22得以获取使用者在开放空间(例如虚拟平面40)所产生的手部手势，而开放空间是指触碰板20表面及/或影像感测器22的上方。这些被获取的影像将通过固件的一即时样板(real-time template)(目标物影像)追踪演算法而被处理，该演算法将使用者的手部手势编译为多点触碰输入指令。在某些例子中，开放空间中产生的手部手势可作为一双输入系统的一第二类型多指输入。而在其他例子中，上述二种输入类型可以被分开使用。图4A至6B为影像感测器22获取手部手势影像的示意图。举例来说，图4A显示手部位于影像感测器22上方X-Y轴的开放空间中(在三维且具有X-Y-Z座标系统中)。图 4B显示由影像感测器22获取手部位置的二维影像50 (在X-Y座标系统中)。同样地，图5A 显示产生于影像感测器22上方Z轴的手部手势，图5B则显示由影像感测器22所获取手部手势的影像50。最后，图6A显示产生于影像感测器22上方的旋转手部手势，而图6B显示产生的影像系列50 (重叠于单一影像上)。请参阅图7,图7为输入系统60的硬件兀件的方块图。如图所不,一微处理器64 连接并接收键盘部62、影像感测器22、触碰板20和光源26 (可选)的数据。微处理器64获取来自上述每一个元件的数据封包。微处理器64通过有线/无线USB连接接口或PS/2连接接口 66与主机连接，因此微处理器64可将获取自上述元件的数据封包传送至主机。固件结构与功能请参阅图8，图8为本系统与方法的固件70的功能方块图。如图所示，固件70包括三个逻辑装置(即使实际上每个逻辑装置的硬件被分别实施为单一装置)，其中第一逻辑装置72处理来自现有键盘的键盘信号，第二逻辑装置74融合来自触碰板20与第三逻辑装置76的数据，而第三逻辑装置76则处理来自影像感测器22的影像数据。在第二逻辑装置74的数据处理中，固件70获取触碰板20的数据以识别触碰板上是否存在一触碰点，若触碰点存在，则识别触碰点的位置或座标。固件70也获取来自影像感测器22的影像，而被获取的影像为点阵影像数据。通过数据的获取，固件70得以识别使用者的一或多指所产生的手部手势，并根据被辨识的手部手势产生一多点触碰指令。最后， 第二逻辑装置74输出与多点触碰感应板相同的格式，而固件70的第三逻辑装置76执行实时样板追踪计算式，辨别开放空间中符合使用者手指-手部的物件的三维位置与方向。当使用者的手部未接触触碰板20时，第三逻辑装置76可独立于第二逻辑装置74进行运作。 关于固件的额外功能将于下文中说明。数据融合演算法下文将说明利用固件70的数据融合演算法识别多点触碰位置的过程。图9A至9B 显示自触碰板20上二个或二个以上触碰点获取单一平均触碰点(X，Y)。做为背景说明之用，图9A与图9B显示接触于接触板20的二手指32、34，以及触碰板20上的二实际触碰点 (XijY1)^(X2jY2)的一平均触碰点(X，Y)。由于触碰板20为单点触控感应板，因此仅能感应并输出单一平均触碰点(X，Y)。以下将说明利用数据融合演算法计算每一个位于触控20上触碰点的实际位置。 首先，如图9A与图9B所示，固件70自触碰板20上一或多个触碰点获取一平均触碰点(X，Y)。同时，固件70也获取来自影像感测器22的影像80。固件70将影像80转换及/或处理为仅有黑白像素的二色影像，如图IOA所示，以利于进行手指32、34识别。截至目前，分开的触碰点的各自位置仍为未知。接下来，固件70反复执行以下步骤。当获取平均触碰点(X，Y)后，平均触碰点(X， Y)被对映至一像素座标系统上，如图IOB所示。接着，固件70融合数据、影像感测器22的影像以及对映位于相同座标的全部或一部分影像80，也如图IOB所示。需要了解的是，固件70将影像80的相对座标对映至触碰板20的座标，以调整影像感测器22的相机角度以及影像感测器22与触碰板20表面的相对位置。接着，固件70利用全部或部分影像80识别手指32、34边缘的位置，方法是通过扫描平均触碰点附近的X轴与Y轴像素线，达到识别手指边缘的目的。在某些例子中，固件70识别特定扫描线的列索引数据与行索引数据以物体体边缘。接下来，当手指边缘的识别完成后，固件70即可侦测影像80中的手指数量以推算触碰板20上的指尖数量。固件70也可通过座标系统量测影像80中指尖之间的距离，而进一步推算触碰点之间的距离。以二个触碰点为例，如图IOB所示，侦测二个触碰点座标之间
的距离为Dx与Dy。接下来，固件70识别二个或二个以上实际触碰点的座标。举例来说，侦测二个触碰点后，固件70通过已知数值(X，Y)、Dx与Dy推算第一触碰点的座标(X1, Y1)与第二触碰点的座标( ，Y2)。计算公式如下所示X1 = X-Dx/2 -J1 = Y-Dy/2X2 = X+Dx/2 ；Y2 = Y+Dy/2最后，如果后来触碰点座标的数据序列中具有一或多个不平稳的移动，则此组触碰点座标将通过滤波器进行平整化，其中滤波器为数位低通滤波器或其他合适的滤波器。承上所述，固件70的第二逻辑装置74并未采用现有影像处理方法追踪触碰点，例如即时样板(目标物影像)追踪演算法，因现有方法需要依赖具有强大运算能力的微处理器64。本方法通过扫描平均触碰点附近的一维像素线以估算指尖之间的距离，以降低微控制器64的运算负荷。因此，数据融合利用触碰板20的平均触碰点与影像感测器22的部分像素数据，提供一种明显降低微控制器64的运算负荷的方法。多维输入指令如上所述，触碰板20与影像感测器22的数据融合被用以产生多点触碰指令。通过数据融合产生多点触碰指令时，触碰板20与影像感测器22被视为主要输入以及用以产生输入指令的独立利用。即时样板追踪演算法也可以被固件70利用。图11显示通过触碰板20与影像感测器22的数据产生多点触碰指令，其中多点触碰指令的产生可由分开或同时使用一只或两只手完成。于此例中，影像感测器22的影像并非用以侦测触碰板20上的多个指尖位置，而是用以识别开放空间中的手指或手部位置，进而辨识手部手势。图11显示使用者利用触碰板20上的右手手指32产生单点触控输入指令。而使用者也可利用其左手产生独立的输入指令，例如一多点触碰指令。举例来说，图12显示在触碰板20上移动手部30，以产生二维平移指令。如图所示，使用者在触碰板20表面拖曳单一手指32，产生二维摄像取景指令对应于三维软件应用程序，例如google earth。手指32在触碰板20上的左右方向移动为摄像取景的水平平移指令，而前后方向移动则为摄像取景的前后平移指令。承上所述，图13显示在影像感测器22的开放空间中移动第二手部30”以产生转向和缩放指令。如图所示，使用者沿着影像感测器22的相机的垂直轴旋转其第二手部30”。 举例来说，影像处理演算法(例如即时样板追踪演算法)识别样板的旋转角度，并依此产生摄像取景的转向指令(Z轴旋转)。手部平移手势沿着轴靠近影像感测器22的相机，可被影像处理演算法识别，并在软件应用程序中产生如一放大或缩小指令。上述的移动用以控制软件程序在显示器90中的显示内容。通过触碰板附近的手指悬空手势产生指令于某些实施例中，本发明的系统与方法提供一多点触碰输入手势，其中多点触碰输入手势通过触碰板20表面附近的手指悬空手势产生。如图14A与15A所示，仔细调整影像感测器22的取景角度后，影像感测器22得以获取触碰板20表面、一使用者手指32、34 与触碰板20的一外框区域100,其中外框区域100为一环绕于触碰板20的一侧壁,且侧壁凹陷或低于键盘或其他本体的表面。此外，外框区域100包括一墙面，且墙面自键盘的表面延伸至触碰板20的表面。如此设计，影像感测器22不仅可以侦测位于触碰板20的区域X-Y座标上手指32、 34的二维手指位置，更可以侦测使用者指尖与触碰板20表面的间的垂直距离(沿着Z轴)。 关于触碰板20附近的指尖位置数据可被应用于Z轴相关指令，例如Z轴平移或创造其他多点手势输入指令的控制。图14A显示使用者手指32、34接触于触碰板20表面。图14B显示影像感测器22 的影像102以对应图14A的使用者手指32、34。图15A显示手指32、34自图14A的接触位置移至触碰板20表面上方的悬空位置。图15B显示影像感测器22的影像102以对应图 15A的使用者手指32、34。在某些实施例中，影像感测器22被用以识别触碰板20表面与上方的手指32、34 的区域X-Y位置，以及位于触碰板20上方手指32、34的悬空距离。此识别通过比较连续影像框(也即目前与先前影像框)，例如图14B与图15B的影像框而达成。接着，影像感测器 22识别手指32、34的X、Y与Z的约略的位置变化。当使用者手指32、34接触至触碰板20表面，如前文所述，将通过数据融合识别触碰点的绝对位置。然而，当使用者抬起手指32、34且悬空于触碰板20表面，数据融合可能无法识别手指32、34的精确二维位置。于此例中，影像感测器22通过比对先前获取影像框与现在获取影像框估算X轴的位置变化量。举例来说，图16A和图16B显示通过比对二个连续影像框之间的差异以侦测X轴的位置改变量。于图16A与16B的例中，固件70使用回反射器110 (retroreflector)的一或多个的视觉特征进行识别并比较影像，以便估算手指32、34在X轴的位置变化量。图16A与图 16B显示现有回反射器110设置于触碰板20的外边缘区域(外框100)以协助识别影像。如图所示，回反射器110包括一或多个视觉特征，例如线条112、格纹或是其他视觉背景影像， 上述视觉特征用以量测及/或估算手指32、34在X轴的相对移动与位置变化量。在某些实施例中，回反射器110包括一薄膜材质的表面，用以反射光线至其发射源以减少光线散逸。 当手指32、34阻断回反射器110的反射光时，固件70依据回反射器110的线条112侦测手指32、34的位置改变量，且位置改变量可被设定为手指32、34在X轴上的预设位置变化量。
于某些实施例中，固件70也可侦测悬空于触碰板20上方的手指Y轴移动(前进/后退)。于此实施例中，固件70及/或影像感测器22的用法与图4说明中所述方法相同， 通过比对后来影像框中的手指影像尺寸(比例改变)，进而估算手指32、34在Y轴上的位置
改变量。需要理解的是，本系统与方法通过触碰板20表面以及悬空于触碰板20表面的手部手势产生多点触碰指令。当触碰板20被接触时，触碰板20产生多指触控指令，例如包括卷轴卷动、网页翻页、文字影像缩放、图片旋转等等。同样地，悬空于触碰板上方的手指也可产生多点触碰指令。举例来说，左/右移动悬空手指产生X轴平移的信号，前/后移动悬空手指产生Y轴平移的信号，左/右方向移动二悬空手指产生一转向指令(Y轴旋转)，而前/ 后移动二只悬空手指产生一翻转指令(X轴旋转)。在特别例子中，悬空手指产生令三维地图(如google earth)的摄像取景改变的指令。在某些实施例中，触碰板20表面的手部手势启动一第一指令模式，而悬空手指在触碰板20上方产生的手部手势启动一第二指令模式。在某些例子中，此二模式接收触碰板表面与其上方空间的手势输入，而成为双模式系统。因此，使用者可以通过接触触碰板20、 将手指盘悬于触碰板20的上及/或将手指盘悬于影像感应器22之上，进行软件程序的输入与控制。以上所述仅为本发明的较佳实施例，并非用以限定本发明的申请专利范围，因此凡其他未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含于本案的申请专利范围内。
权利要求
1.一种产生多点触碰指令的系统,包括一单点触控感应板；一影像感测器，设置于该单点触控感应板附近，其中该影像感测器用以获取该单点触控感应板表面或上方的一使用者手指的一或多个影像；以及一固件，用以接收该单点触控感应板的一数据，并依据该数据与该影像感测器的一或多个该影像产生一多点触碰指令。
2.如权利要求I所述的系统，其中该固件还用以通过比较该影像感测器所获取的该一或多个影像的连续影像而识别该使用者手指的一位置与移动。
3.如权利要求I所述的系统，其中该影像感测器包括一感测相机。
4.如权利要求3所述的系统，其中该感测相机能移动以改变该感测相机的一相机角度。
5.如权利要求I所述的系统，还包括一外框区域，设置于该单点触碰感应板的一外边缘。
6.如权利要求5所述的系统，还包括一回反射器，设置于该斜面的至少一部分上，于该回反射器上具有多个线条或一格纹。
7.如权利要求6所述的系统，其中该固件还包括通过比较该影像感测器所获取的该一或多个影像的连续影像，以及通过辨识该连续影像中该使用者手指的位置与该回反射器的该多个线条或该格纹的位置的关系，而识别该使用者手指的位置与移动。
8.如权利要求I所述的系统，还包括一光源，设置于该单点触碰感应板附近，用以于该使用者手指接触该单点触碰感应板时，照明至少该单点触控感应板与该使用者手指的一部分。
9.一种使用一单点触碰感应板产生一多点触碰指令的方法,该方法包括从一单点触控感应板获取数据，该数据用以识别该单点触碰感应板上是否存在一触碰点，若是，则依据该数据识别该触碰点位置，其中该触碰点自一使用者的一或多个手指接触于该单点触控感应板所产生；获取来自一影像感测器的该使用者的该一或多个手指的一或多个影像；使用固件及来自该单点触控感应板的该数据以及该一或多个影像来识别该使用者的该一或多个手指所产生的一手部手势；以及基于该被识别的手势，使用固件产生一多点触碰指令。
10.如权利要求9所述的方法，其中该触碰点位置为一平均触碰点的位置；且该方法还包括使用固件、该平均触碰点的该位置以及该一或多个影像来识别该单点触控感应板的二个或二个以上触碰点。
11.如权利要求10所述的方法，还包括对映该平均触碰点的该位置至一座标系统；对映该一或多个影像的至少一部分至该座标系统；识别至少一部分的该一或多个影像中的手指边缘于该座标系统的位置；决定该二个或二个以上实际触碰点的数量，以及该二个或二个以上实际触碰点之间的距离；以及识别该二个或二个以上实际触碰点的座标。
12.如权利要求11所述的方法，其中该一或多个影像的至少一部分接近该平均触碰点的位置。
13.如权利要求11所述的方法，还包括过滤该二个或二个以上实际触碰点的一组识别座标，以滤除不平稳的移动。
14.如权利要求9所述的方法，其中识别一手部手势包括，当该数据显示该单点触碰感应板上不存在一触碰点时，仅使用该一或多个影像识别该使用者的一或多个手指所做的手势。
15.如权利要求14所述的方法，还包括比较该一或多个影像中的二个或二个以上连续影像，以侦测一使用者手部手势。
16.如权利要求15所述的方法，还包括识别该二个或二个以上连续影像中的一回反射器的一或多个视觉特征；以及基于该使用者的一或多个手指相对于该二个或二个以上连续影像中该回反射器的该一或多个视觉特征的位置，识别该二个或二个以上连续影像中该使用者的一或多个手指的一移动。
17.如权利要求15所述的方法，其中识别一手部手势包括使用一即时样板追踪演算法进行识别。
18.如权利要求9所述的方法，其中当该数据显示该单点触碰感应板上不存在一触碰点时，识别一手部手势包括识别于开放空间中产生的一手部手势。
19.如权利要求9所述的方法，其中当该数据识别该单点触碰感应板上存在一触碰点时，识别一手部手势包括识别于至少部分的该触碰板上所产生的一手部手势。
20.一种使用一单点触碰感应板产生一多点触碰指令的方法，该方法包括获取一单点触控感应板的数据，该数据用以识别该单点触碰感应板上是否存在一触碰点，当该数据识别该触碰点的位置存在时，该数据还识别该触碰点的位置，其中该触碰点由一使用者的一或多个手指接触于该单点触碰感应板所产生；获取来自一影像感测器的该使用者的该一或多个手指的一或多个影像； 当该数据显示该单点触控感应板上存在一触碰点时，使用固件及来自该单点触碰感应板的数据以及该一或多个影像识别该使用者的该一或多个手指所产生的一手部手势，而于该数据显示该单点触控感应板上不存在一触碰点时，仅使用该一或多个影像识别一手部手势；以及使用固件并基于该被识别的手部手势产生一多点触碰指令。
全文摘要
本发明公开了一种产生多点触碰指令的系统与方法。影像感测器设置于单点触控感应板附近，用以获取位于单点触控感应板表面或上方的一使用者手指的影像。本系统包括固件，其中固件用以获取单点触控感应板的数据，并利用数据以及影像感测器的一或多个影像产生一多点触碰指令。
文档编号G06F3/042GK102541365SQ201110461270
公开日2012年7月4日 申请日期2011年12月26日 优先权日2011年1月3日
发明者泰山安武 申请人:致伸科技股份有限公司
最新回复(0)