触摸输入系统校准的制作方法
专利名称：触摸输入系统校准的制作方法
技术领域：
本发明通常涉及交互式输入系统，并且具体地，涉及用于校准交互式输入系统的方法以及执行所述校准方法的交互式输入系统。
背景技术：
已知允许用户使用主动指示器(例如，发出光、声或其他信号的指示器)、被动指示器(例如，手指、圆柱体或其他适当对象)或者例如鼠标或轨迹球的其他适合的输入设备对应用程序注入输入(例如，数字墨水、鼠标事件等)。这些交互式输入系统包括，但不限于包括采用模拟电阻或机器视觉技术注册指示器输入的触摸板的触摸系统，诸如转让给本申请的受让人的Calgary，Alberta, Canada的SMART技术公司的第5，448，263号、 第 6，141，000 号、第 6，337，681 号、第 6，747，636 号、第 6，803，906 号、第 7，232，986 号、第 7，236，162号和第7，274，356号的美国专利中所公开的，通过引用的方式将这些专利的内容合并于此；包括采用电磁、电容、声或其他技术注册指示器输入的触摸板的触摸系统；平板个人计算机(PC)；膝上型PC ；个人数字助理(PDA)；或其他相似设备。还已知使用机器视觉从多个指示器接收和处理输入的多触摸交互式输入系统。一个这样类型的多触摸交互式输入系统采用公知的受抑全内反射(FTIR)光学现象。根据 FTIR的一般原理，由于波导的折射率的变化，当诸如指示器的对象触摸波导表面时，通过光波导传播的光的全内反射(TIR)受抑，造成一些光逃离触摸点。在多触摸交互式输入系统中，机器视觉系统捕获包括光逃离的点的图像，并且处理该图像，以基于用作对应用程序的输入的光逃离的点在波导表面上识别指示器的位置。FIlR多触摸交互式输入系统的一个示例在Han的第2008/0029691号美国专利申请公布中被公开。为了在显示表面上准确地注册利用对应点在所捕获的图像中检测到的触摸点的位置，使得在显示表面上用户的触摸点对应于期望的位置，执行校准方法。通常，在校准期间，将已知校准图像投射到显示表面上。捕获所投射的图像，并且从所捕获的图像提取特征。确定在所捕获的图像中所提取的特征的位置，并且执行在已知校准图像中所确定的位置与特征的位置之间的映射。基于特征位置的映射，定义显示表面上的任何点与所捕获的图像之间的一般变换，从而完成校准。基于该校准，可以将所捕获的图像中检测到的任何触摸点从相机坐标变换到显示坐标。FIlR系统在使用红外光检测触摸的同时在显示表面上显示可见光图像。通常从所显示的图像过滤出红外光，以便减少与触摸检测的干扰。然而，当执行校准时，使用红外成像设备捕获的过滤可见光校准图像的红外图像具有非常低的信噪比。其结果是，从校准图像的特征提取极具挑战性。因此，下面的一方面的目的是提供一种用于校准交互式输入系统的新方法以及一种执行该校准方法的交互式输入系统。
发明内容
相应地，在一方面，提供了一种校准交互式输入系统的方法，包括接收在交互式输入系统的触摸板上呈现的校准视频的图像；基于所接收到的图像来创建校准图像；在校准图像中定位特征；以及基于所定位的特征和校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换。根据另一方面，提供了一种交互式输入系统，包括触摸板以及执行校准方法的处理结构，所述校准方法基于在触摸板上呈现的校准视频中的已知特征以及校准图像中定位的特征，确定触摸板与成像面之间的变换，所述校准图像基于所呈现的校准视频的接收到的图像而创建。根据另一方面，提供了一种包含用于校准交互式输入系统的计算机程序的计算机可读介质，所述计算机程序包括接收在交互式输入系统的触摸板上呈现的校准视频的图像的计算机程序代码；基于所接收到的图像来创建校准图像的计算机程序代码；在校准图像中定位特征的计算机程序代码；以及基于所定位的特征和所呈现的校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换的计算机程序代码。根据又一方面，提供了一种用于确定交互式输入系统中的触摸板的捕获的图像中的一个或多个触摸点的方法，包括基于所捕获图像和没有任何触摸点的触摸板的图像来创建相似性图像；通过基于自适应阈值为相似性图像设置阈值来创建已设置阈值的图像； 将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及基于相似性图像中对应区域中的像素强度来细调一个或多个触摸点的边界。 根据又一方面，提供了一种交互式输入系统，包括触摸板以及执行触摸点确定方法的处理结构，所述触摸点确定方法将触摸板的捕获的图像中的一个或多个触摸点确定为使用已设置阈值的相似性图像中的对应区域中的像素强度细调的所述相似性图像中识别的区域。根据再一方面，提供了一种包含用于确定交互式输入系统中的触摸板的捕获的图像中的一个或多个触摸点的计算机程序的计算机可读介质，所述计算机程序包括基于所捕获的图像和没有任何触摸点的触摸板的图像来创建相似性图像的计算机程序代码；通过基于自适应阈值为相似性图像设置阈值来创建设置阈值的图像的计算机程序代码；将一个或多个触摸点识别为所述设置阈值的图像中的区域的计算机程序代码；以及基于相似性图像中对应区域中的像素强度来细调一个或多个触摸点的边界的计算机程序代码。
现在将参照附图更加充分地描述实施例，在附图中图1是交互式输入系统的立体图；图加是图1的交互式输入系统的侧截面图；图2b是形成图1的交互式输入系统的一部分的台面和触摸板的截面图；图2c是指示器已经接触的图2b的触摸板的截面图；图3是示出识别显示表面与图像面之间的变换进行的校准步骤的流程图；图4是示出识别捕获的图像中的触摸点进行的图像处理步骤的流程图；图5是由成像设备捕获的校准视频的单幅图像；图6是示出在校准视频的捕获图像中的选择位置处的各个像素强度的曲线图7a至图7d是示出用于在保留边缘以去除噪声的同时平滑平均差图像的各向异性扩散的效果的图像；图8是图示成像设备的镜头的径向镜头失真的视图；图9是保留边缘的差图像的失真校正图像。图10是基于失真校正图像的边缘图像。图11是图示图像面中的线与Radon面中的点之间的映射的视图；图12是边缘图像的Radon变换的图像；图13是示出被识别为失真校正图像上覆盖的Radon变换图像中的峰值的线以示出具有棋盘图案的对应性的图像；图14是示出图13中识别的线的交叉点的图像；图15是图示图像面中的点与显示面中的点的映射的视图；图16是示出图像面中的交叉点与显示面中的已知交叉点之间的变换的拟合的视图；图17a至图17d是在确定接收到的输入图像中的触摸点期间处理的图像；以及图18是示出用于确定接收到的输入图像中的触摸点的图像处理期间为自适应阈值设置选择的像素强度的曲线图。
具体实施例方式现在转向图1，示出了触摸台形式的交互式输入系统的立体图，并且其通常由附图标记10来表示。触摸台10包括安装在柜16顶部的台面12。在此实施例中，柜16位于轮、 脚轮等18之上，使得触摸台10能够根据需要容易地从一个地方移动到另一个地方。集成到台面12是基于使得能够检测和跟踪施加到其上的一个或多个指示器11 (诸如手指、笔、 手、圆柱体或其他对象)的触摸板14的受抑全内反射(FTIR)形式的坐标输入设备。柜16支撑台面12和触摸板14，并容纳执行主机应用和一个或多个应用程序的处理结构20(见图2)。由处理结构20生成的图像数据被显示在触摸板14上，允许用户经由触摸板14的显示表面15上的指示器接触与所显示的图像交互。处理结构20将指示器接触解释为运行应用程序的输入并且相应地更新图像数据，使得在显示表面15上显示的图像反映指示器活动。按照这种方式，触摸板14和处理结构20允许指示器与触摸板14的交互被记录为手写或绘制或被用于控制应用程序的执行。此实施例中的处理结构20是计算机形式的通用计算设备。所述计算机包括，例如，处理单元、系统存储器(易失性和/或非易失性存储器)、其他不可拆卸或可拆卸存储器 (硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪速存储器等)和将各种计算机组件耦合到处理单元的系统总线。在由处理结构20运行的主机软件应用/操作系统的执行期间，在触摸板14的显示表面上显示包括画面页或画板(即，背景)的图形用户界面，在所述图形用户界面上显示图形部件。在此实施例中，图形用户界面使得能够经由指示器与触摸板14的显示表面15 的交互来输入和操纵自由形式或者手写墨迹对象和其他对象。柜16还容纳水平方向投影机22、红外(IR)滤波器M和镜子沈，28和30。将红外检测相机形式的成像设备32安装在与镜子观相邻的支架33。镜子沈，观和30的系统用于在不会过渡牺牲图像大小的情况下沿光路径“折叠”柜16内由投影机22投影的图像。 由此可以使整个触摸台10尺寸紧凑。成像设备32瞄准镜子30，并且因此看到显示表面15的反射，以减轻捕获的图像中出现的热点噪声，在具有针对显示表面本身的成像设备的系统中通常必须处理所述热点噪声。通过支架33将成像设备32定位在柜16内，使得其不干扰投影图像的光路径。在触摸台10的操作期间，处理结构20向投影机22输出视频数据，投影机22进而通过顶滤波器M将图像投影到第一镜子沈上。现在顶光基本被过滤出去的投影图像通过第一镜子26被反射到第二镜子观上。第二镜子观进而将图像反射到第三镜子30。第三镜子30将投影的视频图像反射到触摸板14的显示(底部)表面上。投影在触摸板14 的底部表面上的视频图像通过触摸板14从上面可看得见。如图所示配置的镜子沈，28，30 的系统提供了紧凑路径，沿该紧凑路径可以将投影图像引导到显示表面。投影机22处于水平方向，以便保护投影机灯泡寿命，因为常用的投影机通常设计为水平放置。外部数据端口 /开关，在此实施例中是通用串行总线(USB)端口 /开关34，从柜 16的内部延伸通过柜壁到触摸台10的外部，提供了插入和去除USB钥匙36以及功能切换的使用权。USB端口 /开关34、投影机22和成像设备32每个都被连接到处理结构20且由处理结构20来管理。电源(未示出)向触摸台10的电子组件提供电力。电源可以是外部单元，或者，例如，是柜16内的通用电源，用于改善触摸台10的便携性。柜16完全封闭其内容，以便限制进入柜16的周围可见光和红外光的级别，从而促进令人满意的信噪比性能。这样做可以与用于管理柜16内的热量的各种技术竞争。触摸板14、投影机22和处理结构都是热量源，并且如果这样的热量长时间包含在柜16内可能减小组件的寿命，影响组件的性能且产生可能使触摸台10的光学组件失真的热波。这样，柜16容纳热管理设施 (provision)(未示出)，以在将热空气从柜中排出的同时将较冷的周围空气引入柜中。例如，热管理设施可以是转让给本申请的受让人Calgary，Alberta，Canada的SMART技术公司的 Sirotich 等人在 2008 年 9 月四日提交的名为 “TOUCH PANEL FOR INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM EMPLOYING THE TOUCH PANEL，，的第 12/240，953 号美国专利申请中公开的类型，上述申请的内容通过引用的方式合并于此。如上所述，触摸台10的触摸板14基于受抑全内反射(FTIR)的原理操作，如上述 Sirotich等人的第12/M0，953号美国专利申请中更加详细的描述。图2b是台面12和触摸板14的截面图。台面12包括由支撑触摸板14的塑料形成的框架120。触摸板14包括光波导144，根据此实施例，光波导144是一片压克力板。弹性扩散层146位于光波导144上，在此实施例中弹性扩散层146是Mount Forest, Ontario, Canada 的Vintex Inc.制造的V-CARE V-LITE 隔离织物层或者其他适当材料。当扩散层146与光波导144按压接触时，扩散层146基本反射逃离光波导144的顶光，使得逃离的顶光向下传播到柜16中。扩散层146还对投射到其上的可见光进行漫反射，以显示投影图像。在与光波导144接触的弹性扩散层146的相反侧上覆盖的是具有平滑触摸表面的透明保护层148。在此实施例中，保护层148是一片薄的聚碳酸酯材料，其上施加了 New Berlin, Wisconsin, U. S. A 的 Tekra Corporation 制造的 Marnot 材料的硬膜。当触摸板
814可以在没有保护层148的情况下起作用时，保护层148允许在没有下面的扩散层146的不适当的变色、障碍或压痕的情况下且在用户的手指上没有不适当的穿戴的情况下使用触摸板14。此外，保护层148对整个触摸板14提供了耐磨、耐刮擦和耐化学性，这对板寿命是有用的。保护层148、扩散层146和光波导144在其边缘夹固在一起作为一个单元且安装在台面12内。随着时间，长期使用可能磨损一个或多个层。按照期望，层的边缘可以松开，以便廉价地提供这些磨损层的替换。将理解，这些层可以按照其他方式固定在一起，诸如，通过使用一种或多种粘合剂、摩擦配件、螺钉、钉子或其他紧固方法。包括一组红外发光二极管(LED) 142的顶光源沿光波导144的至少一个侧面放置 (进入图2b的页内)。每个LED 142向光波导144中发射红外光。在此实施例中，布置了 IR LED 142的侧面经过了火焰抛光，以促进从IR LED 142接收光。在IR LED 142与光波导144的侧面之间保持1-2毫米(mm)的空隙，以便减小从顶LED 142到光波导144的热透过率，并且由此减轻压克力光波导中的热失真。反光带143结合到光波导144的另一侧面，以将光反射回光波导144，从而使得光波导144充满红外照明。在操作中，在与光波导144的大的上下表面基本平行的方向上经由光波导144的火焰抛光的侧面引入顶光。因为上下表面的入射角不足以允许顶光逃离，所以由于全内反射(TIR)导致顶光通过光波导144的上或下表面而不逃离。在另一侧面，达到另一侧面的顶光通常通过反光带143完全反射回光波导144中。如图2c所示，当用户用指示器11接触触摸板14的显示表面时，针对保护层148 的指示器11的压力压缩针对光波导144的弹性扩散层146，造成指示器11的接触点或“触摸点”处的光波导144的折射率改变。这种改变在接触点“阻挠”I1R，造成在接触点处与光波导144的面基本垂直的方向上以允许顶光从光波导144逃离的角度反射顶光。逃离的顶光反射出点11，并且局部向下散射通过光波导144，并通过光波导144的底部表面离开光波导144。在每个指示器11在各个触摸点处接触触摸板114的显示表面时，对每个指示器 11发生这种情况。随着每个触摸点沿触摸板14的显示表面15移动，发生弹性传输层146针对光波导144的压缩，并且因此顶光的逃离跟踪触摸点移动。在触摸点移动期间或者一旦去除触摸点，由于扩散层146的弹性导致先前已经对具有触摸点的扩散层146解压缩，造成顶光从光波导144的逃离再次停止。这样，仅在允许在由成像设备获取的图像帧中捕获顶光的触摸点位置处，顶光从光波导144逃离。成像设备32捕获第三镜子30的二维顶视频图像。结合基本抵御周围光的柜16， 已经从投影机22投影的图像过滤的顶光确保由成像设备32捕获的图像的背景基本为黑色。当如上所述通过一个或多个指示器接触触摸板14的显示表面15时，由顶相机32捕获的图像包括与相应触摸点对应的一个或多个亮点。处理结构20接收所捕获的图像且执行图像处理，以检测所捕获的图像中的一个或多个亮点的坐标和特性。然后，将所检测到的坐标映射到显示坐标且通过在处理结构20上运行的应用程序被解释为墨水或鼠标事件。通过校准来确定用于将检测到的图像坐标映射到显示坐标的变换。为了校准的目的，准备校准视频，校准视频包括含有黑-白棋盘图案的多个帧和含有相同大小的反(即， 白-黑)棋盘图案的多个帧。将校准视频数据提供给投影机22，投影机22经由镜子沈，28和30将校准视频的帧呈现在显示表面15上。针对镜子30的成像设备32捕获校准视频的图像。图3是示出使用校准视频来确定从图像坐标变换到显示坐标而执行的步骤的流程图300。首先，接收所捕获的校准视频的图像(步骤30 。图5是校准视频的单幅捕获图像。如所期望的，图5的图像中信噪比非常低。对此单幅图像，难以收集棋盘图案用于校准。然而，基于若干幅接收到的校准视频的图像，创建了具有定义棋盘图案的校准图像(步骤304)。在校准图像的创建期间，基于接收到的棋盘图案的图像来创建平均棋盘图像I。，并且基于接收到的反棋盘图案的图像来创建平均反棋盘图像Iic;。为了将与棋盘图案相对应的接收到的图像和与反棋盘图案相对应的接收到的图像区分开，监视在所接收到的图像中选择的位置处像素或一束像素的像素强度。定义像素强度的范围，该范围具有高强度阈值和低强度阈值。在所选择的位置处，具有高强度阈值之上的像素强度的那些接收到的图像被认为是与棋盘图案相对应的图像。在所选择的位置处，具有低强度阈值之下的像素强度的那些接收到的图像被认为是与反棋盘图案相对应的图像。在所选择的位置处，具有在所定义的像素强度范围内的像素强度的那些接收到的图像被丢弃。在图6的曲线图中，水平轴表示对于接收到的一组校准视频捕获图像，所接收到的图像编号，并且垂直轴表示对于每个接收到的图像在所选择的像素位置处的像素强度。图6还示出定义范围的高强度阈值和低强度阈值。在与棋盘图案相对应的每个接收到的图像中，通过将其每个像素设置为对应像素的平均强度来形成平均棋盘图像I。。类似地，在与反棋盘图案相对应的每个接收到的图像中，通过将其每个像素设置为对应像素的平均强度来形成平均反棋盘图像I。i。然后，将平均棋盘图像I。和平均反棋盘图像Icd缩放到相同强度范围W，l]。然后，如图7a所示，根据下面的等式1，使用平均棋盘图像I。和平均反棋盘图像Ii。来创建平均差或“网格”图像d:d = Ic-Iic(1)然后，使用边缘保留平滑过程来对平滑网格图像进行平滑，以便在保留平均网络图像中的主要边缘的同时去除噪声。在此实施例中，平滑、边缘保留过程是各向异性扩散， 如 Perona 等人在 1990，IEEE TPAMI，vol. 12，no. 7，629-639 上标题为‘、cale-Space And Edge Detection Using Anisotropic Diffusion”的公开中所阐述的，通过引用的方式将其全部内容合并于此。图7b至图7d示出了图7a中所示的平均网格图像上各向异性扩散的效果。图7b 示出了在经历10次各向异性扩散过程迭代之后的平均网格图像，并且图7d示出了表示图 7a中的平均网格图像与图7b中得到的平滑的边缘保留平均网格图像之间的差的图像，从而图示了已经去除非边缘噪声之后的平均网格图像。图7c示出了扩散系数c (X，y)的图像，从而图示了有效地限制平滑以保留边缘的情况。从图7c可以看出，在边缘图像中的网格线限制平滑。利用已经平滑的平均网格图像，执行平均网格图像的镜头失真校正，以校正平均网络图像中的“枕形”失真，这是由于成像设备32的镜头的物理形状导致的。参照图8，镜头失真通常被认为径向和切向效果的组合。对于短焦距应用，诸如在利用成像设备32的情况下，径向影响占优势。沿光学半径r出现径向失真。 如下面的等式2和3所示来计算归一化的未失真图像坐标(χ'，y')χ' = x^l+Kir'+^r'+Kgr6)y' = yn(l +1(-2+ /+ !"6).其中，
权利要求
1.一种校准交互式输入系统的方法，包括接收在交互式输入系统的触摸板上呈现的校准视频的图像； 基于所接收到的图像来创建校准图像； 在所述校准图像中定位特征；以及基于已定位的特征和所述校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换。
2.如权利要求1所述的方法，其中，所述校准视频包括一组具有棋盘图案的帧和一组具有反棋盘图案的帧。
3.如权利要求2所述的方法，其中，创建校准图像包括 基于接收到的所述棋盘图案的图像来创建平均棋盘图像；基于接收到的所述反棋盘图案的图像来创建平均反棋盘图像；以及创建差图像作为所述平均棋盘图像与所述平均反棋盘图像之间的差。
4.如权利要求3所述的方法，其中，基于所接收到的图像中选择位置的像素强度，将接收到的所述棋盘图案的图像与接收到的所述反棋盘图案的图像区分开。
5.如权利要求4所述的方法，进一步包括基于在相应的接收到的图像中的选择位置处的像素强度高于或低于强度范围，选择接收到的图像用于创建所述平均棋盘图像和所述平均反棋盘图像。
6.如权利要求3至5中的一个所述的方法，进一步包括将所选择的接收到的图像中的像素设置阈值为黑色或白色像素。
7.如权利要求3至6中的一个所述的方法，其中，已定位的特征是所述棋盘图案和所述反棋盘图案共有的线的交叉点。
8.如权利要求7所述的方法，其中，在所述校准图像的Radon变换中，所述线被识别为峰值。
9.如权利要求7至8中的一个所述的方法，其中，基于所识别的线的矢量乘积来识别所述交叉点。
10.如权利要求1至2中的一个所述的方法，其中，创建校准图像包括 基于所接收到的图像来创建平均校准图像；以及执行平滑、边缘保留过程，以从所述平均校准图像去除噪声。
11.如权利要求10所述的方法，其中，所述平滑、边缘保留过程是各向异性扩散过程。
12.如权利要求10所述的方法，其中，所述平滑、边缘保留过程是中值滤波。
13.如权利要求10至12中的一个所述的方法，其中，创建校准图像进一步包括对所述平均校准图像执行镜头失真校正。
14.如权利要求13所述的方法，其中，所述镜头失真校正基于预定的镜头失真参数。
15.如权利要求11所述的方法，其中，创建校准图像包括创建边缘图像。
16.如权利要求15所述的方法，其中，创建校准图像进一步包括对所述边缘图像滤波以保留主要边缘。
17.如权利要求16所述的方法，其中，所述滤波包括对所述边缘图像执行非最大抑制。
18.如权利要求3至9中的一个所述的方法，进一步包括修剪所述差图像。
19.一种交互式输入系统，包括触摸板以及执行校准方法的处理结构，所述校准方法基于在所述触摸板上呈现的校准视频中的已知特征以及校准图像中定位的特征，确定所述触摸板与成像面之间的变换，所述校准图像基于所呈现的校准视频中的接收到的图像而创建。
20.如权利要求19所述的交互式输入系统，其中，所述校准视频包括一组具有棋盘图案的帧和一组具有反棋盘图案的帧。
21.如权利要求19至20中的一个所述的交互式输入系统，其中，在执行所述校准方法期间，所述处理结构接收在所述交互式输入系统的所述触摸板上呈现的所述校准视频的图像；基于所接收到的图像来创建校准图像；在所述校准图像中定位特征；以及基于已定位的特征和所述校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换。
22.一种包含用于校准交互式输入系统的计算机程序的计算机可读介质，所述计算机程序包括接收在所述交互式输入系统的触摸板上呈现的校准视频的图像的计算机程序代码；基于所接收到的图像来创建校准图像的计算机程序代码；在所述校准图像中定位特征的计算机程序代码；以及基于已定位的特征和所呈现的校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换的计算机程序代码。
23.一种用于确定交互式输入系统中的触摸板的捕获图像中的一个或多个触摸点的方法，包括基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像；通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像；将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的边界。
24.如权利要求23所述的方法，进一步包括在创建所述已设置阈值的图像之前，平滑所述相似性图像。
25.如权利要求23至M中的一个所述的方法，进一步包括将每个触摸点表征为具有中心坐标的椭圆。
26.如权利要求25所述的方法，进一步包括将每个触摸点中心坐标映射到显示坐标。
27.如权利要求23至沈中的一个所述的方法，进一步包括在创建相似性图像之前， 将所捕获的图像和背景图像变换到显示坐标系统，以及校正镜头失真。
28.—种交互式输入系统，包括触摸板以及执行触摸点确定方法的处理结构，所述触摸点确定方法将所述触摸板的捕获图像中的一个或多个触摸点确定为使用已设置阈值的相似性图像中的对应区域中的像素强度细调的所述相似性图像中识别的区域。
29.如权利要求观所述的交互式输入系统，其中，在执行所述触摸点确定方法期间，所述处理结构基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像； 通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像；将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的所述边界。
30.一种包含用于确定交互式输入系统中的触摸板的捕获图像中的一个或多个触摸点的计算机程序的计算机可读介质，所述计算机程序包括基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像的计算机程序代码；通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像的计算机程序代码；将一个或多个触摸点识别为所述已设置阈值的图像中的区域的计算机程序代码； 基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的所述边界的计算机程序代码。
全文摘要
提供了一种交互式输入系统以及校准交互式输入系统的方法。所述方法包括接收在交互式输入系统的触摸板上呈现的校准视频的图像。基于所接收到的图像来创建校准图像，以及在校准图像中定位特征。基于已定位的特征和校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换。
文档编号G06T7/00GK102171636SQ200980138480
公开日2011年8月31日 申请日期2009年9月28日 优先权日2008年9月29日
发明者乔·赖特, 乔治·克莱克, 大卫·E·霍姆格伦, 格兰特·麦克贝格尼, 爱德华·策, 王韵秋, 罗伯托·A·L·西罗蒂克 申请人:智能技术无限责任公司
技术领域：
本发明通常涉及交互式输入系统，并且具体地，涉及用于校准交互式输入系统的方法以及执行所述校准方法的交互式输入系统。
背景技术：
已知允许用户使用主动指示器(例如，发出光、声或其他信号的指示器)、被动指示器(例如，手指、圆柱体或其他适当对象)或者例如鼠标或轨迹球的其他适合的输入设备对应用程序注入输入(例如，数字墨水、鼠标事件等)。这些交互式输入系统包括，但不限于包括采用模拟电阻或机器视觉技术注册指示器输入的触摸板的触摸系统，诸如转让给本申请的受让人的Calgary，Alberta, Canada的SMART技术公司的第5，448，263号、 第 6，141，000 号、第 6，337，681 号、第 6，747，636 号、第 6，803，906 号、第 7，232，986 号、第 7，236，162号和第7，274，356号的美国专利中所公开的，通过引用的方式将这些专利的内容合并于此；包括采用电磁、电容、声或其他技术注册指示器输入的触摸板的触摸系统；平板个人计算机(PC)；膝上型PC ；个人数字助理(PDA)；或其他相似设备。还已知使用机器视觉从多个指示器接收和处理输入的多触摸交互式输入系统。一个这样类型的多触摸交互式输入系统采用公知的受抑全内反射(FTIR)光学现象。根据 FTIR的一般原理，由于波导的折射率的变化，当诸如指示器的对象触摸波导表面时，通过光波导传播的光的全内反射(TIR)受抑，造成一些光逃离触摸点。在多触摸交互式输入系统中，机器视觉系统捕获包括光逃离的点的图像，并且处理该图像，以基于用作对应用程序的输入的光逃离的点在波导表面上识别指示器的位置。FIlR多触摸交互式输入系统的一个示例在Han的第2008/0029691号美国专利申请公布中被公开。为了在显示表面上准确地注册利用对应点在所捕获的图像中检测到的触摸点的位置，使得在显示表面上用户的触摸点对应于期望的位置，执行校准方法。通常，在校准期间，将已知校准图像投射到显示表面上。捕获所投射的图像，并且从所捕获的图像提取特征。确定在所捕获的图像中所提取的特征的位置，并且执行在已知校准图像中所确定的位置与特征的位置之间的映射。基于特征位置的映射，定义显示表面上的任何点与所捕获的图像之间的一般变换，从而完成校准。基于该校准，可以将所捕获的图像中检测到的任何触摸点从相机坐标变换到显示坐标。FIlR系统在使用红外光检测触摸的同时在显示表面上显示可见光图像。通常从所显示的图像过滤出红外光，以便减少与触摸检测的干扰。然而，当执行校准时，使用红外成像设备捕获的过滤可见光校准图像的红外图像具有非常低的信噪比。其结果是，从校准图像的特征提取极具挑战性。因此，下面的一方面的目的是提供一种用于校准交互式输入系统的新方法以及一种执行该校准方法的交互式输入系统。
发明内容
相应地，在一方面，提供了一种校准交互式输入系统的方法，包括接收在交互式输入系统的触摸板上呈现的校准视频的图像；基于所接收到的图像来创建校准图像；在校准图像中定位特征；以及基于所定位的特征和校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换。根据另一方面，提供了一种交互式输入系统，包括触摸板以及执行校准方法的处理结构，所述校准方法基于在触摸板上呈现的校准视频中的已知特征以及校准图像中定位的特征，确定触摸板与成像面之间的变换，所述校准图像基于所呈现的校准视频的接收到的图像而创建。根据另一方面，提供了一种包含用于校准交互式输入系统的计算机程序的计算机可读介质，所述计算机程序包括接收在交互式输入系统的触摸板上呈现的校准视频的图像的计算机程序代码；基于所接收到的图像来创建校准图像的计算机程序代码；在校准图像中定位特征的计算机程序代码；以及基于所定位的特征和所呈现的校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换的计算机程序代码。根据又一方面，提供了一种用于确定交互式输入系统中的触摸板的捕获的图像中的一个或多个触摸点的方法，包括基于所捕获图像和没有任何触摸点的触摸板的图像来创建相似性图像；通过基于自适应阈值为相似性图像设置阈值来创建已设置阈值的图像； 将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及基于相似性图像中对应区域中的像素强度来细调一个或多个触摸点的边界。 根据又一方面，提供了一种交互式输入系统，包括触摸板以及执行触摸点确定方法的处理结构，所述触摸点确定方法将触摸板的捕获的图像中的一个或多个触摸点确定为使用已设置阈值的相似性图像中的对应区域中的像素强度细调的所述相似性图像中识别的区域。根据再一方面，提供了一种包含用于确定交互式输入系统中的触摸板的捕获的图像中的一个或多个触摸点的计算机程序的计算机可读介质，所述计算机程序包括基于所捕获的图像和没有任何触摸点的触摸板的图像来创建相似性图像的计算机程序代码；通过基于自适应阈值为相似性图像设置阈值来创建设置阈值的图像的计算机程序代码；将一个或多个触摸点识别为所述设置阈值的图像中的区域的计算机程序代码；以及基于相似性图像中对应区域中的像素强度来细调一个或多个触摸点的边界的计算机程序代码。
现在将参照附图更加充分地描述实施例，在附图中图1是交互式输入系统的立体图；图加是图1的交互式输入系统的侧截面图；图2b是形成图1的交互式输入系统的一部分的台面和触摸板的截面图；图2c是指示器已经接触的图2b的触摸板的截面图；图3是示出识别显示表面与图像面之间的变换进行的校准步骤的流程图；图4是示出识别捕获的图像中的触摸点进行的图像处理步骤的流程图；图5是由成像设备捕获的校准视频的单幅图像；图6是示出在校准视频的捕获图像中的选择位置处的各个像素强度的曲线图7a至图7d是示出用于在保留边缘以去除噪声的同时平滑平均差图像的各向异性扩散的效果的图像；图8是图示成像设备的镜头的径向镜头失真的视图；图9是保留边缘的差图像的失真校正图像。图10是基于失真校正图像的边缘图像。图11是图示图像面中的线与Radon面中的点之间的映射的视图；图12是边缘图像的Radon变换的图像；图13是示出被识别为失真校正图像上覆盖的Radon变换图像中的峰值的线以示出具有棋盘图案的对应性的图像；图14是示出图13中识别的线的交叉点的图像；图15是图示图像面中的点与显示面中的点的映射的视图；图16是示出图像面中的交叉点与显示面中的已知交叉点之间的变换的拟合的视图；图17a至图17d是在确定接收到的输入图像中的触摸点期间处理的图像；以及图18是示出用于确定接收到的输入图像中的触摸点的图像处理期间为自适应阈值设置选择的像素强度的曲线图。
具体实施例方式现在转向图1，示出了触摸台形式的交互式输入系统的立体图，并且其通常由附图标记10来表示。触摸台10包括安装在柜16顶部的台面12。在此实施例中，柜16位于轮、 脚轮等18之上，使得触摸台10能够根据需要容易地从一个地方移动到另一个地方。集成到台面12是基于使得能够检测和跟踪施加到其上的一个或多个指示器11 (诸如手指、笔、 手、圆柱体或其他对象)的触摸板14的受抑全内反射(FTIR)形式的坐标输入设备。柜16支撑台面12和触摸板14，并容纳执行主机应用和一个或多个应用程序的处理结构20(见图2)。由处理结构20生成的图像数据被显示在触摸板14上，允许用户经由触摸板14的显示表面15上的指示器接触与所显示的图像交互。处理结构20将指示器接触解释为运行应用程序的输入并且相应地更新图像数据，使得在显示表面15上显示的图像反映指示器活动。按照这种方式，触摸板14和处理结构20允许指示器与触摸板14的交互被记录为手写或绘制或被用于控制应用程序的执行。此实施例中的处理结构20是计算机形式的通用计算设备。所述计算机包括，例如，处理单元、系统存储器(易失性和/或非易失性存储器)、其他不可拆卸或可拆卸存储器 (硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪速存储器等)和将各种计算机组件耦合到处理单元的系统总线。在由处理结构20运行的主机软件应用/操作系统的执行期间，在触摸板14的显示表面上显示包括画面页或画板(即，背景)的图形用户界面，在所述图形用户界面上显示图形部件。在此实施例中，图形用户界面使得能够经由指示器与触摸板14的显示表面15 的交互来输入和操纵自由形式或者手写墨迹对象和其他对象。柜16还容纳水平方向投影机22、红外(IR)滤波器M和镜子沈，28和30。将红外检测相机形式的成像设备32安装在与镜子观相邻的支架33。镜子沈，观和30的系统用于在不会过渡牺牲图像大小的情况下沿光路径“折叠”柜16内由投影机22投影的图像。 由此可以使整个触摸台10尺寸紧凑。成像设备32瞄准镜子30，并且因此看到显示表面15的反射，以减轻捕获的图像中出现的热点噪声，在具有针对显示表面本身的成像设备的系统中通常必须处理所述热点噪声。通过支架33将成像设备32定位在柜16内，使得其不干扰投影图像的光路径。在触摸台10的操作期间，处理结构20向投影机22输出视频数据，投影机22进而通过顶滤波器M将图像投影到第一镜子沈上。现在顶光基本被过滤出去的投影图像通过第一镜子26被反射到第二镜子观上。第二镜子观进而将图像反射到第三镜子30。第三镜子30将投影的视频图像反射到触摸板14的显示(底部)表面上。投影在触摸板14 的底部表面上的视频图像通过触摸板14从上面可看得见。如图所示配置的镜子沈，28，30 的系统提供了紧凑路径，沿该紧凑路径可以将投影图像引导到显示表面。投影机22处于水平方向，以便保护投影机灯泡寿命，因为常用的投影机通常设计为水平放置。外部数据端口 /开关，在此实施例中是通用串行总线(USB)端口 /开关34，从柜 16的内部延伸通过柜壁到触摸台10的外部，提供了插入和去除USB钥匙36以及功能切换的使用权。USB端口 /开关34、投影机22和成像设备32每个都被连接到处理结构20且由处理结构20来管理。电源(未示出)向触摸台10的电子组件提供电力。电源可以是外部单元，或者，例如，是柜16内的通用电源，用于改善触摸台10的便携性。柜16完全封闭其内容，以便限制进入柜16的周围可见光和红外光的级别，从而促进令人满意的信噪比性能。这样做可以与用于管理柜16内的热量的各种技术竞争。触摸板14、投影机22和处理结构都是热量源，并且如果这样的热量长时间包含在柜16内可能减小组件的寿命，影响组件的性能且产生可能使触摸台10的光学组件失真的热波。这样，柜16容纳热管理设施 (provision)(未示出)，以在将热空气从柜中排出的同时将较冷的周围空气引入柜中。例如，热管理设施可以是转让给本申请的受让人Calgary，Alberta，Canada的SMART技术公司的 Sirotich 等人在 2008 年 9 月四日提交的名为 “TOUCH PANEL FOR INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM EMPLOYING THE TOUCH PANEL，，的第 12/240，953 号美国专利申请中公开的类型，上述申请的内容通过引用的方式合并于此。如上所述，触摸台10的触摸板14基于受抑全内反射(FTIR)的原理操作，如上述 Sirotich等人的第12/M0，953号美国专利申请中更加详细的描述。图2b是台面12和触摸板14的截面图。台面12包括由支撑触摸板14的塑料形成的框架120。触摸板14包括光波导144，根据此实施例，光波导144是一片压克力板。弹性扩散层146位于光波导144上，在此实施例中弹性扩散层146是Mount Forest, Ontario, Canada 的Vintex Inc.制造的V-CARE V-LITE 隔离织物层或者其他适当材料。当扩散层146与光波导144按压接触时，扩散层146基本反射逃离光波导144的顶光，使得逃离的顶光向下传播到柜16中。扩散层146还对投射到其上的可见光进行漫反射，以显示投影图像。在与光波导144接触的弹性扩散层146的相反侧上覆盖的是具有平滑触摸表面的透明保护层148。在此实施例中，保护层148是一片薄的聚碳酸酯材料，其上施加了 New Berlin, Wisconsin, U. S. A 的 Tekra Corporation 制造的 Marnot 材料的硬膜。当触摸板
814可以在没有保护层148的情况下起作用时，保护层148允许在没有下面的扩散层146的不适当的变色、障碍或压痕的情况下且在用户的手指上没有不适当的穿戴的情况下使用触摸板14。此外，保护层148对整个触摸板14提供了耐磨、耐刮擦和耐化学性，这对板寿命是有用的。保护层148、扩散层146和光波导144在其边缘夹固在一起作为一个单元且安装在台面12内。随着时间，长期使用可能磨损一个或多个层。按照期望，层的边缘可以松开，以便廉价地提供这些磨损层的替换。将理解，这些层可以按照其他方式固定在一起，诸如，通过使用一种或多种粘合剂、摩擦配件、螺钉、钉子或其他紧固方法。包括一组红外发光二极管(LED) 142的顶光源沿光波导144的至少一个侧面放置 (进入图2b的页内)。每个LED 142向光波导144中发射红外光。在此实施例中，布置了 IR LED 142的侧面经过了火焰抛光，以促进从IR LED 142接收光。在IR LED 142与光波导144的侧面之间保持1-2毫米(mm)的空隙，以便减小从顶LED 142到光波导144的热透过率，并且由此减轻压克力光波导中的热失真。反光带143结合到光波导144的另一侧面，以将光反射回光波导144，从而使得光波导144充满红外照明。在操作中，在与光波导144的大的上下表面基本平行的方向上经由光波导144的火焰抛光的侧面引入顶光。因为上下表面的入射角不足以允许顶光逃离，所以由于全内反射(TIR)导致顶光通过光波导144的上或下表面而不逃离。在另一侧面，达到另一侧面的顶光通常通过反光带143完全反射回光波导144中。如图2c所示，当用户用指示器11接触触摸板14的显示表面时，针对保护层148 的指示器11的压力压缩针对光波导144的弹性扩散层146，造成指示器11的接触点或“触摸点”处的光波导144的折射率改变。这种改变在接触点“阻挠”I1R，造成在接触点处与光波导144的面基本垂直的方向上以允许顶光从光波导144逃离的角度反射顶光。逃离的顶光反射出点11，并且局部向下散射通过光波导144，并通过光波导144的底部表面离开光波导144。在每个指示器11在各个触摸点处接触触摸板114的显示表面时，对每个指示器 11发生这种情况。随着每个触摸点沿触摸板14的显示表面15移动，发生弹性传输层146针对光波导144的压缩，并且因此顶光的逃离跟踪触摸点移动。在触摸点移动期间或者一旦去除触摸点，由于扩散层146的弹性导致先前已经对具有触摸点的扩散层146解压缩，造成顶光从光波导144的逃离再次停止。这样，仅在允许在由成像设备获取的图像帧中捕获顶光的触摸点位置处，顶光从光波导144逃离。成像设备32捕获第三镜子30的二维顶视频图像。结合基本抵御周围光的柜16， 已经从投影机22投影的图像过滤的顶光确保由成像设备32捕获的图像的背景基本为黑色。当如上所述通过一个或多个指示器接触触摸板14的显示表面15时，由顶相机32捕获的图像包括与相应触摸点对应的一个或多个亮点。处理结构20接收所捕获的图像且执行图像处理，以检测所捕获的图像中的一个或多个亮点的坐标和特性。然后，将所检测到的坐标映射到显示坐标且通过在处理结构20上运行的应用程序被解释为墨水或鼠标事件。通过校准来确定用于将检测到的图像坐标映射到显示坐标的变换。为了校准的目的，准备校准视频，校准视频包括含有黑-白棋盘图案的多个帧和含有相同大小的反(即， 白-黑)棋盘图案的多个帧。将校准视频数据提供给投影机22，投影机22经由镜子沈，28和30将校准视频的帧呈现在显示表面15上。针对镜子30的成像设备32捕获校准视频的图像。图3是示出使用校准视频来确定从图像坐标变换到显示坐标而执行的步骤的流程图300。首先，接收所捕获的校准视频的图像(步骤30 。图5是校准视频的单幅捕获图像。如所期望的，图5的图像中信噪比非常低。对此单幅图像，难以收集棋盘图案用于校准。然而，基于若干幅接收到的校准视频的图像，创建了具有定义棋盘图案的校准图像(步骤304)。在校准图像的创建期间，基于接收到的棋盘图案的图像来创建平均棋盘图像I。，并且基于接收到的反棋盘图案的图像来创建平均反棋盘图像Iic;。为了将与棋盘图案相对应的接收到的图像和与反棋盘图案相对应的接收到的图像区分开，监视在所接收到的图像中选择的位置处像素或一束像素的像素强度。定义像素强度的范围，该范围具有高强度阈值和低强度阈值。在所选择的位置处，具有高强度阈值之上的像素强度的那些接收到的图像被认为是与棋盘图案相对应的图像。在所选择的位置处，具有低强度阈值之下的像素强度的那些接收到的图像被认为是与反棋盘图案相对应的图像。在所选择的位置处，具有在所定义的像素强度范围内的像素强度的那些接收到的图像被丢弃。在图6的曲线图中，水平轴表示对于接收到的一组校准视频捕获图像，所接收到的图像编号，并且垂直轴表示对于每个接收到的图像在所选择的像素位置处的像素强度。图6还示出定义范围的高强度阈值和低强度阈值。在与棋盘图案相对应的每个接收到的图像中，通过将其每个像素设置为对应像素的平均强度来形成平均棋盘图像I。。类似地，在与反棋盘图案相对应的每个接收到的图像中，通过将其每个像素设置为对应像素的平均强度来形成平均反棋盘图像I。i。然后，将平均棋盘图像I。和平均反棋盘图像Icd缩放到相同强度范围W，l]。然后，如图7a所示，根据下面的等式1，使用平均棋盘图像I。和平均反棋盘图像Ii。来创建平均差或“网格”图像d:d = Ic-Iic(1)然后，使用边缘保留平滑过程来对平滑网格图像进行平滑，以便在保留平均网络图像中的主要边缘的同时去除噪声。在此实施例中，平滑、边缘保留过程是各向异性扩散， 如 Perona 等人在 1990，IEEE TPAMI，vol. 12，no. 7，629-639 上标题为‘、cale-Space And Edge Detection Using Anisotropic Diffusion”的公开中所阐述的，通过引用的方式将其全部内容合并于此。图7b至图7d示出了图7a中所示的平均网格图像上各向异性扩散的效果。图7b 示出了在经历10次各向异性扩散过程迭代之后的平均网格图像，并且图7d示出了表示图 7a中的平均网格图像与图7b中得到的平滑的边缘保留平均网格图像之间的差的图像，从而图示了已经去除非边缘噪声之后的平均网格图像。图7c示出了扩散系数c (X，y)的图像，从而图示了有效地限制平滑以保留边缘的情况。从图7c可以看出，在边缘图像中的网格线限制平滑。利用已经平滑的平均网格图像，执行平均网格图像的镜头失真校正，以校正平均网络图像中的“枕形”失真，这是由于成像设备32的镜头的物理形状导致的。参照图8，镜头失真通常被认为径向和切向效果的组合。对于短焦距应用，诸如在利用成像设备32的情况下，径向影响占优势。沿光学半径r出现径向失真。 如下面的等式2和3所示来计算归一化的未失真图像坐标(χ'，y')χ' = x^l+Kir'+^r'+Kgr6)y' = yn(l +1(-2+ /+ !"6).其中，
权利要求
1.一种校准交互式输入系统的方法，包括接收在交互式输入系统的触摸板上呈现的校准视频的图像； 基于所接收到的图像来创建校准图像； 在所述校准图像中定位特征；以及基于已定位的特征和所述校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换。
2.如权利要求1所述的方法，其中，所述校准视频包括一组具有棋盘图案的帧和一组具有反棋盘图案的帧。
3.如权利要求2所述的方法，其中，创建校准图像包括 基于接收到的所述棋盘图案的图像来创建平均棋盘图像；基于接收到的所述反棋盘图案的图像来创建平均反棋盘图像；以及创建差图像作为所述平均棋盘图像与所述平均反棋盘图像之间的差。
4.如权利要求3所述的方法，其中，基于所接收到的图像中选择位置的像素强度，将接收到的所述棋盘图案的图像与接收到的所述反棋盘图案的图像区分开。
5.如权利要求4所述的方法，进一步包括基于在相应的接收到的图像中的选择位置处的像素强度高于或低于强度范围，选择接收到的图像用于创建所述平均棋盘图像和所述平均反棋盘图像。
6.如权利要求3至5中的一个所述的方法，进一步包括将所选择的接收到的图像中的像素设置阈值为黑色或白色像素。
7.如权利要求3至6中的一个所述的方法，其中，已定位的特征是所述棋盘图案和所述反棋盘图案共有的线的交叉点。
8.如权利要求7所述的方法，其中，在所述校准图像的Radon变换中，所述线被识别为峰值。
9.如权利要求7至8中的一个所述的方法，其中，基于所识别的线的矢量乘积来识别所述交叉点。
10.如权利要求1至2中的一个所述的方法，其中，创建校准图像包括 基于所接收到的图像来创建平均校准图像；以及执行平滑、边缘保留过程，以从所述平均校准图像去除噪声。
11.如权利要求10所述的方法，其中，所述平滑、边缘保留过程是各向异性扩散过程。
12.如权利要求10所述的方法，其中，所述平滑、边缘保留过程是中值滤波。
13.如权利要求10至12中的一个所述的方法，其中，创建校准图像进一步包括对所述平均校准图像执行镜头失真校正。
14.如权利要求13所述的方法，其中，所述镜头失真校正基于预定的镜头失真参数。
15.如权利要求11所述的方法，其中，创建校准图像包括创建边缘图像。
16.如权利要求15所述的方法，其中，创建校准图像进一步包括对所述边缘图像滤波以保留主要边缘。
17.如权利要求16所述的方法，其中，所述滤波包括对所述边缘图像执行非最大抑制。
18.如权利要求3至9中的一个所述的方法，进一步包括修剪所述差图像。
19.一种交互式输入系统，包括触摸板以及执行校准方法的处理结构，所述校准方法基于在所述触摸板上呈现的校准视频中的已知特征以及校准图像中定位的特征，确定所述触摸板与成像面之间的变换，所述校准图像基于所呈现的校准视频中的接收到的图像而创建。
20.如权利要求19所述的交互式输入系统，其中，所述校准视频包括一组具有棋盘图案的帧和一组具有反棋盘图案的帧。
21.如权利要求19至20中的一个所述的交互式输入系统，其中，在执行所述校准方法期间，所述处理结构接收在所述交互式输入系统的所述触摸板上呈现的所述校准视频的图像；基于所接收到的图像来创建校准图像；在所述校准图像中定位特征；以及基于已定位的特征和所述校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换。
22.一种包含用于校准交互式输入系统的计算机程序的计算机可读介质，所述计算机程序包括接收在所述交互式输入系统的触摸板上呈现的校准视频的图像的计算机程序代码；基于所接收到的图像来创建校准图像的计算机程序代码；在所述校准图像中定位特征的计算机程序代码；以及基于已定位的特征和所呈现的校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换的计算机程序代码。
23.一种用于确定交互式输入系统中的触摸板的捕获图像中的一个或多个触摸点的方法，包括基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像；通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像；将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的边界。
24.如权利要求23所述的方法，进一步包括在创建所述已设置阈值的图像之前，平滑所述相似性图像。
25.如权利要求23至M中的一个所述的方法，进一步包括将每个触摸点表征为具有中心坐标的椭圆。
26.如权利要求25所述的方法，进一步包括将每个触摸点中心坐标映射到显示坐标。
27.如权利要求23至沈中的一个所述的方法，进一步包括在创建相似性图像之前， 将所捕获的图像和背景图像变换到显示坐标系统，以及校正镜头失真。
28.—种交互式输入系统，包括触摸板以及执行触摸点确定方法的处理结构，所述触摸点确定方法将所述触摸板的捕获图像中的一个或多个触摸点确定为使用已设置阈值的相似性图像中的对应区域中的像素强度细调的所述相似性图像中识别的区域。
29.如权利要求观所述的交互式输入系统，其中，在执行所述触摸点确定方法期间，所述处理结构基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像； 通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像；将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的所述边界。
30.一种包含用于确定交互式输入系统中的触摸板的捕获图像中的一个或多个触摸点的计算机程序的计算机可读介质，所述计算机程序包括基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像的计算机程序代码；通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像的计算机程序代码；将一个或多个触摸点识别为所述已设置阈值的图像中的区域的计算机程序代码； 基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的所述边界的计算机程序代码。
全文摘要
提供了一种交互式输入系统以及校准交互式输入系统的方法。所述方法包括接收在交互式输入系统的触摸板上呈现的校准视频的图像。基于所接收到的图像来创建校准图像，以及在校准图像中定位特征。基于已定位的特征和校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换。
文档编号G06T7/00GK102171636SQ200980138480
公开日2011年8月31日 申请日期2009年9月28日 优先权日2008年9月29日
发明者乔·赖特, 乔治·克莱克, 大卫·E·霍姆格伦, 格兰特·麦克贝格尼, 爱德华·策, 王韵秋, 罗伯托·A·L·西罗蒂克 申请人:智能技术无限责任公司
最新回复(0)