信息输入装置和用于控制信息输入装置的方法
信息输入装置和用于控制信息输入装置的方法
【专利摘要】用户控制在显示器上显示的图形光标的手持控制器（10），信息输入装置包括：运动传感器，响应于第一类型的用户移动产生运动数据（50）；触摸板（16），响应于比第一类型更精确的第二类型的用户移动产生第二传感器数据；以及处理器（24），计算具有大规模移动分量和小规模移动分量的混合光标移动信号，大规模移动分量对应于第一类型的用户移动，小规模移动分量对应于第二类型的用户移动，混合光标移动信号用于移动图形光标；处理器（24）基于第一灵敏度参数计算大规模移动分量，第一灵敏度参数通过使触摸板数据（52）与运动数据（50）相关联来确定并且代表运动传感器的灵敏度，并且，基于第二灵敏度参数计算小规模移动分量，第二灵敏度参数通过使运动数据（50）与触摸板数据（52）相关联来确定并且代表触摸板（16）的灵敏度。
【专利说明】信息输入装置和用于控制信息输入装置的方法
【技术领域】
[0001]本公开主要涉及信息输入装置和用于控制该装置的方法，尤其涉及计算机和消费品用户界面指向系统和用于控制该系统的方法。更具体地说，本公开涉及这样一种指向装置和方法:其同时且协作地响应多种输入源以控制光标或指针在电子显示器上的位置和外观。
【背景技术】
[0002]“指向”是在由计算机和许多消费类电子产品使用的多数图形用户界面(GUI)系统中发现的基本操作。典型地，用户将操纵控制器，如鼠标，其又在显示器上移动计算机生成的光标。然后，用户将移动光标来选择感兴趣的项目、通过多屏幕导航、浏览内容等。虽然使用鼠标是典型的，但是某些应用程序更喜欢手势控制，在手势控制中用户同时且协作地使用多个身体部位执行指向，如移动肘、手和手指来达到对象。例如，存在一种远程指向方法，在该方法中，用户可以通过拿着远程输入设备与控制器进行空中手势，并且手势被转换成显示屏幕上的光标移动(例如参照专利文献I)。
[0003][引文列表]
[0004][专利文献]
[0005][专利文献I]美国专利第07696980号
【发明内容】
[0006][技术问题]
[0007]当前远程指向方法遭受范围有限和精度有限的冲突约束。因为在到达期望的光标位置时用户难以稳住他或她的手，所以具有足够到达显示器的所有部分的范围的远程指向设备往往难以进行精确的控制。
[0008]相反，提供显示器的预定区域内的精确控制的远程指向设备不能容易地到达显示器上的其他区域。例如，触敏控制器可允许在有限范围内的准确指向，但需要反复划擦以移动到显示器上的不同区域，造成使用者疲劳。
[0009]一个非限制性且示例性的实施例提供了一种能够在显示器的整个范围内进行高度准确和稳定的远程指向的信息输入装置和用于控制该信息输入装置的方法。
[0010][解决问题的方案]
[0011]在一个总方案中，这里公开的信息输入装置特征在于信息输入装置用于用户控制在显示器上显示的图形光标，所述信息输入装置包括:第一传感器，响应于第一类型的用户移动产生第一传感器数据，第一类型的用户移动是用户身体的一部分的运动；第二传感器，响应于比第一类型更精确的第二类型的用户移动产生第二传感器数据，第二类型的用户移动是用户身体的一部分的运动；以及至少一个处理器，其计算具有大规模移动分量和小规模移动分量的混合光标移动信号，大规模移动分量对应于第一类型的用户移动，小规模移动分量对应于第二类型的用户移动并且代表比大规模移动分量更小规模的移动，混合光标移动信号用于移动图形光标；其中，所述至少一个处理器基于第一灵敏度参数计算大规模移动分量，第一灵敏度参数代表第一传感器相对于第一类型的用户移动的灵敏度并且通过使第二传感器数据与第一传感器数据相关联来确定，并且其中，所述至少一个处理器基于第二灵敏度参数计算小规模移动分量，第二灵敏度参数代表第二传感器相对于第二类型的用户移动的灵敏度并且通过使第一传感器数据与第二传感器数据相关联来确定。
[0012][发明的有益效果]
[0013]根据本公开，第一类型的用户移动和第二类型的用户移动彼此相互影响(CToss-pollinate)，并且通过代表传感器相对于用户移动的灵敏度的灵敏度参数以协作方式相组合。从而计算对应于用户移动的移动分量，通过显示器上的图形光标实现高度精确和稳定的指向。
[0014]通过这里提供的说明，进一步的应用领域将变得显而易见。本
【发明内容】
中的说明和具体的示例只是为了说明的目的，而不旨在限制本公开的范围。
[0015]使用一种方法可以实现这些总的方案和具体的方案。
[0016]所公开的实施例的其他益处和优点通过说明书和附图将变得清晰。益处和/或优点可通过说明书和附图的各个实施例和特征而单独获得，其不必全部被提供以获得这样的益处和/或优点中的一个或多个。
【专利附图】
【附图说明】
[0017]这里所描述的附图仅供选择的实施例说明之用，而不是所有可能的实现，且不旨在限制本公开的范围。
[0018]图1是示出根据实施例的手持控制器和显示器上的光标的示意图。
[0019]图2是示出根据实施例的手持控制器的功能框图。
[0020]图3A是根据实施例的第二变型的手持控制器的外部视图。
[0021]图3B是根据实施例的第三变型的手持控制器的外部视图。
[0022]图3C示出根据实施例的第三变型的手持控制器和非触摸式手势之间的位置关系O
[0023]图4是示出根据实施例的第四变型的手持控制器和显示器上的光标的示意图。
[0024]图5A是根据实施例的第五变型的手持控制器的外部视图。
[0025]图5B是根据实施例的第六变型的手持控制器的外部视图。
[0026]图6是示出根据实施例的用于控制信息输入装置的方法的概念图。
[0027]图7示出根据实施例的信息输入装置的级联控制。
[0028]图8是示出根据实施例的用于控制信息输入装置的方法的操作流程图。
[0029]图9是具体描述根据实施例的用于控制信息输入装置的方法的操作流程图。
[0030]图10示出当信息输入装置中的处理器执行混合指向控制时在存储器中的数据结构。
[0031]图11是示出用于特定传感器的混合指向控制的操作流程图。
[0032]图12A是示出灵敏度参数ahand相对于用户运动的变化的曲线图。
[0033]图12B是示出灵敏度参数a finger相对于用户运动的变化的曲线图。
[0034]图13是示出光标大小的动态变化的第一图。[0035]图14是示出所显示的光标的动态变化的第二图。
[0036]图15示出光标显示的变化。
[0037]图16是示出根据实施例的第一变型的手持控制器和显示器上的光标的示意图。
[0038][附图标记列表]
[0039]10手持控制器
[0040]12 光标
[0041]14显示器
[0042]15消费类电子产品
[0043]16触摸板
[0044]18粗指针区域
[0045]20 中心
[0046]22精确指针
[0047]24，26c，80 处理器
[0048]24C，26 存储器
[0049]28输入输出(I/O)接口电路
[0050]30，30c无线收发器
[0051]32按键阵列
[0052]34触摸板驱动器
[0053]36加速度计
[0054]37磁力计
[0055]38陀螺仪
[0056]40 设备
[0057]44场区域
[0058]46计算机
[0059]48扬声器
[0060]50运动数据
[0061]52触摸板数据
[0062]54混合指向/选择方法
[0063]56应用程序
[0064]60第一位置范围
[0065]62第一选择范围
[0066]64第二位置范围
[0067]66第二选择范围
[0068]68第三位置范围
[0069]70 点
[0070]72第三选择范围
[0071]73手部运动意图计算处理器
[0072]74手指运动意图计算处理器
[0073]76粗指针移动处理器[0074]78精确指针移动处理器
[0075]82粗指针区域外观处理器
[0076]91操纵杆
[0077]92轨迹球
[0078]102，106，110，114，116，118，120，200，202，204，206 存储区域【具体实施方式】
[0079]现在将参照附图更充分地描述示例性实施例。请注意，在多个附图中由相同附图标记指代的部件是相同的部件。
[0080]根据本公开的方案的信息输入装置包括:第一传感器，其响应于第一类型的用户移动产生第一传感器数据，第一类型的用户移动是用户身体的一部分的运动；第二传感器，其响应于比第一类型更精确的第二类型的用户移动产生第二传感器数据，第二类型的用户移动是用户身体的一部分的运动；以及至少一个处理器，其计算混合光标移动信号，该混合光标移动信号具有大规模移动分量和小规模移动分量，大规模移动分量对应于第一类型的用户移动，小规模移动分量对应于第二类型的用户移动并且代表比大规模移动分量更小规模的移动，混合光标移动信号用于移动图形光标；其中，所述至少一个处理器基于第一灵敏度参数计算大规模移动分量，第一灵敏度参数代表第一传感器相对于第一类型的用户移动的灵敏度并且通过使第二传感器数据与第一传感器数据相关联来确定，并且其中，所述至少一个处理器基于第二灵敏度参数计算小规模移动分量，第二灵敏度参数代表第二传感器相对于第二类型的用户移动的灵敏度并且通过使第一传感器数据与第二传感器数据相关联来确定。
[0081]根据该配置，通过代表响应于用户移动的传感器灵敏度的灵敏度参数，第一类型的用户移动和第二类型的用户移动彼此相互影响并且以协作方式相组合。因此，计算对应于每个用户移动的移动分量，通过显示器上的图形光标实现高度准确和稳定的远程指向。
[0082]在根据本公开的方案的输入信息装置中，当既执行第一类型的用户移动又执行第二类型的用户移动时，对于更密集的第二类型的用户移动，至少一个处理器通过将第一灵敏度参数设置得更小来抑制大规模移动分量，并且对于更密集的第一类型的用户移动，至少一个处理器通过将第二灵敏度参数设置得更小来抑制小规模移动分量。
[0083]利用这样的配置，根据用户想区分优先次序的第一类型或第二类型的移动而对用于确定光标的移动的移动分量进行加权，从而提高用于移动光标的用户控制的可操作性和稳定性。
[0084]在根据本公开的方案的输入信息装置中，所述图形光标至少包括第一光标和第二光标，第二光标小于第一光标并且位于第一光标中，并且所述至少一个处理器还将第一光标的大小设置为更小以用于较大的第一灵敏度参数或较小的第二灵敏度参数。
[0085]由此，当用户想确定第二光标的详细位置时，用户增加第一光标的大小。因此，提高了用于确定第二光标的位置的可操作性。
[0086]在根据本公开的方案的信息输入装置中，所述图形光标至少包括第一光标和第二光标，第二光标小于第一光标并且位于第一光标中，并且大规模移动分量是用于移动第一光标和第二光标的信号分量，并且小规模移动分量是用于移动第二光标的信号分量。[0087]利用这样的配置，用户可以首先以大规模在显示器上设置第一光标，然后在小规模内设置第二光标。因此，用户的可操作性得到提高。
[0088]在根据本公开的方案的输入信息装置中，所述第一传感器是感测手或手臂的运动的传感器。
[0089]在根据本公开的方案的输入信息装置中，所述第二传感器是感测手指或拇指的运动的传感器。
[0090]利用这种配置，用户可以首先通过使用作为用户身体的一部分的手设置大规模的移动范围，然后通过使用手指或拇指更精确设置移动范围。此外，在手和手指或拇指的运动以交互方式相组合的同时，计算大规模移动分量和小规模移动分量，从而提高使用手或者手指或拇指的光标控制的可操作性。
[0091]在根据本公开的方案的输入信息装置中，还包括发射器，用于在至少一个处理器和用于在显示器上显示图形光标的显示驱动器之间进行无线通信。
[0092]这使得能够利用光标进行远程指向。
[0093]在根据本公开的方案的输入信息装置中，包括η个传感器，η个传感器包括:第k传感器，其响应于第k类型的用户移动产生第k传感器数据，第k类型的用户移动是用户身体的一部分的运动；和第(k+Ι)传感器，其响应于比第k类型更精确的第(k+Ι)类型的用户移动产生第(k+Ι)传感器数据，第(k+Ι)类型的用户移动是用户身体的一部分的运动，其中，满足I < k〈n，其中，所述至少一个处理器:(i )计算混合光标移动信号，其具有对应于第k类型的用户移动的移动分量和对应于第(k+Ι)类型的用户移动的移动分量；(ii)使用通过组合第k传感器数据和其他传感器数据而获得的数据，设置对应于第k传感器数据的第k光标区域；以及(iii)使用通过组合第(k+Ι)传感器数据和其他传感器数据而获得的数据，在第k光标区域中设置对应于第(k+Ι)传感器数据的第(k+Ι)光标区域。
[0094]由此，用户可以使用身体的各部位使多个运动相互影响并且相组合。由此，可以逐渐且稳定地将在显示器上的图形光标移动从大移动转变为精确移动。因此，可以实现高度准确和稳定的远程指向。
[0095]本公开内容还可以被实现为具有特征单元的手持控制器。
[0096]本公开不仅可以被实现为包括特征单元的信息输入装置，而且可以被实现为用于控制该信息输入装置的方法，该方法将所述特征单元包括在信息输入装置中作为步骤。
[0097]参照图1，将描述根据实施例的信息输入装置。
[0098]图1是示出根据实施例的手持控制器和显示器上的光标的示意图。在本实施例中，用于控制光标12在显示器14上的位置、移动和外观的混合指向系统由作为信息输入装置的手持控制器10组成。这里，混合指向系统是指这样一种系统:其中，屏幕上或显示器上的光标受以协作方式结合的多个输入源的功能控制，多个输入源例如是手或手臂的空中运动和触摸板上手指或拇指的运动。显示器14可以是例如消费类电子娱乐设备的显示屏，例如宽屏电视。通过使用例如无线WiF1、蓝牙等射频(RF)发信号，手持控制器10进行无线通信。用于实施混合指向系统的处理器和相关联的电子件可以全部封装在手持控制器10内或可以分布在手持控制器10和消费类电子娱乐设备之间。因此图16示出了替代实施例，其中电子件分布在手持控制器和接收器设备之间。
[0099]根据实施例的手持控制器10包括至少一个触摸板16，还包括嵌入式运动感测电路(在下面讨论)来检测控制器10的空中移动。因此，手持控制器提供两种传感器数据源:空中移动数据和触摸板数据，其以混合方式组合以控制光标12如何在显示器14上显现以及它如何移动。
[0100]运动感测电路是响应于第一类型的用户移动而产生第一传感器数据的第一传感器。第一类型的用户移动例如是握住手持控制器10的用户的手的运动。第一类型的用户移动也可以是用户的手臂的移动。在这种情况下，第一传感器响应于用户的手臂运动而产生第一传感器数据。
[0101]触摸板16是响应于第二类型的用户移动而产生第二传感器数据的第二传感器。第二类型的用户移动的移动范围小于第一类型的用户移动的移动范围，并且运动比第一类型的用户移动更细微。第二类型的用户移动例如是用户的手指或拇指在触摸板16上的运动。
[0102]光标12是在显示器14上显示的图形光标。光标12定义了:作为第一光标的粗指针区域18 ;作为第二光标的精确指针22，其布置在粗指针区域18内并且小于粗指针区域18 ;以及中心20。
[0103]正如将要更全面描述的，手持控制器10的空中移动，如从一侧到另一侧的移动，会引起粗指针区域18 (和其内的精确指针22)在显示器14各处移动，一般跟踪用户如何在空中摇动控制器。因此，光标12 (特别是光标12的粗指针区域18)影响在显示器14各处的大规模移动。如将要描述的，粗指针区域18的整体尺寸取决于用户如何操纵手持控制器10而变化。
[0104]通过用拇指或手指触摸触摸板16，用户控制在粗指针区域18内的精确指针22。因此，光标12 (特别是光标12的精确指针22)影响在粗指针区域18内的小规模移动。
[0105]图2是根据实施例的手持控制器的功能框图。如图2所示，手持控制器10包括触摸板16、处理器24、存储器26、输入输出(I/O)接口电路28、无线收发器30、按键阵列32、触摸板驱动器34、加速度计36、磁力计37和陀螺仪38。
[0106]加速度计36、磁力计37和陀螺仪38都包括在上述的运动感测电路中，并对应于第一传感器。触摸板16和触摸板驱动器34对应于第二传感器。需要注意的是，可以设置一个以上触摸板16，并且多个触摸板16可以经由触摸板驱动器34连接。
[0107]处理器24计算用于移动光标12的混合光标信号，包括对应于第一类型的用户移动的大规模移动分量和对应于第二类型的用户移动的小规模移动分量。
[0108]存储器26用作用于存储程序指令的非瞬态计算机可读介质，当处理器24操作所述程序指令时实施下面描述的功能。存储器26还存储来自第一传感器和第二传感器的数据值、内部参数值、由处理器24计算出的中间值、以及用于控制光标12的位置、移动和外观的输出数据值。处理器24耦合到1/028，1/028与各种如图所示不同的传感器和设备进行通信。
[0109]耦合到1/028的是无线收发器30，无线收发器30用于通过射频与用于显示控制的与显示器14关联的电子电路通信。
[0110]控制器10还包括多个按钮，包括按键阵列32。用户可以选择性地按这些按键来执行某些常用的操作，如更换频道或增大/减小音量。
[0111]手持控制器10可以包括扬声器，当光标12响应于第一类型的用户移动和第二类型的用户移动而移动时扬声器输出操作声音。
[0112]为了感测空中运动，手持控制器10包括一个或多个惯性传感器(第一传感器)，如加速度计36、磁力计37和陀螺仪38。加速度计36产生指示线性运动的二阶导数的信号。优选实施例的加速度计36是三轴加速度计，其测量线性运动在三维参考系上的二阶导数。陀螺仪38产生指示旋转的信号，因而具有测量围绕特定轴的旋转率的能力。磁力计37产生指示指南针指向方向的信号。
[0113]一实施例可只使用陀螺仪38作为手持控制器10中的第一传感器。该实施例的优点是成本低。然而，只有陀螺仪38的方案可能会遇到一些偏差(drift)。
[0114]为了减少这种偏差的影响，在手持控制器10中可以将加速度计36与陀螺仪38组
入
口 ο
[0115]如图2所示，在手持控制器10中可以将磁力计37添加至加速度计36和陀螺仪38。添加磁力计37进一步降低了偏差的问题，并使得手持控制器10知道相对于地理参考系的实际指向方向，如真实的北_南-东-西；而不是仅仅是相对运动息。
[0116]作为惯性传感器的替代或除了惯性传感器之外，也可以使用光学跟踪系统。光学跟踪系统使用远程控制的红外线照相机，其跟踪沿显示器14的顶部或底部布置的红外发光二极管。
[0117]如前所述，用于实施混合指向系统(包括手持控制器10和显示器14)和用于该系统的控制方法的处理器和电子件能够单独配置在手持控制器10中，或跨其他部件分布，例如，接收器、蓝光光盘播放器、电视接收器、音频视频处理器等。例如，参见图16。
[0118]图16是示出了根据实施例的第一变型的手持控制器和显示器上的光标的示意图。如图16所示，手持控制器10包括触摸板16、处理器26c、存储器24c、I/028、无线收发器30c、按键阵列32、触摸板驱动器34、加速度计36、磁力计37、陀螺仪38和扬声器48。消费类电子产品15包括处理器24、存储器26、无线收发器30、I/O、以及显示驱动器。
[0119]显示器14被耦合到消费类电子产品15，如接收器、蓝光光盘播放器、电视接收器、音频-视频处理器等。用于实现混合指向系统的处理器和电子件跨越手持控制器10和消费类电子产品15分布。换言之，构成信息输入装置的一些部件配置在手持控制器10内，而其他部件配置在消费类电子产品15内。图16示出一种可能的分布。更具体地，根据本公开的信息输入装置包括手持控制器10和消费类电子产品15，并且作为第二传感器的触摸板16、作为第一传感器的加速度计36、磁力计37和陀螺仪38布置在手持控制器10内，而计算混合光标移动信号的处理器24与手持控制器10分开布置，如在消费类电子产品15内。如果需要的话，用于实现混合指向系统的处理器(或多个处理器)可以与光标生成和显示系统共享或定义光标生成和显不系统的一部分。
[0120]手持控制器10包括与存储器24c相关联的处理器26c，处理器26c通过其1/028进行通信，以经由一对无线收发器:收发器30c (在手持控制器上)和收发器30 (在消费类电子产品上)向消费类电子产品15提供从第一传感器和第二传感器获得的传感器移动数据。
[0121]然后，消费类电子产品15内的处理器24使用此传感器移动数据来计算混合光标移动信号。
[0122]在该变型例中，进一步布置用于从手持控制器10输出操作声音的扬声器48。由此，当光标12响应于第一类型的用户移动和第二类型的用户移动而移动时，根据本公开的信息输入装置是可以改变操作声音的，并且输出操作声音。由此，当用户使用手持控制器10在显示器14上移动光标时，可以只依靠用户的视觉来执行该操作，也可以依靠听觉来执行该操作。这提高了信息输入装置的可操作性。需要注意的是，扬声器48可以布置在消费类电子产品15中。
[0123]在一般情况下，根据本公开的信息输入装置可以包括任意复数的传感器(两个或更多)，并且可以使用任意复数的传感器实现用于控制信息输入装置的方法。在本实施例中，控制器10使用两个传感器:空中运动传感器(第一传感器)和触摸板传感器(第二传感器)。这是一种可以使用复数η个传感器的更一般情况的特殊情况。这样，信息输入装置和用于控制信息输入装置的方法可以例如在特定的应用中将来自三个或更多传感器的输出组合在一起。此外，虽然复数个传感器在本质上均完全不同(空中运动传感器提供的数据与由触摸板传感器提供的数据种类不同)，但是除了在图2中描述的那些以外仍可以进行许多选择。
[0124]图3Α是根据实施例的第二变型的手持控制器的外部视图，图3Β是根据实施例的第三变型的手持控制器的外部视图。图3C示出根据实施例的第三变型的手持控制器和非触摸式手势之间的位置关系。例如，如在图3Α和图3Β中所示，触摸板16可以结合到感测非触摸式手势40的装置40中。装置40感测用户的手在接近手持控制器10的近场区域44内的空中运动，如图3C所示。更具体地，在根据实施例的第二变型和第三变型中，即使手持控制器10不与用户一起移动，处理器24也能基于来自以非触摸的方式感测手的移动的装置40的第一传感器数据和来自触摸板16的第二传感器数据产生混合光标移动信号。
[0125]在根据本公开的信息输入装置的硬件部件的变型也是可能的，如上面所述。
[0126]图4是示出根据实施例的第四变型的手持控制器和显示器上的光标的示意图。图4示出又一实施例，其中手持控制器10与计算机46进行无线通信并且显示器14被附到计算机上。
[0127]根据实施例的信息输入装置和用于控制信息输入装置的方法以及变型采用来自不同传感器的信号并且将它们以独特、协作的方式进行组合。在这方面，在图1和图2中示出的实施例是两个传感器的实施例，其中运动数据和触摸板数据被组合。
[0128]此外，下面是第二传感器的变型。
[0129]图5Α是根据实施例的第五变型的手持控制器的外部视图，图5Β是根据实施例的第六变型的手持控制器的外部视图。图5Α中示出的手持控制器与图1和图2中的手持控制器仅在第二传感器的配置方面不同，其是布置的操纵杆91而不是触摸板16。利用该配置，处理器24计算与倾斜信息相关联的手部运动相对应的大规模移动分量，并计算与手部运动相关联的操纵杆91的倾斜信息相对应的小规模移动分量。
[0130]图5Β中示出的手持控制器与图1和图2中示出的手持控制器仅在第二传感器的配置方面不同，图5Β中示出的手持控制器包括布置的轨迹球92而不是触摸板16。根据该配置，处理器24计算与轨迹球92的旋转信息相关联的手部运动相对应的大规模移动分量，并计算与手部运动相关联的轨迹球92的旋转信息相对应的小规模移动分量。
[0131]图6示出了根据本实施例的用于控制信息输入装置的方法的概念。从第一传感器获得的运动数据50 (第一传感器数据)和从第二传感器获得的触摸板数据52 (第二传感器数据)，被供给到实施混合指向/选择方法54的处理器24，该方法以协作的方式组合各个数据。虽然运动数据50用于控制作为图1中的第一光标的粗指针区域18，并且触摸板数据52用于控制作为图1中的第二光标的精确指针22，但是运动数据和触摸板通过处理器24彼此相互影响，使得粗指针区域18的移动也受到触摸板数据52的影响并且精确指针22的移动受到移动数据50的影响。
[0132]然后，由处理器24执行的混合指向/选择方法54将混合光标移动信号供给到可以处理在显示器14上产生实际光标的应用程序56。换言之，应用程序56负责基于混合指向/选择方法54的结果产生光标的图形外观并且将光标12放置在显示器14上的位置处。
[0133]当然，应用程序56不一定限于在显示器14上产生光标12。也可以实现其他应用程序功能。在这方面，混合指向/选择方法54提供原始的光标位置和光标尺寸信息，应用程序56可以使用其来实现应用程序的预期目标。因此，例如，视频游戏应用程序可以使用来自方法54的位置和光标尺寸信息以控制游戏中的角色或者玩家的移动。在这样的实施中，粗指针区域18的移动可用于控制角色身体的位置，而精确指针22的移动可用于控制角色的手臂。
[0134]作为用于控制信息输入装置的方法的混合指向/选择方法54提供了几个优点。一个优点是启用级联控制，其中每个不同的传感器控制不同精度的指向范围。这已在图7中示出。
[0135]图7示出根据本公开的信息输入装置的级联控制。在图7的实施例中使用了三个传感器。第一传感器响应第一位置范围60。第一传感器捕获用户的输入以标识或突出第一选择范围62，然后将其放大并呈现为第二位置范围64。在此放大的视图中，响应于部分传感器而做出用户的选择，从而使用户更精确地突出或选择第二选择范围66。然后将第二选择范围66放大为第三位置范围68，并且第三传感器响应用户的选择。这允许用户最终突出第三选择范围72内的非常精确的点70。
[0136]根据上述的组合各传感器数据的混合方式，一级的输出也可以与其他级的传感器信号相关。因此，每一个传感器的范围可以以级联的方式使用，其中第一级的输出用于约束下一级的搜索空间。换句话说，任一传感器源级别的信号处理依赖于来自其他传感器源的信号。其结果是准确的、稳定的且响应性的动态适应用户意图的光标位置和光标大小。
[0137]以下将具体描述作为用于控制信息输入装置的方法的混合指向/选择方法54。
[0138]图8是示出根据本公开的用于控制信息输入装置的方法的操作流程图。图9是具体地示出根据实施例的用于控制信息输入装置的方法的操作流程图。
[0139]作为根据本公开的用于控制信息输入装置的方法的混合指向/选择方法54，例如由编程处理器24使用存储在存储器26中的程序指令来实现。
[0140]首先，处理器24使第一传感器响应于第一类型的用户移动以产生第一传感器数据(S11)。
[0141]此外，处理器24使第二传感器响应于第二类型的用户移动，第二类型的用户移动具有比第一类型的用户移动的移动范围更小的移动范围，并且比第一类型的用户移动更精确(S21)。
[0142]更具体地，关于步骤Sll和步骤S21，如图9所示，响应于在与第一类型的用户移动对应的空间中的手部运动，作为第一传感器数据的运动数据50 (P*hand)被第一传感器供给到处理器24。响应于在与第二类型的用户移动对应的触摸板16上的手指运动，第二传感器将作为第二传感器数据的触摸板数据52 (P^finger)供给到处理器24。
[0143]接着，基于代表与第一类型的用户移动对应的第一传感器的灵敏度的第一灵敏度参数，处理器24计算对应于第一类型的用户移动的大规模移动分量，第一灵敏度参数通过使第二传感器数据与第一传感器数据相关联而确定(S12)。
[0144]接着，基于代表与第二类型的用户移动对应的第二传感器的灵敏度的第二灵敏度参数，处理器24计算对应于第二类型的用户移动的小规模移动分量，第二灵敏度参数通过使第一传感器数据与第二传感器数据相关联而确定(S22)。
[0145]更具体地，在步骤S12和步骤S22中，运动数据50被提供到手部运动意图计算处理器73 (其是处理器24的一部分)以从正在做出的手部运动手势中提取用户的意图，如图9所示。移动数据50也被供给到手指运动意图计算处理器74，从而在考虑用户正执行手部手势移动的方式将对系统如何解释从触摸板数据52获得的手指运动具有一定关系的条件下，提取手部运动意图。
[0146]以类似的方式，触摸板数据52被提供给作为处理器24的一部分的手指运动意图计算处理器74，并且也提供给手部运动意图计算处理器73。因此，手部运动意图计算结果在一定程度上取决于在正执行空中手势运动的同时用户正在用触摸板做什么。
[0147]手部运动 意图计算处理器73和手指运动意图计算处理器74产生运动灵敏度参数，此处由α表示。更具体地，手部运动意图计算处理部73计算关于手部运动Cihand的灵敏度参数，如表达式1:1手》或掃》不働摸触摸板
[0148]
【权利要求】
1.一种信息输入装置，用于用户控制在显示器上显示的图形光标，所述信息输入装置包括: 第一传感器，其响应于第一类型的用户移动产生第一传感器数据，所述第一类型的用户移动是用户身体的一部分的运动； 第二传感器，其响应于比所述第一类型更精确的第二类型的用户移动产生第二传感器数据，所述第二类型的用户移动是用户身体的一部分的运动；以及 至少一个处理器，其计算具有大规模移动分量和小规模移动分量的混合光标移动信号，所述大规模移动分量对应于所述第一类型的用户移动，所述小规模移动分量对应于所述第二类型的用户移动并且代表比所述大规模移动分量更小规模的移动，所述混合光标移动信号用于移动图形光标； 其中，所述至少一个处理器基于第一灵敏度参数计算所述大规模移动分量，所述第一灵敏度参数代表所述第一传感器相对于所述第一类型的用户移动的灵敏度并且是通过使所述第二传感器数据与所述第一传感器数据相关联确定出的，并且 其中，所述至少一个处理器基于第二灵敏度参数计算所述小规模移动分量，所述第二灵敏度参数代表所述第二传感器相对于所述第二类型的用户移动的灵敏度并且是通过使所述第一传感器数据与所述第二传感器数据相关联确定出的。
2.根据权利要求1所述的信息输入装置， 其中，当既执行所述第一类型的用户移动又执行所述第二类型的用户移动时，对于更密集的第二类型的用户移动，所述至少一个处理器通过将所述第一灵敏度参数设置得更小来抑制所述大规模移动分量，并且对于更密集的第一类型的用户移动，通过将所述第二灵敏度参数设置得更小来抑制小规模移动分量。
3.根据权利要求2所述的信息`输入装置， 其中，所述图形光标至少包括第一光标和第二光标，所述第二光标小于所述第一光标并且位于所述第一光标中，并且 所述至少一个处理器还将所述第一光标的大小设置为更小以用于较大的第一灵敏度参数或较小的第二灵敏度参数。
4.根据权利要求2所述的信息输入装置， 其中，所述图形光标至少包括第一光标和第二光标，所述第二光标小于所述第一光标并且位于所述第一光标中，并且 所述大规模移动分量是用于移动所述第一光标和所述第二光标的信号分量，并且所述小规模移动分量是用于移动所述第二光标的信号分量。
5.根据权利要求1所述的信息输入装置， 其中，所述第一传感器是感测手或手臂的运动的传感器。
6.根据权利要求1所述的信息输入装置， 其中，所述第二传感器是感测手指或拇指的运动的传感器。
7.根据权利要求1所述的信息输入装置，还包括: 发射器，其用于在所述至少一个处理器和用于在显示器上显示图形光标的显示驱动器之间进行无线通信。
8.根据权利要求1所述的信息输入装置，包括:η个传感器，包括:第k传感器，其响应于第k类型的用户移动产生第k传感器数据，所述第k类型的用户移动是用户身体的一部分的运动；以及第(k+Ι)传感器，其响应于比第k类型更精确的第(k+Ι)类型的用户移动产生第(k+Ι)传感器数据，所述第(k+Ι)类型的用户移动是用户身体的一部分的运动，其中，满足I ( k〈n， 其中，所述至少一个处理器:(i)计算混合光标移动信号，其具有对应于所述第k类型的用户移动的移动分量和对应于所述第(k+Ι)类型的用户移动的移动分量；(ii)使用通过组合所述第k传感器数据和其他传感器数据而获得的数据，设置对应于所述第k传感器数据的第k光标区域；以及(iii)使用通过组合第(k+Ι)传感器数据和其他传感器数据而获得的数据，在第k光标区域中设置对应于第(k+Ι)传感器数据的第(k+Ι)光标区域。
9.一种手持控制器，用于用户控制在显示器上显示的图形光标，所述手持控制器包括: 空中运动传感器，其产生表示所述手持控制器相对于第一参考系的移动的第一信号；触摸传感器，其响应于用户手指或拇指的触摸运动产生第二信号，所述第二信号表示用户手指或拇指相对于第二参考系的移动，所述第二参考系与由用户手指或拇指所触摸的触摸传感器的表面区域相关联；以及 至少一个处理器，其计算所述图形光标的光标大小和位置数据， 其中，通过将根据第一信号和第二信号的密集度进行加权的所述第一信号和所述第二信号进行组合，所述至少一个处理器计算第一光标的大小和位置数据以及第二光标的大小和位置数据，所述第一光标对应于手持控制器的移动，所述第二光标小于所述第一光标并且对应于用户手指或拇指的触摸运动。
10.根据权利要求9所述的手`持控制器， 其中，所述空中运动传感器是感测手或手臂的运动的传感器。
11.根据权利要求9所述的手持控制器， 其中，所述触摸传感器是感测手指或拇指的运动的传感器。
12.一种用于控制信息输入装置的方法，用于用户控制在显示器上显示的图形光标，所述方法包括: 由第一传感器响应于第一类型的用户移动而产生第一传感器数据，所述第一类型的用户移动是用户身体的一部分的运动； 由第二传感器响应于比第一类型更精确的第二类型的用户移动而产生第二传感器数据，所述第二类型的用户移动是用户身体的一部分的运动； 基于第一灵敏度参数计算对应于所述第一类型的用户移动的大规模移动分量，所述第一灵敏度参数代表所述第一传感器相对于所述第一类型的用户移动的灵敏度并且是通过使第二传感器数据与第一传感器数据相关联确定出；并且 基于第二灵敏度参数计算小规模移动分量，所述小规模移动分量对应于所述第二类型的用户移动并且代表比所述大规模移动分量更小规模的移动，所述第二灵敏度参数代表所述第二传感器相对于所述第二类型的用户移动的灵敏度并且是通过使第一传感器数据与第二传感器数据相关联确定出的；并且 通过组合所述大规模移动分量和所述小规模移动分量来计算用于移动图形光标的混合光标移动信号。
13.根据权利要求12所述的用于控制信息输入装置的方法， 其中，在计算所述大规模移动分量和所述小规模移动分量时，当既执行所述第一类型的用户移动又执行所述第二类型的用户移动时，对于更密集的第二类型的用户移动，通过将所述第一灵敏度参数设置得更小来抑制所述大规模移动分量，并且对于更密集的第一类型的用户移动，通过将所述第二灵敏度参数设置得更小来抑制所述小规模移动分量。
14.根据权利要求12所述的用于控制信息输入装置的方法， 其中，所述图形光标至少包括第一光标和第二光标，所述第二光标小于所述第一光标并且位于所述第一光标中，并且 所述第一光标的大小被设置为更小以用于较大的第一灵敏度参数或较小的第二灵敏度参 数。
【文档编号】G06F3/01GK103518173SQ201280022398
【公开日】2014年1月15日 申请日期:2012年10月4日 优先权日:2011年10月13日
【发明者】费越, P·莫兰, D·克里热, 山内真树, 小岛良宏 申请人:松下电器产业株式会社
【专利摘要】用户控制在显示器上显示的图形光标的手持控制器（10），信息输入装置包括：运动传感器，响应于第一类型的用户移动产生运动数据（50）；触摸板（16），响应于比第一类型更精确的第二类型的用户移动产生第二传感器数据；以及处理器（24），计算具有大规模移动分量和小规模移动分量的混合光标移动信号，大规模移动分量对应于第一类型的用户移动，小规模移动分量对应于第二类型的用户移动，混合光标移动信号用于移动图形光标；处理器（24）基于第一灵敏度参数计算大规模移动分量，第一灵敏度参数通过使触摸板数据（52）与运动数据（50）相关联来确定并且代表运动传感器的灵敏度，并且，基于第二灵敏度参数计算小规模移动分量，第二灵敏度参数通过使运动数据（50）与触摸板数据（52）相关联来确定并且代表触摸板（16）的灵敏度。
【专利说明】信息输入装置和用于控制信息输入装置的方法
【技术领域】
[0001]本公开主要涉及信息输入装置和用于控制该装置的方法，尤其涉及计算机和消费品用户界面指向系统和用于控制该系统的方法。更具体地说，本公开涉及这样一种指向装置和方法:其同时且协作地响应多种输入源以控制光标或指针在电子显示器上的位置和外观。
【背景技术】
[0002]“指向”是在由计算机和许多消费类电子产品使用的多数图形用户界面(GUI)系统中发现的基本操作。典型地，用户将操纵控制器，如鼠标，其又在显示器上移动计算机生成的光标。然后，用户将移动光标来选择感兴趣的项目、通过多屏幕导航、浏览内容等。虽然使用鼠标是典型的，但是某些应用程序更喜欢手势控制，在手势控制中用户同时且协作地使用多个身体部位执行指向，如移动肘、手和手指来达到对象。例如，存在一种远程指向方法，在该方法中，用户可以通过拿着远程输入设备与控制器进行空中手势，并且手势被转换成显示屏幕上的光标移动(例如参照专利文献I)。
[0003][引文列表]
[0004][专利文献]
[0005][专利文献I]美国专利第07696980号
【发明内容】
[0006][技术问题]
[0007]当前远程指向方法遭受范围有限和精度有限的冲突约束。因为在到达期望的光标位置时用户难以稳住他或她的手，所以具有足够到达显示器的所有部分的范围的远程指向设备往往难以进行精确的控制。
[0008]相反，提供显示器的预定区域内的精确控制的远程指向设备不能容易地到达显示器上的其他区域。例如，触敏控制器可允许在有限范围内的准确指向，但需要反复划擦以移动到显示器上的不同区域，造成使用者疲劳。
[0009]一个非限制性且示例性的实施例提供了一种能够在显示器的整个范围内进行高度准确和稳定的远程指向的信息输入装置和用于控制该信息输入装置的方法。
[0010][解决问题的方案]
[0011]在一个总方案中，这里公开的信息输入装置特征在于信息输入装置用于用户控制在显示器上显示的图形光标，所述信息输入装置包括:第一传感器，响应于第一类型的用户移动产生第一传感器数据，第一类型的用户移动是用户身体的一部分的运动；第二传感器，响应于比第一类型更精确的第二类型的用户移动产生第二传感器数据，第二类型的用户移动是用户身体的一部分的运动；以及至少一个处理器，其计算具有大规模移动分量和小规模移动分量的混合光标移动信号，大规模移动分量对应于第一类型的用户移动，小规模移动分量对应于第二类型的用户移动并且代表比大规模移动分量更小规模的移动，混合光标移动信号用于移动图形光标；其中，所述至少一个处理器基于第一灵敏度参数计算大规模移动分量，第一灵敏度参数代表第一传感器相对于第一类型的用户移动的灵敏度并且通过使第二传感器数据与第一传感器数据相关联来确定，并且其中，所述至少一个处理器基于第二灵敏度参数计算小规模移动分量，第二灵敏度参数代表第二传感器相对于第二类型的用户移动的灵敏度并且通过使第一传感器数据与第二传感器数据相关联来确定。
[0012][发明的有益效果]
[0013]根据本公开，第一类型的用户移动和第二类型的用户移动彼此相互影响(CToss-pollinate)，并且通过代表传感器相对于用户移动的灵敏度的灵敏度参数以协作方式相组合。从而计算对应于用户移动的移动分量，通过显示器上的图形光标实现高度精确和稳定的指向。
[0014]通过这里提供的说明，进一步的应用领域将变得显而易见。本
【发明内容】
中的说明和具体的示例只是为了说明的目的，而不旨在限制本公开的范围。
[0015]使用一种方法可以实现这些总的方案和具体的方案。
[0016]所公开的实施例的其他益处和优点通过说明书和附图将变得清晰。益处和/或优点可通过说明书和附图的各个实施例和特征而单独获得，其不必全部被提供以获得这样的益处和/或优点中的一个或多个。
【专利附图】
【附图说明】
[0017]这里所描述的附图仅供选择的实施例说明之用，而不是所有可能的实现，且不旨在限制本公开的范围。
[0018]图1是示出根据实施例的手持控制器和显示器上的光标的示意图。
[0019]图2是示出根据实施例的手持控制器的功能框图。
[0020]图3A是根据实施例的第二变型的手持控制器的外部视图。
[0021]图3B是根据实施例的第三变型的手持控制器的外部视图。
[0022]图3C示出根据实施例的第三变型的手持控制器和非触摸式手势之间的位置关系O
[0023]图4是示出根据实施例的第四变型的手持控制器和显示器上的光标的示意图。
[0024]图5A是根据实施例的第五变型的手持控制器的外部视图。
[0025]图5B是根据实施例的第六变型的手持控制器的外部视图。
[0026]图6是示出根据实施例的用于控制信息输入装置的方法的概念图。
[0027]图7示出根据实施例的信息输入装置的级联控制。
[0028]图8是示出根据实施例的用于控制信息输入装置的方法的操作流程图。
[0029]图9是具体描述根据实施例的用于控制信息输入装置的方法的操作流程图。
[0030]图10示出当信息输入装置中的处理器执行混合指向控制时在存储器中的数据结构。
[0031]图11是示出用于特定传感器的混合指向控制的操作流程图。
[0032]图12A是示出灵敏度参数ahand相对于用户运动的变化的曲线图。
[0033]图12B是示出灵敏度参数a finger相对于用户运动的变化的曲线图。
[0034]图13是示出光标大小的动态变化的第一图。[0035]图14是示出所显示的光标的动态变化的第二图。
[0036]图15示出光标显示的变化。
[0037]图16是示出根据实施例的第一变型的手持控制器和显示器上的光标的示意图。
[0038][附图标记列表]
[0039]10手持控制器
[0040]12 光标
[0041]14显示器
[0042]15消费类电子产品
[0043]16触摸板
[0044]18粗指针区域
[0045]20 中心
[0046]22精确指针
[0047]24，26c，80 处理器
[0048]24C，26 存储器
[0049]28输入输出(I/O)接口电路
[0050]30，30c无线收发器
[0051]32按键阵列
[0052]34触摸板驱动器
[0053]36加速度计
[0054]37磁力计
[0055]38陀螺仪
[0056]40 设备
[0057]44场区域
[0058]46计算机
[0059]48扬声器
[0060]50运动数据
[0061]52触摸板数据
[0062]54混合指向/选择方法
[0063]56应用程序
[0064]60第一位置范围
[0065]62第一选择范围
[0066]64第二位置范围
[0067]66第二选择范围
[0068]68第三位置范围
[0069]70 点
[0070]72第三选择范围
[0071]73手部运动意图计算处理器
[0072]74手指运动意图计算处理器
[0073]76粗指针移动处理器[0074]78精确指针移动处理器
[0075]82粗指针区域外观处理器
[0076]91操纵杆
[0077]92轨迹球
[0078]102，106，110，114，116，118，120，200，202，204，206 存储区域【具体实施方式】
[0079]现在将参照附图更充分地描述示例性实施例。请注意，在多个附图中由相同附图标记指代的部件是相同的部件。
[0080]根据本公开的方案的信息输入装置包括:第一传感器，其响应于第一类型的用户移动产生第一传感器数据，第一类型的用户移动是用户身体的一部分的运动；第二传感器，其响应于比第一类型更精确的第二类型的用户移动产生第二传感器数据，第二类型的用户移动是用户身体的一部分的运动；以及至少一个处理器，其计算混合光标移动信号，该混合光标移动信号具有大规模移动分量和小规模移动分量，大规模移动分量对应于第一类型的用户移动，小规模移动分量对应于第二类型的用户移动并且代表比大规模移动分量更小规模的移动，混合光标移动信号用于移动图形光标；其中，所述至少一个处理器基于第一灵敏度参数计算大规模移动分量，第一灵敏度参数代表第一传感器相对于第一类型的用户移动的灵敏度并且通过使第二传感器数据与第一传感器数据相关联来确定，并且其中，所述至少一个处理器基于第二灵敏度参数计算小规模移动分量，第二灵敏度参数代表第二传感器相对于第二类型的用户移动的灵敏度并且通过使第一传感器数据与第二传感器数据相关联来确定。
[0081]根据该配置，通过代表响应于用户移动的传感器灵敏度的灵敏度参数，第一类型的用户移动和第二类型的用户移动彼此相互影响并且以协作方式相组合。因此，计算对应于每个用户移动的移动分量，通过显示器上的图形光标实现高度准确和稳定的远程指向。
[0082]在根据本公开的方案的输入信息装置中，当既执行第一类型的用户移动又执行第二类型的用户移动时，对于更密集的第二类型的用户移动，至少一个处理器通过将第一灵敏度参数设置得更小来抑制大规模移动分量，并且对于更密集的第一类型的用户移动，至少一个处理器通过将第二灵敏度参数设置得更小来抑制小规模移动分量。
[0083]利用这样的配置，根据用户想区分优先次序的第一类型或第二类型的移动而对用于确定光标的移动的移动分量进行加权，从而提高用于移动光标的用户控制的可操作性和稳定性。
[0084]在根据本公开的方案的输入信息装置中，所述图形光标至少包括第一光标和第二光标，第二光标小于第一光标并且位于第一光标中，并且所述至少一个处理器还将第一光标的大小设置为更小以用于较大的第一灵敏度参数或较小的第二灵敏度参数。
[0085]由此，当用户想确定第二光标的详细位置时，用户增加第一光标的大小。因此，提高了用于确定第二光标的位置的可操作性。
[0086]在根据本公开的方案的信息输入装置中，所述图形光标至少包括第一光标和第二光标，第二光标小于第一光标并且位于第一光标中，并且大规模移动分量是用于移动第一光标和第二光标的信号分量，并且小规模移动分量是用于移动第二光标的信号分量。[0087]利用这样的配置，用户可以首先以大规模在显示器上设置第一光标，然后在小规模内设置第二光标。因此，用户的可操作性得到提高。
[0088]在根据本公开的方案的输入信息装置中，所述第一传感器是感测手或手臂的运动的传感器。
[0089]在根据本公开的方案的输入信息装置中，所述第二传感器是感测手指或拇指的运动的传感器。
[0090]利用这种配置，用户可以首先通过使用作为用户身体的一部分的手设置大规模的移动范围，然后通过使用手指或拇指更精确设置移动范围。此外，在手和手指或拇指的运动以交互方式相组合的同时，计算大规模移动分量和小规模移动分量，从而提高使用手或者手指或拇指的光标控制的可操作性。
[0091]在根据本公开的方案的输入信息装置中，还包括发射器，用于在至少一个处理器和用于在显示器上显示图形光标的显示驱动器之间进行无线通信。
[0092]这使得能够利用光标进行远程指向。
[0093]在根据本公开的方案的输入信息装置中，包括η个传感器，η个传感器包括:第k传感器，其响应于第k类型的用户移动产生第k传感器数据，第k类型的用户移动是用户身体的一部分的运动；和第(k+Ι)传感器，其响应于比第k类型更精确的第(k+Ι)类型的用户移动产生第(k+Ι)传感器数据，第(k+Ι)类型的用户移动是用户身体的一部分的运动，其中，满足I < k〈n，其中，所述至少一个处理器:(i )计算混合光标移动信号，其具有对应于第k类型的用户移动的移动分量和对应于第(k+Ι)类型的用户移动的移动分量；(ii)使用通过组合第k传感器数据和其他传感器数据而获得的数据，设置对应于第k传感器数据的第k光标区域；以及(iii)使用通过组合第(k+Ι)传感器数据和其他传感器数据而获得的数据，在第k光标区域中设置对应于第(k+Ι)传感器数据的第(k+Ι)光标区域。
[0094]由此，用户可以使用身体的各部位使多个运动相互影响并且相组合。由此，可以逐渐且稳定地将在显示器上的图形光标移动从大移动转变为精确移动。因此，可以实现高度准确和稳定的远程指向。
[0095]本公开内容还可以被实现为具有特征单元的手持控制器。
[0096]本公开不仅可以被实现为包括特征单元的信息输入装置，而且可以被实现为用于控制该信息输入装置的方法，该方法将所述特征单元包括在信息输入装置中作为步骤。
[0097]参照图1，将描述根据实施例的信息输入装置。
[0098]图1是示出根据实施例的手持控制器和显示器上的光标的示意图。在本实施例中，用于控制光标12在显示器14上的位置、移动和外观的混合指向系统由作为信息输入装置的手持控制器10组成。这里，混合指向系统是指这样一种系统:其中，屏幕上或显示器上的光标受以协作方式结合的多个输入源的功能控制，多个输入源例如是手或手臂的空中运动和触摸板上手指或拇指的运动。显示器14可以是例如消费类电子娱乐设备的显示屏，例如宽屏电视。通过使用例如无线WiF1、蓝牙等射频(RF)发信号，手持控制器10进行无线通信。用于实施混合指向系统的处理器和相关联的电子件可以全部封装在手持控制器10内或可以分布在手持控制器10和消费类电子娱乐设备之间。因此图16示出了替代实施例，其中电子件分布在手持控制器和接收器设备之间。
[0099]根据实施例的手持控制器10包括至少一个触摸板16，还包括嵌入式运动感测电路(在下面讨论)来检测控制器10的空中移动。因此，手持控制器提供两种传感器数据源:空中移动数据和触摸板数据，其以混合方式组合以控制光标12如何在显示器14上显现以及它如何移动。
[0100]运动感测电路是响应于第一类型的用户移动而产生第一传感器数据的第一传感器。第一类型的用户移动例如是握住手持控制器10的用户的手的运动。第一类型的用户移动也可以是用户的手臂的移动。在这种情况下，第一传感器响应于用户的手臂运动而产生第一传感器数据。
[0101]触摸板16是响应于第二类型的用户移动而产生第二传感器数据的第二传感器。第二类型的用户移动的移动范围小于第一类型的用户移动的移动范围，并且运动比第一类型的用户移动更细微。第二类型的用户移动例如是用户的手指或拇指在触摸板16上的运动。
[0102]光标12是在显示器14上显示的图形光标。光标12定义了:作为第一光标的粗指针区域18 ;作为第二光标的精确指针22，其布置在粗指针区域18内并且小于粗指针区域18 ;以及中心20。
[0103]正如将要更全面描述的，手持控制器10的空中移动，如从一侧到另一侧的移动，会引起粗指针区域18 (和其内的精确指针22)在显示器14各处移动，一般跟踪用户如何在空中摇动控制器。因此，光标12 (特别是光标12的粗指针区域18)影响在显示器14各处的大规模移动。如将要描述的，粗指针区域18的整体尺寸取决于用户如何操纵手持控制器10而变化。
[0104]通过用拇指或手指触摸触摸板16，用户控制在粗指针区域18内的精确指针22。因此，光标12 (特别是光标12的精确指针22)影响在粗指针区域18内的小规模移动。
[0105]图2是根据实施例的手持控制器的功能框图。如图2所示，手持控制器10包括触摸板16、处理器24、存储器26、输入输出(I/O)接口电路28、无线收发器30、按键阵列32、触摸板驱动器34、加速度计36、磁力计37和陀螺仪38。
[0106]加速度计36、磁力计37和陀螺仪38都包括在上述的运动感测电路中，并对应于第一传感器。触摸板16和触摸板驱动器34对应于第二传感器。需要注意的是，可以设置一个以上触摸板16，并且多个触摸板16可以经由触摸板驱动器34连接。
[0107]处理器24计算用于移动光标12的混合光标信号，包括对应于第一类型的用户移动的大规模移动分量和对应于第二类型的用户移动的小规模移动分量。
[0108]存储器26用作用于存储程序指令的非瞬态计算机可读介质，当处理器24操作所述程序指令时实施下面描述的功能。存储器26还存储来自第一传感器和第二传感器的数据值、内部参数值、由处理器24计算出的中间值、以及用于控制光标12的位置、移动和外观的输出数据值。处理器24耦合到1/028，1/028与各种如图所示不同的传感器和设备进行通信。
[0109]耦合到1/028的是无线收发器30，无线收发器30用于通过射频与用于显示控制的与显示器14关联的电子电路通信。
[0110]控制器10还包括多个按钮，包括按键阵列32。用户可以选择性地按这些按键来执行某些常用的操作，如更换频道或增大/减小音量。
[0111]手持控制器10可以包括扬声器，当光标12响应于第一类型的用户移动和第二类型的用户移动而移动时扬声器输出操作声音。
[0112]为了感测空中运动，手持控制器10包括一个或多个惯性传感器(第一传感器)，如加速度计36、磁力计37和陀螺仪38。加速度计36产生指示线性运动的二阶导数的信号。优选实施例的加速度计36是三轴加速度计，其测量线性运动在三维参考系上的二阶导数。陀螺仪38产生指示旋转的信号，因而具有测量围绕特定轴的旋转率的能力。磁力计37产生指示指南针指向方向的信号。
[0113]一实施例可只使用陀螺仪38作为手持控制器10中的第一传感器。该实施例的优点是成本低。然而，只有陀螺仪38的方案可能会遇到一些偏差(drift)。
[0114]为了减少这种偏差的影响，在手持控制器10中可以将加速度计36与陀螺仪38组
入
口 ο
[0115]如图2所示，在手持控制器10中可以将磁力计37添加至加速度计36和陀螺仪38。添加磁力计37进一步降低了偏差的问题，并使得手持控制器10知道相对于地理参考系的实际指向方向，如真实的北_南-东-西；而不是仅仅是相对运动息。
[0116]作为惯性传感器的替代或除了惯性传感器之外，也可以使用光学跟踪系统。光学跟踪系统使用远程控制的红外线照相机，其跟踪沿显示器14的顶部或底部布置的红外发光二极管。
[0117]如前所述，用于实施混合指向系统(包括手持控制器10和显示器14)和用于该系统的控制方法的处理器和电子件能够单独配置在手持控制器10中，或跨其他部件分布，例如，接收器、蓝光光盘播放器、电视接收器、音频视频处理器等。例如，参见图16。
[0118]图16是示出了根据实施例的第一变型的手持控制器和显示器上的光标的示意图。如图16所示，手持控制器10包括触摸板16、处理器26c、存储器24c、I/028、无线收发器30c、按键阵列32、触摸板驱动器34、加速度计36、磁力计37、陀螺仪38和扬声器48。消费类电子产品15包括处理器24、存储器26、无线收发器30、I/O、以及显示驱动器。
[0119]显示器14被耦合到消费类电子产品15，如接收器、蓝光光盘播放器、电视接收器、音频-视频处理器等。用于实现混合指向系统的处理器和电子件跨越手持控制器10和消费类电子产品15分布。换言之，构成信息输入装置的一些部件配置在手持控制器10内，而其他部件配置在消费类电子产品15内。图16示出一种可能的分布。更具体地，根据本公开的信息输入装置包括手持控制器10和消费类电子产品15，并且作为第二传感器的触摸板16、作为第一传感器的加速度计36、磁力计37和陀螺仪38布置在手持控制器10内，而计算混合光标移动信号的处理器24与手持控制器10分开布置，如在消费类电子产品15内。如果需要的话，用于实现混合指向系统的处理器(或多个处理器)可以与光标生成和显示系统共享或定义光标生成和显不系统的一部分。
[0120]手持控制器10包括与存储器24c相关联的处理器26c，处理器26c通过其1/028进行通信，以经由一对无线收发器:收发器30c (在手持控制器上)和收发器30 (在消费类电子产品上)向消费类电子产品15提供从第一传感器和第二传感器获得的传感器移动数据。
[0121]然后，消费类电子产品15内的处理器24使用此传感器移动数据来计算混合光标移动信号。
[0122]在该变型例中，进一步布置用于从手持控制器10输出操作声音的扬声器48。由此，当光标12响应于第一类型的用户移动和第二类型的用户移动而移动时，根据本公开的信息输入装置是可以改变操作声音的，并且输出操作声音。由此，当用户使用手持控制器10在显示器14上移动光标时，可以只依靠用户的视觉来执行该操作，也可以依靠听觉来执行该操作。这提高了信息输入装置的可操作性。需要注意的是，扬声器48可以布置在消费类电子产品15中。
[0123]在一般情况下，根据本公开的信息输入装置可以包括任意复数的传感器(两个或更多)，并且可以使用任意复数的传感器实现用于控制信息输入装置的方法。在本实施例中，控制器10使用两个传感器:空中运动传感器(第一传感器)和触摸板传感器(第二传感器)。这是一种可以使用复数η个传感器的更一般情况的特殊情况。这样，信息输入装置和用于控制信息输入装置的方法可以例如在特定的应用中将来自三个或更多传感器的输出组合在一起。此外，虽然复数个传感器在本质上均完全不同(空中运动传感器提供的数据与由触摸板传感器提供的数据种类不同)，但是除了在图2中描述的那些以外仍可以进行许多选择。
[0124]图3Α是根据实施例的第二变型的手持控制器的外部视图，图3Β是根据实施例的第三变型的手持控制器的外部视图。图3C示出根据实施例的第三变型的手持控制器和非触摸式手势之间的位置关系。例如，如在图3Α和图3Β中所示，触摸板16可以结合到感测非触摸式手势40的装置40中。装置40感测用户的手在接近手持控制器10的近场区域44内的空中运动，如图3C所示。更具体地，在根据实施例的第二变型和第三变型中，即使手持控制器10不与用户一起移动，处理器24也能基于来自以非触摸的方式感测手的移动的装置40的第一传感器数据和来自触摸板16的第二传感器数据产生混合光标移动信号。
[0125]在根据本公开的信息输入装置的硬件部件的变型也是可能的，如上面所述。
[0126]图4是示出根据实施例的第四变型的手持控制器和显示器上的光标的示意图。图4示出又一实施例，其中手持控制器10与计算机46进行无线通信并且显示器14被附到计算机上。
[0127]根据实施例的信息输入装置和用于控制信息输入装置的方法以及变型采用来自不同传感器的信号并且将它们以独特、协作的方式进行组合。在这方面，在图1和图2中示出的实施例是两个传感器的实施例，其中运动数据和触摸板数据被组合。
[0128]此外，下面是第二传感器的变型。
[0129]图5Α是根据实施例的第五变型的手持控制器的外部视图，图5Β是根据实施例的第六变型的手持控制器的外部视图。图5Α中示出的手持控制器与图1和图2中的手持控制器仅在第二传感器的配置方面不同，其是布置的操纵杆91而不是触摸板16。利用该配置，处理器24计算与倾斜信息相关联的手部运动相对应的大规模移动分量，并计算与手部运动相关联的操纵杆91的倾斜信息相对应的小规模移动分量。
[0130]图5Β中示出的手持控制器与图1和图2中示出的手持控制器仅在第二传感器的配置方面不同，图5Β中示出的手持控制器包括布置的轨迹球92而不是触摸板16。根据该配置，处理器24计算与轨迹球92的旋转信息相关联的手部运动相对应的大规模移动分量，并计算与手部运动相关联的轨迹球92的旋转信息相对应的小规模移动分量。
[0131]图6示出了根据本实施例的用于控制信息输入装置的方法的概念。从第一传感器获得的运动数据50 (第一传感器数据)和从第二传感器获得的触摸板数据52 (第二传感器数据)，被供给到实施混合指向/选择方法54的处理器24，该方法以协作的方式组合各个数据。虽然运动数据50用于控制作为图1中的第一光标的粗指针区域18，并且触摸板数据52用于控制作为图1中的第二光标的精确指针22，但是运动数据和触摸板通过处理器24彼此相互影响，使得粗指针区域18的移动也受到触摸板数据52的影响并且精确指针22的移动受到移动数据50的影响。
[0132]然后，由处理器24执行的混合指向/选择方法54将混合光标移动信号供给到可以处理在显示器14上产生实际光标的应用程序56。换言之，应用程序56负责基于混合指向/选择方法54的结果产生光标的图形外观并且将光标12放置在显示器14上的位置处。
[0133]当然，应用程序56不一定限于在显示器14上产生光标12。也可以实现其他应用程序功能。在这方面，混合指向/选择方法54提供原始的光标位置和光标尺寸信息，应用程序56可以使用其来实现应用程序的预期目标。因此，例如，视频游戏应用程序可以使用来自方法54的位置和光标尺寸信息以控制游戏中的角色或者玩家的移动。在这样的实施中，粗指针区域18的移动可用于控制角色身体的位置，而精确指针22的移动可用于控制角色的手臂。
[0134]作为用于控制信息输入装置的方法的混合指向/选择方法54提供了几个优点。一个优点是启用级联控制，其中每个不同的传感器控制不同精度的指向范围。这已在图7中示出。
[0135]图7示出根据本公开的信息输入装置的级联控制。在图7的实施例中使用了三个传感器。第一传感器响应第一位置范围60。第一传感器捕获用户的输入以标识或突出第一选择范围62，然后将其放大并呈现为第二位置范围64。在此放大的视图中，响应于部分传感器而做出用户的选择，从而使用户更精确地突出或选择第二选择范围66。然后将第二选择范围66放大为第三位置范围68，并且第三传感器响应用户的选择。这允许用户最终突出第三选择范围72内的非常精确的点70。
[0136]根据上述的组合各传感器数据的混合方式，一级的输出也可以与其他级的传感器信号相关。因此，每一个传感器的范围可以以级联的方式使用，其中第一级的输出用于约束下一级的搜索空间。换句话说，任一传感器源级别的信号处理依赖于来自其他传感器源的信号。其结果是准确的、稳定的且响应性的动态适应用户意图的光标位置和光标大小。
[0137]以下将具体描述作为用于控制信息输入装置的方法的混合指向/选择方法54。
[0138]图8是示出根据本公开的用于控制信息输入装置的方法的操作流程图。图9是具体地示出根据实施例的用于控制信息输入装置的方法的操作流程图。
[0139]作为根据本公开的用于控制信息输入装置的方法的混合指向/选择方法54，例如由编程处理器24使用存储在存储器26中的程序指令来实现。
[0140]首先，处理器24使第一传感器响应于第一类型的用户移动以产生第一传感器数据(S11)。
[0141]此外，处理器24使第二传感器响应于第二类型的用户移动，第二类型的用户移动具有比第一类型的用户移动的移动范围更小的移动范围，并且比第一类型的用户移动更精确(S21)。
[0142]更具体地，关于步骤Sll和步骤S21，如图9所示，响应于在与第一类型的用户移动对应的空间中的手部运动，作为第一传感器数据的运动数据50 (P*hand)被第一传感器供给到处理器24。响应于在与第二类型的用户移动对应的触摸板16上的手指运动，第二传感器将作为第二传感器数据的触摸板数据52 (P^finger)供给到处理器24。
[0143]接着，基于代表与第一类型的用户移动对应的第一传感器的灵敏度的第一灵敏度参数，处理器24计算对应于第一类型的用户移动的大规模移动分量，第一灵敏度参数通过使第二传感器数据与第一传感器数据相关联而确定(S12)。
[0144]接着，基于代表与第二类型的用户移动对应的第二传感器的灵敏度的第二灵敏度参数，处理器24计算对应于第二类型的用户移动的小规模移动分量，第二灵敏度参数通过使第一传感器数据与第二传感器数据相关联而确定(S22)。
[0145]更具体地，在步骤S12和步骤S22中，运动数据50被提供到手部运动意图计算处理器73 (其是处理器24的一部分)以从正在做出的手部运动手势中提取用户的意图，如图9所示。移动数据50也被供给到手指运动意图计算处理器74，从而在考虑用户正执行手部手势移动的方式将对系统如何解释从触摸板数据52获得的手指运动具有一定关系的条件下，提取手部运动意图。
[0146]以类似的方式，触摸板数据52被提供给作为处理器24的一部分的手指运动意图计算处理器74，并且也提供给手部运动意图计算处理器73。因此，手部运动意图计算结果在一定程度上取决于在正执行空中手势运动的同时用户正在用触摸板做什么。
[0147]手部运动 意图计算处理器73和手指运动意图计算处理器74产生运动灵敏度参数，此处由α表示。更具体地，手部运动意图计算处理部73计算关于手部运动Cihand的灵敏度参数，如表达式1:1手》或掃》不働摸触摸板
[0148]
【权利要求】
1.一种信息输入装置，用于用户控制在显示器上显示的图形光标，所述信息输入装置包括: 第一传感器，其响应于第一类型的用户移动产生第一传感器数据，所述第一类型的用户移动是用户身体的一部分的运动； 第二传感器，其响应于比所述第一类型更精确的第二类型的用户移动产生第二传感器数据，所述第二类型的用户移动是用户身体的一部分的运动；以及 至少一个处理器，其计算具有大规模移动分量和小规模移动分量的混合光标移动信号，所述大规模移动分量对应于所述第一类型的用户移动，所述小规模移动分量对应于所述第二类型的用户移动并且代表比所述大规模移动分量更小规模的移动，所述混合光标移动信号用于移动图形光标； 其中，所述至少一个处理器基于第一灵敏度参数计算所述大规模移动分量，所述第一灵敏度参数代表所述第一传感器相对于所述第一类型的用户移动的灵敏度并且是通过使所述第二传感器数据与所述第一传感器数据相关联确定出的，并且 其中，所述至少一个处理器基于第二灵敏度参数计算所述小规模移动分量，所述第二灵敏度参数代表所述第二传感器相对于所述第二类型的用户移动的灵敏度并且是通过使所述第一传感器数据与所述第二传感器数据相关联确定出的。
2.根据权利要求1所述的信息输入装置， 其中，当既执行所述第一类型的用户移动又执行所述第二类型的用户移动时，对于更密集的第二类型的用户移动，所述至少一个处理器通过将所述第一灵敏度参数设置得更小来抑制所述大规模移动分量，并且对于更密集的第一类型的用户移动，通过将所述第二灵敏度参数设置得更小来抑制小规模移动分量。
3.根据权利要求2所述的信息`输入装置， 其中，所述图形光标至少包括第一光标和第二光标，所述第二光标小于所述第一光标并且位于所述第一光标中，并且 所述至少一个处理器还将所述第一光标的大小设置为更小以用于较大的第一灵敏度参数或较小的第二灵敏度参数。
4.根据权利要求2所述的信息输入装置， 其中，所述图形光标至少包括第一光标和第二光标，所述第二光标小于所述第一光标并且位于所述第一光标中，并且 所述大规模移动分量是用于移动所述第一光标和所述第二光标的信号分量，并且所述小规模移动分量是用于移动所述第二光标的信号分量。
5.根据权利要求1所述的信息输入装置， 其中，所述第一传感器是感测手或手臂的运动的传感器。
6.根据权利要求1所述的信息输入装置， 其中，所述第二传感器是感测手指或拇指的运动的传感器。
7.根据权利要求1所述的信息输入装置，还包括: 发射器，其用于在所述至少一个处理器和用于在显示器上显示图形光标的显示驱动器之间进行无线通信。
8.根据权利要求1所述的信息输入装置，包括:η个传感器，包括:第k传感器，其响应于第k类型的用户移动产生第k传感器数据，所述第k类型的用户移动是用户身体的一部分的运动；以及第(k+Ι)传感器，其响应于比第k类型更精确的第(k+Ι)类型的用户移动产生第(k+Ι)传感器数据，所述第(k+Ι)类型的用户移动是用户身体的一部分的运动，其中，满足I ( k〈n， 其中，所述至少一个处理器:(i)计算混合光标移动信号，其具有对应于所述第k类型的用户移动的移动分量和对应于所述第(k+Ι)类型的用户移动的移动分量；(ii)使用通过组合所述第k传感器数据和其他传感器数据而获得的数据，设置对应于所述第k传感器数据的第k光标区域；以及(iii)使用通过组合第(k+Ι)传感器数据和其他传感器数据而获得的数据，在第k光标区域中设置对应于第(k+Ι)传感器数据的第(k+Ι)光标区域。
9.一种手持控制器，用于用户控制在显示器上显示的图形光标，所述手持控制器包括: 空中运动传感器，其产生表示所述手持控制器相对于第一参考系的移动的第一信号；触摸传感器，其响应于用户手指或拇指的触摸运动产生第二信号，所述第二信号表示用户手指或拇指相对于第二参考系的移动，所述第二参考系与由用户手指或拇指所触摸的触摸传感器的表面区域相关联；以及 至少一个处理器，其计算所述图形光标的光标大小和位置数据， 其中，通过将根据第一信号和第二信号的密集度进行加权的所述第一信号和所述第二信号进行组合，所述至少一个处理器计算第一光标的大小和位置数据以及第二光标的大小和位置数据，所述第一光标对应于手持控制器的移动，所述第二光标小于所述第一光标并且对应于用户手指或拇指的触摸运动。
10.根据权利要求9所述的手`持控制器， 其中，所述空中运动传感器是感测手或手臂的运动的传感器。
11.根据权利要求9所述的手持控制器， 其中，所述触摸传感器是感测手指或拇指的运动的传感器。
12.一种用于控制信息输入装置的方法，用于用户控制在显示器上显示的图形光标，所述方法包括: 由第一传感器响应于第一类型的用户移动而产生第一传感器数据，所述第一类型的用户移动是用户身体的一部分的运动； 由第二传感器响应于比第一类型更精确的第二类型的用户移动而产生第二传感器数据，所述第二类型的用户移动是用户身体的一部分的运动； 基于第一灵敏度参数计算对应于所述第一类型的用户移动的大规模移动分量，所述第一灵敏度参数代表所述第一传感器相对于所述第一类型的用户移动的灵敏度并且是通过使第二传感器数据与第一传感器数据相关联确定出；并且 基于第二灵敏度参数计算小规模移动分量，所述小规模移动分量对应于所述第二类型的用户移动并且代表比所述大规模移动分量更小规模的移动，所述第二灵敏度参数代表所述第二传感器相对于所述第二类型的用户移动的灵敏度并且是通过使第一传感器数据与第二传感器数据相关联确定出的；并且 通过组合所述大规模移动分量和所述小规模移动分量来计算用于移动图形光标的混合光标移动信号。
13.根据权利要求12所述的用于控制信息输入装置的方法， 其中，在计算所述大规模移动分量和所述小规模移动分量时，当既执行所述第一类型的用户移动又执行所述第二类型的用户移动时，对于更密集的第二类型的用户移动，通过将所述第一灵敏度参数设置得更小来抑制所述大规模移动分量，并且对于更密集的第一类型的用户移动，通过将所述第二灵敏度参数设置得更小来抑制所述小规模移动分量。
14.根据权利要求12所述的用于控制信息输入装置的方法， 其中，所述图形光标至少包括第一光标和第二光标，所述第二光标小于所述第一光标并且位于所述第一光标中，并且 所述第一光标的大小被设置为更小以用于较大的第一灵敏度参数或较小的第二灵敏度参 数。
【文档编号】G06F3/01GK103518173SQ201280022398
【公开日】2014年1月15日 申请日期:2012年10月4日 优先权日:2011年10月13日
【发明者】费越, P·莫兰, D·克里热, 山内真树, 小岛良宏 申请人:松下电器产业株式会社
最新回复(0)