以力检测扩增的用户接口元件的制作方法

xiaoxiao2020-7-22  4

【专利下载】Tel:18215660330

以力检测扩增的用户接口元件的制作方法
【专利摘要】一种计算装置包含具有至少一个力传感器的触摸屏显示器,所述力传感器中的每一者响应于与所述触摸屏显示器的接触而提供信号。使用来自所述至少一个力传感器的源自与所述触摸屏的接触的力信号,可控制所述计算装置的操作,例如以选择多个上覆接口元件中的一者,防止需要二次确认的可疑命令的非既定激活,且在经扩增现实应用中模仿真实世界对象的力要求。
【专利说明】以力检测扩增的用户接口元件
[0001]相关申请案的交叉参考
[0002]本申请案主张2012年3月9日申请的且标题为“以力检测扩增的用户接口元件(User Interface Elements Augmented With Force Detection),,的第 13/416,731 号美国申请案的优先权,所述美国申请案又依据35USC119主张2011年5月19日申请的且标题为“以力检测扩增的用户接口兀件(User Interface Elements Augmented With ForceDetection) ”的第61/488,072号美国临时申请案的优先权,所述两个申请案均转让给本受让人且以引用的方式并入本文中。
【技术领域】
[0003]本文描述的标的物的实施例大体涉及计算系统的用户接口,且更特定来说涉及计算系统的用户接口中的力检测。
【背景技术】
[0004]触摸屏显示器在例如智能电话等当前移动平台应用中已变得普遍。触摸屏显示器不需要小键盘。在一种变型中,使用触摸屏显示器不仅作为小键盘的替代品,而且作为检测触摸屏上的用户手势且将所述手势转化为待执行的所要命令的用户接口。
[0005]触摸屏显示器常规上为IXD (液晶显示器)技术,或LPD (发光聚合物显示器)技术。触摸传感器覆盖在屏幕上,所述触摸传感器使用例如电容性、电阻性、红外线和表面声波技术等触摸感测技术来确定与触摸屏的一个或一个以上接触点。然而,触摸感测技术接收显示器平面中二维的信息。例如电容性传感器等一些触摸感测技术可检测对象距触摸屏显示器12有多近,但最终当所检测到的参数(例如,电容)在指定阈值内时确定对象处于接触状态。因此,此类触摸感测技术确实仅在检测二维信息,即对象是否足够接近以致被视为接触,且如果是,那么检测所述接触的二维位置。因此,常规电容性触摸屏和用户接口仅响应于触摸而非力。
[0006]因此,常规触摸屏显示器充当二维用户接口,借此限制了用户的介接机会和对其的装置响应。

【发明内容】

[0007]—种计算装置包含具有至少一个力传感器的触摸屏显示器,所述力传感器中的每一者响应于与所述触摸屏显示器的接触而提供信号。使用来自所述至少一个力传感器的源自与所述触摸屏接触的力信号,可控制所述计算装置的操作,例如以选择多个上覆接口元件中的一者,来防止需要二次确认的命令的非既定激活,且在经扩增现实应用中模仿真实世界对象的力要求。
[0008]在一个实施方案中,一种方法包含:在操作地耦合到计算装置的触摸屏显示器上显示至少部分重叠的多个可选对象;使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平;使用所述接触的所述力水平从所述多个可选对象中选择对象;以及基于所选定的对象控制计算装置。
[0009]在一个实施方案中,一种设备包含:外壳;触摸屏显不器,其包括显不器和稱合在外壳与显示器之间的至少一个力传感器;以及处理器,其经连接以从所述至少一个力传感器接收数据,其中所述处理器经配置以致使触摸屏显示器:显示至少部分重叠的多个可选对象;基于来自所述至少一个力传感器的数据确定与触摸屏显示器的接触的力水平;使用所述接触的所述力水平从所述多个可选对象中选择对象;且起始与所选定的对象相关联的命令。
[0010]在一个实施方案中,一种设备包含:用于在操作地耦合到计算装置的触摸屏显示器上显示至少部分重叠的多个可选对象的装置;用于使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平的装置;用于使用所述接触的所述力水平从所述多个可选对象中选择对象的装置;以及用于基于所选定的对象控制计算装置的装置。
[0011]在一个实施方案中,一种包含存储在其上的程序代码的非暂时性计算机可读媒体包含:用以在操作地耦合到计算装置的触摸屏显示器上显示至少部分重叠的多个可选对象的程序代码;用以使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平的程序代码;用以使用所述接触的所述力水平从所述多个可选对象中选择对象的程序代码;以及用以基于所选定的对象控制计算装置的程序代码。
[0012]在一个实施方案中,一种方法包含:检测与触摸屏显示器上的可选对象的接触,所述可选对象与控制计算装置的命令相关联;确定所述控制计算装置的命令需要二次确认;使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平;以及响应于与所述可选对象的接触和所述力水平起始所述命令。
[0013]在一个实施方案中,一种设备包含:外壳;触摸屏显不器,其包括显不器、稱合到显示器的触摸传感器,和耦合在外壳与显示器之间的至少一个力传感器;以及处理器,其经连接以从所述触摸传感器和所述至少一个力传感器接收数据,其中所述处理器经配置以:基于来自触摸传感器的数据检测与触摸屏显示器上的可选对象的接触,所述可选对象与一命令相关联;确定所述命令需要二次确认;基于来自所述至少一个力传感器的数据确定与触摸屏显示器的接触的力水平;且响应于与所述可选对象的接触和所述力水平起始所述命令。
[0014]在一个实施方案中,一种设备包含:用于检测与触摸屏显示器上的可选对象的接触的装置,所述可选对象与控制计算装置的命令相关联;用于确定所述控制计算装置的命令需要二次确认的装置;用于使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平的装置;以及用于响应于与所述可选对象的接触和所述力水平起始所述命令的装置。
[0015]在一个实施方案中,一种包含存储在其上的程序代码的非暂时性计算机可读媒体包含:用以检测与触摸屏显示器上的可选对象的接触的程序代码,所述可选对象与控制计算装置的命令相关联;用以确定所述控制计算装置的命令需要二次确认的程序代码;用以使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平的程序代码;以及用以响应于与所述可选对象的接触和所述力水平起始所述命令的程序代码。
[0016]在一个实施方案中,一种方法包含:在操作地耦合到计算装置的触摸屏显示器上显示真实世界装置的经扩增现实表示,其中所述经扩增现实表示包括与真实世界装置上的真实世界可选对象相关联的可选对象,所述真实世界可选对象具有用以选择的力要求;检测与触摸屏显示器上的可选对象的接触;使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平;将所述力水平与同力要求相关联的力阈值进行比较;以及当力水平大于力阈值时响应于所述接触控制计算装置。
[0017]在一个实施方案中,一种设备包含:外壳;相机,其用以俘获具有拥有用以选择的力要求的真实世界可选对象的真实世界装置的图像;触摸屏显示器,其包括显示器、耦合到显示器的触摸传感器,和耦合在外壳与显示器之间的至少一个力传感器;以及处理器,其经连接以从所述相机接收图像以及从所述触摸传感器和所述至少一个力传感器接收数据,其中所述处理器经配置以致使显示器:在显示器上显示真实世界装置的经扩增现实表示,其中所述经扩增现实表示包括与真实世界可选对象相关联的可选对象;基于来自触摸传感器的数据检测与触摸屏显示器上的可选对象的接触;基于来自所述至少一个力传感器的数据确定与触摸屏显示器的接触的力水平;将所述力水平与同力要求相关联的力阈值进行比较;且当力水平大于力阈值时响应于所述接触起始与可选对象相关联的命令。
[0018]在一个实施方案中,一种设备包含:用于在操作地耦合到计算装置的触摸屏显示器上显示真实世界装置的经扩增现实表示的装置,其中所述经扩增现实表示包括与真实世界装置上的真实世界可选对象相关联的可选对象,所述真实世界可选对象具有用以选择的力要求;用于检测与触摸屏显示器上的可选对象的接触的装置;用于使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平的装置;用于将所述力水平与同力要求相关联的力阈值进行比较的装置;以及用于当力水平大于力阈值时响应于所述接触控制计算装置的装置。
[0019]在一个实施方案中,一种包含存储在其上的程序代码的非暂时性计算机可读媒体包含:用以在操作地耦合到计算装置的触摸屏显示器上显示真实世界装置的经扩增现实表示的程序代码,其中所述经扩增现实表示包括与真实世界装置上的真实世界可选对象相关联的可选对象,所述真实世界可选对象具有用以选择的力要求;用以检测与触摸屏显示器上的可选对象的接触的程序代码;用以使用耦合到触摸屏显示器的至少一个力传感器确定与触摸屏显示器的接触的力水平的程序代码;用以将所述力水平与同力要求相关联的力阈值进行比较的程序代码;以及用以当力水平大于力阈值时响应于所述接触控制计算装置的程序代码。
【专利附图】

【附图说明】
[0020]图1说明具有检测三维触摸信息的触摸屏显示器的计算装置。
[0021]图2说明具有用以检测三维触摸信息的力传感器的触摸屏显示器的透视图。
[0022]图3是具有拥有力传感器且能够支持三维用户介接所提示的命令的触摸屏显示器的计算装置的框图。
[0023]图4是说明使用触摸屏显示器上的至少一个力传感器来通过使用所检测到的力选择多个上覆接口元件中的一者而控制计算装置的操作的一个实施例的流程图。
[0024]图5说明用户以一力接触计算装置的触摸屏显示器以选择多个上覆接口元件中
的一者。
[0025]图6是说明使用触摸屏显示器上的至少一个力传感器来通过防止需要二次确认的可疑命令的非既定激活而控制计算装置的操作的一个实施例的流程图,所述可疑命令例如为与异常、不可逆转、非默认或潜在系统危险动作相关联的命令。
[0026]图7借助实例说明用户接触计算装置的触摸屏显示器,这通过需要具有较高力水平的接触而防止需要二次确认的可疑命令的非既定激活。
[0027]图8是说明使用触摸屏显示器上的至少一个力传感器来控制计算装置的操作以在经扩增现实应用中模仿真实世界对象的力要求的一个实施例的流程图。
[0028]图9借助实例说明用户接触包含模仿真实世界对象的力要求的经扩增现实应用的计算装置的触摸屏显示器。
【具体实施方式】
[0029]图1说明具有检测三维(B卩,沿着X轴、Y轴和Z轴)触摸信息的触摸屏显示器102的计算装置100。在添加Z轴信息的情况下,触摸屏显示器102允许三维介接且不限于触摸屏表面上的简单二维接口。
[0030]计算装置100可为移动平台,例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PM)、个人数字助理(PDA)、膝上型或其它适宜的移动装置或任何其它适宜的静止计算装置(包含台式计算机或其它类似装置)。“计算装置”因此既定包含具有包含触摸屏显示器的用户接口的所有装置,包含无线通信装置、计算机、膝上型计算机等。
[0031]图2以X、Y和Z轴说明计算机装置100的触摸屏显示器102的透视图。触摸屏显示器102包含显示元件104 (例如,IXD显示器、LPD显示器或其它适当显示器),且包含至少一个力传感器106,且在一些实施例中,多个力传感器106位于例如显示元件104的周边周围在显示元件104与外壳108 (在计算装置100的情况下)的框架之间。力传感器106可用粘合方式附接到外壳108和显示元件104。因此,显示元件104经由力传感器106连接到外壳108。如图2中说明,四个力传感器106位于显示元件104的左侧和右侧上,且三个力传感器106沿着显示元件104的顶侧和底侧定位。可视需要使用更多或更少力传感器106以及与图2中说明的不同的布置。举例来说,可使用四个力传感器106,每一个力传感器106在显示元件104的每一隅角中。视需要,与布置在周边周围形成对比或除布置在周边周围之外,力传感器106可位于显示元件104的中心中。力传感器106可为电容性力传感器,例如 PPS Touch Technology 公司、Stantum 公司、Peratech 有限公司或 Artificial Muscle公司生产的电容性力传感器。可视需要使用例如由Interlink公司生产的例如电阻性力传感器等其它力传感器。另外,可使用例如由Measurement Specialties公司产生的聚合物类型或由Murata公司生产的陶瓷类型等压电力传感器,或任何其它适当类型的力传感器。
[0032]力传感器106检测施加到传感器的力或力的量。在多个力传感器106布置在显示元件104与外壳108之间的情况下,力传感器106可一起使用以确定Z轴中施加到显示元件104的力,以及沿着X和Y轴的力的矩心。举例来说,施加到显示元件104的左上角的触摸将通过力传感器106在左上角附近比力传感器106在右下角附近产生更大的力读数。
[0033]可执行校准以补偿当施加力时显示元件104中的玻璃或塑料的可能变形。可通过将已知力施加到显示元件104的特定区域且沿着Z轴调整所得力读数以及沿着X和Y轴调整力的矩心以与所述已知力和施加力的所述特定区域对应,来执行校准。触摸屏显示器102可进一步包含在显示元件104上方的常规触摸传感器110,其可为电容性、电阻性、红外线和表面声波技术。可使用触摸传感器110来通过确保由力传感器106确定的力的矩心与由触摸传感器110识别的触摸位置紧密对准(例如,居中)来校准力传感器106。
[0034]图3是具有操作地耦合到计算装置100的至少一个力传感器106且能够支持三维用户介接提示的命令的触摸屏显示器102的框图。计算装置100是包含用于响应于与触摸屏显示器的接触接收来自触摸屏显示器的多个位置的力测量值的装置的系统,所述装置可包含(例如)力传感器106以及控制单元150,控制单元150可包含处理器152以及相关联存储器154、硬件156、软件158和固件157。
[0035]计算装置100包含与控制单元150通信的用户接口 160,例如控制单元150接受数据并控制用户接口 160。应理解,对于一些计算装置(例如,台式计算机)来说,触摸屏显示器102可物理上与控制单元150分离且经由电缆或以无线方式连接到控制单元150。用户接口 160包含触摸屏显示器102,触摸屏显示器102包含显示元件104。触摸屏显示器102进一步包含力传感器106且可包含触摸传感器110。显示元件104、力传感器106和触摸传感器110由控制单元150分别通过显示控制器192、力传感器控制器196和触摸传感器控制器194控制。
[0036]用户接口 160可进一步包含小键盘162或用户可经由其将信息输入到计算装置100中的其它输入装置。视需要,可通过将虚拟小键盘集成到触摸屏显示器102中而避免小键盘162。用户接口 160还可包含(例如)麦克风164和扬声器166,例如当计算装置100为蜂窝式电话时。用户接口 160还可包含用于提供触觉反馈的振动器163。
[0037]计算装置100可进一步包含用于俘获可在例如经扩增现实类型应用中使用的图像的相机112。计算装置100可进一步包含收发器114(包含发射器和接收器),例如能够经由天线172将通信发送到蜂窝式塔、无线接入点或其它无线装置以及接收来自其的通信的蜂窝式调制解调器或无线网络无线电接收器/发射器。计算装置100可进一步包含运动传感器180,例如三轴加速度计或陀螺仪。运动传感器180可用作用户接口 160的一部分,例如以检测呈计算装置100的移动的形式的手势或当手势由触摸屏显示器102检测到时检测计算装置100的定向。运动传感器180和/或相机112还可用于可在经扩增现实类型应用中使用的位置确定。
[0038]控制单元150可由处理器152以及相关联存储器154、硬件156、软件158和固件157提供。控制单元150包含用于控制显示元件104的装置、用于控制触摸传感器110的装置,以及用于控制力传感器106的装置,分别说明为显示控制器192、触摸传感器控制器194和力传感器控制器196。控制单元150还可包含执行经扩增现实类型应用的经扩增现实(AR)控制器198。显示控制器192、触摸传感器控制器194、力传感器控制器196和AR控制器198可植入在处理器152、硬件156、固件157或软件158 (即,存储在存储器154中且由处理器152执行的计算机可读媒体)或其组合中。然而,为清楚起见单独说明显示控制器192、触摸传感器控制器194和力传感器控制器196以及AR控制器198。举例来说,由Cypress公司制造的触摸屏控制器可用作触摸传感器控制器194以及力传感器控制器196。此外,具有A/D转换或其它阻抗测量电路的分压器可与电阻性力传感器控制器196 —起使用。
[0039]将了解,如本文所使用,处理器152可(但不需要一定)包含一个或一个以上微处理器、内嵌式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等。术语处理器既定描述由系统而非特定硬件实施的功能。此外,如本文所使用,术语“存储器”指代任何类型的计算机存储媒体,包含长期、短期或与移动平台相关联的其它存储器,且不限于任何特定类型的存储器或特定数目的存储器,或上面存储存储器的特定类型的媒体。
[0040]本文描述的方法可依据应用通过各种手段实施。举例来说,这些方法可实施在硬件156、固件157、软件158或其任何组合中。对于硬件实施方案,处理单元可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSH))、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文描述的功能的其它电子单元,或其组合内。
[0041]对于固件及/或软件实施方案,可用执行本文所描述的功能的模块(例如,过程、函数等)来实施所述方法。可使用有形地体现指令的任何机器可读媒体来实施本文描述的方法。举例来说,软件代码可存储在存储器154中且由处理器152执行。存储器可实施在处理器单元内或处理器单元外部。如本文所使用,术语“存储器”指代任何类型的长期、短期、易失性、非易失性或其它存储器,且不限于任何特定类型的存储器或特定数目的存储器,或上面存储存储器的特定类型的媒体。
[0042]计算装置100可包含用于在触摸屏显示器102上显示至少部分重叠的多个可选对象的装置,其可包含显示控制器192和显示元件104。用于确定施加到触摸屏显示器102的力的量值(有时称为水平或力水平)的装置包含力传感器106和力传感器控制器196。用于使用接触的力水平来从所述多个可选对象中选择对象的装置以及用于基于选定对象控制计算装置的装置可包含处理器152、硬件156、固件157以及相关联软件158。计算装置可进一步包含用于检测与触摸屏显示器上的对象的接触的装置,其可包含触摸传感器和触摸传感器控制器194。用于确定用以控制计算装置的命令需要二次确认的装置以及用于起始所述命令的装置可包含处理器152、硬件156、固件157以及相关联软件158。计算装置100还可包含用于显示真实世界装置的经扩增现实表示的装置,其可包含AR控制器198、相机112和运动传感器180。用于将接触的力水平与力阈值进行比较的装置可包含处理器152、硬件156、固件157以及相关联软件158。
[0043]软件158可包含存储在非暂时性计算机可读媒体(例如,存储器154)中且由处理器152执行的程序代码,且所述程序代码可用于运行处理器并控制如本文描述的计算装置100的操作。存储在计算机可读媒体中的程序代码可额外包含用以致使处理器控制如下文进一步描述的计算装置100的任何操作的程序代码。
[0044]如果实施在固件和/或软件中,那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上。实例包含以数据结构编码的计算机可读媒体和以计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助实例且非限制,此类计算机可读媒体可包括RAM、ROM、EEPR0M、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于存储呈指令或数据结构的形式的所要程序代码并可由计算机存取的任何其它媒体;如本文使用的光盘和磁盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。上文的组合也应包含在计算机可读媒体的范围内。[0045]图4是说明使用触摸屏显示器102上的至少一个力传感器106来通过使用所检测到的力选择多个上覆接口元件中的一者而控制计算装置100的操作的一个实施例的流程图。使用力检测来选择接口元件可尤其有用,例如在用户正步行且不拥有使用精细马达控制来选择对象的优势的情况下。如图4中说明,在操作地耦合到计算装置100的触摸屏显示器上显示至少部分重叠的多个可选对象(202)。可选对象可为半透明的,使得下伏可选对象为用户可见的,以便警告用户可选择的选项。使用耦合到触摸屏显示器102的至少一个力传感器106确定与触摸屏显示器102的接触的力水平(204)。视需要,触摸屏显示器102上的接触的位置还可例如基于耦合到触摸屏显示器的触摸传感器110来检测,且用于确定选择了重叠的可选对象的若干群组中的哪一者。使用接触的力水平来从多个可选对象中选择对象(206)。举例来说,可能需要比选择上覆对象所需的力大的力来选择下伏对象。基于力水平的对象的选择可通过将力水平与同可选对象中的每一者相关联的力阈值进行比较来执行,例如在超过与可选对象相关联的力阈值导致选择下伏对象的情况下。接着基于选定的对象适当控制计算装置(208),例如通过起始与选定对象相关联的命令或通过提供触觉反馈以指示选择了对象。可例如通过致使计算装置100振动(例如,使用振动器163)来提供触觉反馈。触觉反馈还可由例如Artificial Muscle公司生产的合成弹性体活化剂提供,这些合成弹性体活化剂可安装在框架中、滚动到圆柱体中,或以其它配置安装以提供适当触觉反馈。另外,触觉反馈可由对人类皮肤的直接电刺激提供,例如Senseg公司的Tixel电极所提供的触觉反馈。
[0046]图5说明用户101以一力接触计算装置100的触摸屏显示器102以选择多个上覆接口元件中的一者。计算装置100说明为包含扬声器166和麦克风164的移动电话或智能电话,但应理解,计算装置100不限于此。图5借助实例说明触摸屏显示器102显示地址簿中的可选条目210A、210B和210C,其中每一条目包含呈姓名212、电话图标214和文本消息图标216的形式的上覆接口元件。用户101与触摸屏显示器102的接触在图5中说明为星爆220。贯穿本文献中,所说明的星爆的尺寸越大,则正施加到触摸屏显示器102的力越大。用户101的接触产生相对少的力,如力传感器106(图2所示)检测到,且因此姓名212经确定为被选定,这可致使计算装置100显示例如关于所要条目的信息。视需要,触摸屏显示器102可提供基于力的量值选择上覆接口元件中的哪一者的指示,如框213说明。另外,视需要,通过用户201快速移除与触摸屏显示器102的接触可导致对接口元件的选择的接受。换句话说,与触摸屏显示器102的接触的终止经检测且用于接受所述选择。此外,用户可保持与触摸屏显示器102的接触,但施加到触摸屏显示器102的力水平的改变的检测可用于选择接口元件中的另一者。
[0047]如果用户101已施加较大力,如条目210B上的星爆222说明,那么将选择针对所述条目的电话图标214。电话图标214的选择可致使触摸屏显示器102将图标的显示从半透明改为不透明,由电话图标214比其它条目中暗来说明,或通过在电话图标214周围产生框215或任何其它所要方式来说明。电话图标214的选择可致使计算装置100呼叫与条目相关联的电话号码。
[0048]星爆224说明的更大力的施加可导致选择文本消息接发图标216,所述文本消息接发图标216可通过将图标的显示从半透明改为不透明、通过在文本图标216周围产生框217或以任何其它所要方式显示。文本图标216的选择可致使计算装置100起始到与条目相关联的号码的文本消息。
[0049]如图5中可见,与触摸屏显示器102的接触(由星爆220、222和224说明)不需要直接在需要选择的特定元件上,而是使用接触的力的量值来确定选择哪一接口元件。然而,应注意,触摸屏显示器102上的接触的位置可用于确定正选择上覆接口元件的哪一群组(例如,哪一条目210A、210B或210C)。
[0050]图6是说明使用触摸屏显示器102上的至少一个力传感器106来通过防止需要二次确认的可疑命令的非既定激活而控制计算装置100的操作的一个实施例的流程图,所述可疑命令例如与异常、不可逆转、非默认或潜在系统危险动作相关联的命令。当前,系统有时使用用于二次确认的二次对话框来确认用户想要执行某一动作。举例来说,当删除文件时,二次对话框通常要求用户确认或取消动作。然而,在当前实施例中,可由用户以比非可疑命令所需的力明显大的力接触触摸屏显示器以避免非既定激活且视需要避免需要二次对话框,来起始需要二次确认的可疑命令。
[0051]如图6中说明,检测与触摸屏显示器102上的可选对象的接触,其中所述可选对象与控制计算装置100的命令相关联(252)。确定控制计算装置100的命令需要二次确认(254)。例如在执行命令可能为非既定动作和/或可引起异常、不可逆转、非默认或潜在系统危险动作的情况下,可确定所述命令需要二次确认。需要二次确认的可疑命令是应用程序特定的,但实例可包含例如:删除文件;在未保存的情况下退出应用程序;删除较大数目的文件;移动、复制或操纵系统文件或大目录;打开非默认应用程序中的文件;发送包含拼写错误或未经过拼写或语法校正的电子邮件(email);以及发送具有攻击性内容的电子邮件、亵渎语言,或发送到多个接收方(例如当一个人因疏忽而向所有人回复时)。使用耦合到触摸屏显示器102的至少一个力传感器106确定与触摸屏显示器102的接触的力水平(256)。可响应于与可选对象的接触和所述力水平而起始所述命令(260)。举例来说,视需要,可将力水平与阈值进行比较(258),其中在力水平超过阈值的情况下起始所述命令。举例来说,第一阈值可用于非可疑命令的选择,而可需要具有较大量值的第二力用于选择需要二次确认的命令。
[0052]图7借助实例说明用户101接触计算装置100的触摸屏显示器102,这通过需要具有较高力水平的接触而防止需要二次确认的可疑命令的非既定激活。在当前实例中,计算装置100经说明为显示电子邮件消息,所述电子邮件消息包含消息的主体272中的印刷错误。另外,电子邮件消息寻址276到“everyone@xyzc0.com”,其可为较大数目的人。因此,发送电子邮件消息可归因于消息的主体272中的印刷错误以及地址中可能包含较大数目的人而被确定为需要二次确认的可疑动作。因此,用户101可需要以比动作不可疑的情况大的量的力接触发送虚拟按钮274。换句话说,用户101与发送虚拟按钮274的接触(由星爆282说明)可能不足以起始发送功能,而以较大力的接触(说明为星爆284)将足以起始发送功能。视需要,在一个实施例中,以较小力的接触(由星爆282说明)可致使二次对话框呈现以确认或取消发送功能,而以较大力的接触(由星爆284说明)可在无二次对话框的情况下起始发送功能。如上文论述,增加的力水平要求不限于电子邮件应用,而是可与其它类型的应用以及需要二次确认的其它类型的可疑命令一起使用。
[0053]图8是说明使用触摸屏显示器102上的至少一个力传感器106来控制计算装置100的操作以在经扩增现实(AR)应用中模仿真实世界对象的力要求的一个实施例的流程图。如图8中说明,在计算装置100的触摸屏显示器102上显示真实世界装置的AR表示(300)。真实世界装置的AR表示包含与具有待选择的力要求的真实世界装置上的真实世界可选对象相关联的可选对象。举例来说,真实世界可选对象可为需要5N的力来按压的立体声系统上的电源按钮。检测与触摸屏显示器上的可选对象的接触(302)。使用耦合到触摸屏显示器102的至少一个力传感器106确定与触摸屏显示器102的接触的力水平(304)。将力水平与同真实世界可选对象的力要求相关联的力阈值进行比较(306)。举例来说,力阈值可与真实世界可选对象的力要求相同。或者,在真实世界对象包含多个可选对象(例如,具有不同力要求的电源按钮和播放按钮)的情况下,力阈值可基于真实世界可选对象的力要求的比率。当力水平大于力阈值时响应于接触来控制计算装置100 (308),例如通过起始与可选对象相关联的命令。
[0054]图9借助实例说明用户101接触包含模仿真实世界对象的力要求的AR应用的计算装置100的触摸屏显示器102。图9说明展示包含呈电源按钮352的形式的真实世界可选对象的立体声系统350的形式的真实世界对象。电源按钮352具有用于选择的力要求,例如可需要5N力来按压电源按钮352。立体声系统350可包含其它可选对象(如按钮354说明),其可具有不同力要求。计算装置100在触摸屏显示器102上显示立体声系统350的AR表示360。AR表示360是由相机112俘获的图像或图像系列,其包含与立体声系统350上的电源按钮352和按钮354相关联的虚拟电源按钮362和虚拟按钮364的形式的可选对象,且还可包含经扩增数据,例如上覆的文本或图形(展示为虚拟电源按钮362和按钮364上的阴影)。产生真实世界对象的AR表示在此项技术中是众所周知的。虚拟电源按钮362响应于与真实世界电源按钮352类似的力水平。换句话说,当用户101接触虚拟电源按钮362时(由星爆372表示),将接触的力水平(如力传感器106(图2所示)检测)与同真实世界电源按钮352的力要求相关联的力阈值进行比较。借助实例,力阈值可与电源按钮352的力要求相同。或者,力阈值可基于立体声系统350上的真实世界可选对象的力要求的比率,例如与虚拟电源按钮362和虚拟按钮364相关联的力阈值可具有与电源按钮352和播放按钮354的力要求相同的比率。当接触372的力水平大于力阈值时,虚拟电源按钮362的选择可控制计算装置100,例如以启动计算装置100上的音乐应用程序。视需要,计算装置100可与立体声系统350进行无线通信,如计算装置100上的收发器114与立体声系统350上的接收器356之间的箭头374说明。无线通信可经由WiF1、蓝牙或任何其它所要无线协议来实现。虚拟电源按钮362的选择可致使计算装置100与立体声系统350进行无线通信以控制立体声系统350,例如接通(或断开)立体声系统350。虽然图9说明包含立体声系统的特定实施方案,但当前实施例预期使用对于任何真实世界对象的力模仿和经扩增现实表示。
[0055]尽管出于指导性目的结合特定实施例说明本发明,但本发明不限于此。可在不脱离本发明范围的情况下作出各种调适和修改。因此,所附权利要求书的精神和范围不应限于以上描述。
【权利要求】
1.一种方法,其包括: 在操作地耦合到计算装置的触摸屏显示器上显示至少部分重叠的多个可选对象; 使用耦合到所述触摸屏显示器的至少一个力传感器确定与所述触摸屏显示器的接触的力水平; 使用所述接触的所述力水平从所述多个可选对象中选择对象;以及 基于所述所选定的对象控制所述计算装置。
2.根据权利要求1所述的方法,其进一步包括检测所述触摸屏显示器上的所述接触的位置,以及使用所述位置和所述力水平来选择所述对象。
3.根据权利要求1所述的方法,其中所述多个可选对象包括至少一个半透明对象。
4.根据权利要求3所述的方法,其中当所述至少一个半透明对象是所述所选定的对象时,所述至少一个半透明对象显示为不透明的。
5.根据权利要求1所述的方法,其中控制所述计算装置包括致使所述触摸屏显示器指示所述所选定的对象。
6.根据权利要求1所述的方法,其中控制所述计算装置包括致使触觉反馈指示所述所选定的对象。
7.根据权利要求1所述的方法,其进一步包括确定所述接触的所述力水平的改变,以及基于所述改变选择不同对象。
8.根据权利要求1所述的 方法,其进一步包括检测所述接触的终止,以及使用所述接触的所述终止来接受所述所选定的对象。
9.一种设备,其包括: 外壳; 触摸屏显示器,其包括显示器和耦合在所述外壳与所述显示器之间的至少一个力传感器;以及 处理器,其经连接以从所述至少一个力传感器接收数据,其中所述处理器经配置以致使所述触摸屏显示器:显示至少部分重叠的多个可选对象;基于来自所述至少一个力传感器的所述数据确定与所述触摸屏显示器的接触的力水平;使用所述接触的所述力水平从所述多个可选对象中选择对象;且起始与所述所选定的对象相关联的命令。
10.根据权利要求9所述的设备,其中所述触摸屏显示器进一步包括耦合到所述显示器的触摸传感器,所述处理器经耦合以从所述触摸传感器接收数据,其中所述处理器进一步经配置以基于来自所述触摸传感器的所述数据检测所述触摸屏显示器上的所述接触的位置并使用所述位置和所述力水平来选择所述对象。
11.根据权利要求9所述的设备,其中所述多个可选对象包括至少一个半透明对象。
12.根据权利要求11所述的设备,其中所述处理器经配置以致使当所述至少一个半透明对象是所述所选定的对象时将所述至少一个半透明对象显示为不透明的。
13.根据权利要求9所述的设备,其中所述处理器进一步经配置以致使所述触摸屏显示器指示所述所选定的对象。
14.根据权利要求9所述的设备,其中所述处理器进一步经配置以致使触觉反馈指示所述所选定的对象。
15.根据权利要求9所述的设备,其中所述处理器进一步经配置以基于来自所述至少一个力传感器的所述数据确定所述接触的所述力水平的改变,且基于所述改变选择不同对象。
16.根据权利要求9所述的设备,其中所述处理器进一步经配置以检测所述接触的终止,且使用所述接触的所述终止来接受所述所选定的对象。
17.—种设备,其包括: 用于在操作地耦合到计算装置的触摸屏显示器上显示至少部分重叠的多个可选对象的装置; 用于使用耦合到所述触摸屏显示器的至少一个力传感器确定与所述触摸屏显示器的接触的力水平的装置; 用于使用所述接触的所述力水平从所述多个可选对象中选择对象的装置;以及 用于基于所述所选定的对象控制所述计算装置的装置。
18.根据权利要求17所述的设备,其进一步包括用于检测所述触摸屏显示器上的所述接触的位置并使用所述位置和所述力水平来选择所述对象的装置。
19.一种包含存储在其上的程序代码的非暂时性计算机可读媒体,其包括: 用以在操作地耦合到计算装置的触摸屏显示器上显示至少部分重叠的多个可选对象的程序代码; 用以使用耦合到所述触摸屏 显示器的至少一个力传感器确定与所述触摸屏显示器的接触的力水平的程序代码; 用以使用所述接触的所述力水平从所述多个可选对象中选择对象的程序代码;以及 用以基于所述所选定的对象控制所述计算装置的程序代码。
20.根据权利要求19所述的非暂时性计算机可读媒体,其进一步包括用以检测所述触摸屏显示器上的所述接触的位置并使用所述位置和所述力水平来选择所述对象的程序代码。
21.—种方法,其包括: 检测与触摸屏显示器上的可选对象的接触,所述可选对象与控制计算装置的命令相关联; 确定所述控制所述计算装置的命令需要二次确认; 使用耦合到所述触摸屏显示器的至少一个力传感器确定与所述触摸屏显示器的所述接触的力水平;以及 响应于与所述可选对象的所述接触和所述力水平起始所述命令。
22.根据权利要求21所述的方法,其进一步包括将所述力水平与阈值进行比较,其中当所述力水平大于所述阈值时起始所述命令。
23.根据权利要求21所述的方法,其进一步包括将所述力水平与阈值进行比较,其中当所述力水平小于所述阈值时显示二次对话框。
24.根据权利要求21所述的方法,其中当执行所述命令可引起异常、非默认、不可逆转或潜在系统危险动作时确定所述命令需要二次确认。
25.根据权利要求21所述的方法,其中所述命令是以下各项中的至少一者:非默认选项、操纵系统文件或目录的命令、打开非默认应用程序中的内容,以及发送具有拼写错误、语法错误、攻击性内容和多个接收方的电子邮件。
26.—种设备,其包括: 外壳; 触摸屏显示器,其包括显示器、耦合到所述显示器的触摸传感器,和耦合在所述外壳与所述显示器之间的至少一个力传感器;以及 处理器,其经连接以从所述触摸传感器和所述至少一个力传感器接收数据,其中所述处理器经配置以:基于来自所述触摸传感器的所述数据检测与所述触摸屏显示器上的可选对象的接触,所述可选对象与一命令相关联;确定所述命令需要二次确认;基于来自所述至少一个力传感器的数据确定与所述触摸屏显示器的所述接触的力水平;且响应于与所述可选对象的所述接触和所述力水平起始所述命令。
27.根据权利要求26所述的设备,其中所述处理器进一步经配置以将所述力水平与阈值进行比较,其中当所述力水平大于所述阈值时起始所述命令。
28.根据权利要求26所述的设备,其中所述处理器进一步经配置以将所述力水平与阈值进行比较,且当所述力水平小于所述阈值时致使所述显示器显示二次对话框。
29.根据权利要求26所述的设备,其中当执行所述命令可引起异常、不可逆转、非默认或潜在系统危险动作时确定所述命令需要二次确认。
30.根据权利要求26所述的设备,其中所述命令是以下各项中的至少一者:非默认选项、操纵系统文件或目录的命令、打开非默认应用程序中的内容,以及发送具有拼写错误、语法错误、攻击性内容和多个接收方的电子邮件。
31.一种设备,其包括: 用于检测与触摸屏显示器上的可`选对象的接触的装置,所述可选对象与控制计算装置的命令相关联; 用于确定所述控制所述计算装置的命令需要二次确认的装置; 用于使用耦合到所述触摸屏显示器的至少一个力传感器确定与所述触摸屏显示器的所述接触的力水平的装置;以及 用于响应于与所述可选对象的所述接触和所述力水平起始所述命令的装置。
32.根据权利要求31所述的设备,其进一步包括用于将所述力水平与阈值进行比较的装置,其中当所述力水平大于所述阈值时起始所述命令。
33.一种包含存储在其上的程序代码的非暂时性计算机可读媒体,其包括: 用以检测与触摸屏显示器上的可选对象的接触的程序代码,所述可选对象与控制计算装置的命令相关联; 用以确定所述控制所述计算装置的命令需要二次确认的程序代码; 用以使用耦合到所述触摸屏显示器的至少一个力传感器确定与所述触摸屏显示器的所述接触的力水平的程序代码;以及 用以响应于与所述可选对象的所述接触和所述力水平起始所述命令的程序代码。
34.根据权利要求33所述的非暂时性计算机可读媒体,其进一步包括用以将所述力水平与阈值进行比较的程序代码,其中当所述力水平大于所述阈值时起始所述命令。
35.一种方法,其包括: 在操作地耦合到计算装置的触摸屏显示器上显示真实世界装置的经扩增现实表示,其中所述经扩增现实表示包括与所述真实世界装置上的真实世界可选对象相关联的可选对象,所述真实世界可选对象具有用以选择的力要求; 检测与所述触摸屏显示器上的所述可选对象的接触; 使用耦合到所述触摸屏显示器的至少一个力传感器确定与所述触摸屏显示器的所述接触的力水平; 将所述力水平与同所述力要求相关联的力阈值进行比较;以及 当所述力水平大于所述力阈值时响应于所述接触控制所述计算装置。
36.根据权利要求35所述的方法,其中所述经扩增现实表示包括所述真实世界装置的图像。
37.根据权利要求35所述的方法,其中控制所述计算装置包括操纵所述真实世界装置的所述经扩增现实表示。
38.根据权利要求35所述的方法,其中控制所述计算装置包括致使所述计算装置控制所述真实世界装置。
39.根据权利要求35所述的方法,其中所述力阈值等于所述力要求。
40.根据权利要求35所述的方法,其中所述真实世界装置包括具有第二力要求的第二真实世界可选对象,且其中所述力阈值是基于所述力要求与所述第二力要求的比率。
41.一种设备,其包括: 外壳; 相机,其用以俘获具有拥有用以选择的力要求的真实世界可选对象的真实世界装置的图像; 触摸屏显示器,其包括显示器、耦合到所述显示器的触摸传感器,和耦合在所述外壳与所述显示器之间的至少一个力传感器;以及 处理器,其经连接以从所述相机接收所述图像以及从所述触摸传感器和所述至少一个力传感器接收数据,其中所述处理器经配置以致使所述显示器:在所述显示器上显示所述真实世界装置的经扩增现实表示,其中所述经扩增现实表示包括与真实世界可选对象相关联的可选对象;基于来自所述触摸传感器的所述数据检测与所述触摸屏显示器上的所述可选对象的接触;基于来自所述至少一个力传感器的数据确定与所述触摸屏显示器的所述接触的力水平;将所述力水平与同所述力要求相关联的力阈值进行比较;且当所述力水平大于所述力阈值时响应于所述接触起始与所述可选对象相关联的命令。
42.根据权利要求41所述的设备,其中所述经扩增现实表示包括所述真实世界装置的图像。
43.根据权利要求41所述的设备,其中与所述可选对象相关联的所述命令致使所述处理器操纵所述真实世界装置的所述经扩增现实表示。
44.根据权利要求41所述的设备,其进一步包括能够与所述真实世界装置进行无线通信的无线发射器,其中与所述可选对象相关联的所述命令致使所述处理器以所述无线发射器控制所述真实世界装置。
45.根据权利要求41所述的设备,其中所述力阈值等于所述力要求。
46.根据权利要求41所述的设备,其中所述真实世界装置包括具有第二力要求的第二真实世界可选对象,且其中所述力阈值是基于所述力要求与所述第二力要求的比率。
47.—种设备,其包括:用于在操作地耦合到计算装置的触摸屏显示器上显示真实世界装置的经扩增现实表示的装置,其中所述经扩增现实表示包括与所述真实世界装置上的真实世界可选对象相关联的可选对象,所述真实世界可选对象具有用以选择的力要求; 用于检测与所述触摸屏显示器上的所述可选对象的接触的装置; 用于使用耦合到所述触摸屏显示器的至少一个力传感器确定与所述触摸屏显示器的所述接触的力水平的装置; 用于将所述力水平与同所述力要求相关联的力阈值进行比较的装置;以及 用于当所述力水平大于所述力阈值时响应于所述接触控制所述计算装置的装置。
48.一种包含存储在其上的程序代码的非暂时性计算机可读媒体,其包括: 用以在操作地耦合到计算装置的触摸屏显示器上显示真实世界装置的经扩增现实表示的程序代码,其中所述经扩增现实表示包括与所述真实世界装置上的真实世界可选对象相关联的可选对象,所述真实世界可选对象具有用以选择的力要求; 用以检测与所述触摸屏显示器上的所述可选对象的接触的程序代码; 用以使用耦合到所述触摸屏显示器的至少一个力传感器确定与所述触摸屏显示器的所述接触的力水平的程序代码; 用以将所述力水平与同所述力要求相关联的力阈值进行比较的程序代码;以及 用以当所述力水平大于所述力 阈值时响应于所述接触控制所述计算装置的程序代码。
【文档编号】G06F3/048GK103502918SQ201280021445
【公开日】2014年1月8日 申请日期:2012年5月1日 优先权日:2011年5月19日
【发明者】布赖恩·莫迈尔, 凯文·M·贝克威思 申请人:高通股份有限公司

最新回复(0)