使用有源像素相机的按键输入的制作方法
使用有源像素相机的按键输入的制作方法
【专利说明】使用有源像素相机的按键输入
[0001]优先权要求
[0002]本PCT申请要求申请日为2012年11月10日、题为“KEY INPUT USING AN ACTIVEPIXEL CAMERA”、申请号为“ 13/674，004”的美国专利申请的优先权，通过引用将其整体并入本文。
【背景技术】
[0003]随着触摸屏显示器越来越多地普及，尤其在移动产品中的普及，用户设备将包含多个按钮(如果有的话)或者除了触摸屏显示器所捕捉的用户输入之外能够提供附加用户输入的其他控制器的可能性越来越小。例如，大多数现代智能电话可能只有用于设备开机或关机、音量控制的按钮，以及可能有设计为允许用户快速退出应用并返回主屏幕的主(home)按钮。这些按钮通常都不用于向应用提供用户输入，因为无论什么应用，通常都需要它们的默认输入(例如，应用难以使用音量按钮作为输入，因为系统仍需要使用这些按钮来控制系统音量)。尽管触摸屏必然允许各种不同的用户输入，这些输入被限制在触摸屏所覆盖的区域，这是移动设备正面的一部分。这对重度输入应用(例如，游戏)构成了限制，用户的手可能抽筋，或者仅通过正面触摸屏用户可能难以控制游戏。尽管已设计出一些使用移动设备中的加速度计作为附加用户输入的应用(例如，用户可“转动”移动设备，从而在例如驾驶游戏中导致“转向”用户输入)，存在为用户提供除触摸屏或专用按钮之外的用户输入以进一步改善的需要。
【附图说明】
[0004]通过示例方式并且不限于附图，示出一些实施例，其中:
[0005]图1是示出根据示例性实施例的联网系统或基于网络系统的网络图，具有被配置用于在网络上交换数据的客户端-服务器架构。
[0006]图2A和2B是示出根据示例性实施例的用户设备的框图。
[0007]图3A和3B是示出根据示例性实施例的有源像素传感器的图。
[0008]图4是示出根据示例性实施例的三晶体管像素电路的图。
[0009]图5A-?是示出根据示例性实施例的有源像素传感器中的移动检测的图。
[0010]图6A-6F是示出根据示例性实施例的有源像素传感器中的手指轻拍检测的图。
[0011]图7是示出根据示例性实施例，使用位于用户设备上的有源像素传感器以在用户设备上导航的方法的交互图。
[0012]图8是示出根据另一示例性实施例，使用位于用户设备上的有源像素传感器以在用户设备上导航的方法的交互图。
[0013]图9是示出根据另一个示例性实施例，使用位于用户设备上的有源像素传感器以在用户设备上导航的方法的交互图。
[0014]图10是示出以计算机系统为示例形式的机器的图示，在所述计算机系统内，可以执行指令集，使机器执行本文所讨论方法的任意一个或多个。
【具体实施方式】
[0015]以下描述包括了实现说明性实施例的示例性系统、方法、技术、指令序列和计算机器程序。以下描述中，为说明目的，阐述了众多特定细节以提供对发明主题各实施例的理解。然而很明显，即便没有这些特定细节，本领域技术人员也可实现本发明主题。总体上没有详细示出公知的指令实例、协议、结构和技术。
[0016]尽管参考特定的示例性实施例来描述本发明实施例，很明显，可对这些实施例做出各种修改和改变，而不脱离实施例的较宽范围。因此，说明书和附图被认为有说明性意义，但没有限制性意义。
[0017]在示例性实施例中，设备中嵌入的有源像素传感器(例如，相机)可用作附加输入设备(除了作为相机捕捉图像的用途之外)。在特定实施例中，用户可将手指放在有源像素传感器上，并且传感器可设计为检测手指的移动、放置和/或方向，并将该信息转换为向应用馈送的用户输入。
[0018]在一个示例性实施例中，有源像素传感器在运行拍卖应用的用户设备上。该应用可以是，例如，帮助用户在在线拍卖或其他市场上列出待售物品的应用，或者帮助用户在在线拍卖或市场上搜索和竞买/购买物品的应用。因此，用户设备可在更大的基于网络系统中用作客户端机器。
[0019]图1是示出根据示例性实施例的联网系统或基于网络系统的网络图，具有被配置用于在网络上交换数据的客户端-服务器架构。例如，网络系统100可包括基于网络的发布方102，在所述基于网络的发布方102中，客户端可以在网络系统100内通信并交换数据。数据可关于与网络系统100及其用户相关联的各个功能(例如，在线物品购买)和方面(例如，管理内容和用户信誉值)。尽管在此示出了客户端-服务器架构作为示例，其他实施例可包括其他网络架构，例如，对等或分布式网络环境。
[0020]数据交换平台，以基于网络的发布方102的示例形式，可经由网络104向一个或多个客户端提供服务器侧功能。一个或多个客户端可包括使用网络系统100的用户，更具体地，使用基于网络的发布方102以在网络104上交换数据的用户。这些交互可包括向/从网络系统100的用户发送/接收数据，以及处理与网络系统100的内容和用户有关的数据。数据可包括但不限于，内容和用户数据(如反馈数据)，用户信誉值，用户资料，用户属性，产品和服务的评论和信息(如价格和描述信息)，产品、服务、制造和厂商推荐和标识符；与买家和卖家相关联的广品和服务列表；拍卖竞价；以及交易数据，等等。
[0021]在各实施例中，网络系统100内的数据交换可依赖于通过一个或多个客户端或用户接口(UI)可用的用户选择的功能。UI可以与客户端机器(例如，使用网络客户端106的客户端机器1110)相关联。网络客户端106可以经由网络服务器116与基于网络的发布方102进行通信。Π还可以与使用编程客户端108 (例如客户端应用)的客户端设备112或者容纳第三方应用128的第三方服务器或移动设备130相关联。可以理解，在各实施例中，客户端设备110、112和/或第三方应用128可以与买家、卖家、第三方电子商务平台、支付服务提供商或配送服务提供商相关联，其中每一个都与基于网络的发布方102通信，并且可选地相互通信。买家和卖家可以是个人、商户、或服务提供商等中的任一个。
[0022]移动设备130还可以经由网络服务器116与基于网络的发布方102进行通信。移动设备130可包括提供客户端机器110和112的至少一部分功能的便携式电子设备。移动设备130可包括被配置为与应用服务器114进行通信的第三方应用128 (或网络客户端106)。尽管只示出了一个移动设备130，将要理解的是，实际中可以有多个移动设备130。也就是说，根据上下文，这里所使用的术语“移动设备130”可包括多个移动设备130。在本文的一些实例中，移动设备130可称为“用户设备”。此外，本领域公知，移动设备130和非移动设备可以使用GPS (全球定位系统)或其他合适的技术来确定这些设备的位置，并且诱因可基于地理区域内移动设备130和非移动设备的数量。
[0023]具体来看基于网络的发布方102，应用程序接口(API)服务器114和网络服务器116分别与一个或多个应用服务器118相连，并为其提供编程接口和网络接口。应用服务器118容纳一个或多个市场应用120和/或支付应用120。相应地，应用服务器118被示为与促进对一个或多个数据126的访问的一个或多个数据库服务器124相连。 [0024]在一个实施例中，经由各种用户输入工具，网络服务器116和API服务器114通信和接收有关列表、交易、反馈等的数据。例如，网络服务器116可向和从在客户端机器(例如，客户端机器110)上操作的浏览器应用(例如，网络客户端106)的工具条或网页发送和接收数据。API服务器114可以向和从运行在另一个客户端机器(例如，客户端机器112或第三方服务器)上的应用(例如，编程客户端108或第三方应用128)发送和接收数据。
[0025]图1还示出了可以在第三方服务器上执行的第三方应用128，经由API服务器114提供的编程接口，第三方应用128可以具有到基于网络的发布方102的编程访问。例如，第三方应用128可使用从基于网络的发布方102接收的信息，以支持第三方所容纳的网站上的一个或多个特性或功能。第三方网站可以例如，提供基于网络的发布方102的相关应用所支持的一个或多个列表、反馈、发布或支付功能。
[0026]基于网络的发布方102可提供大量的反馈、信誉、聚合、以及列表和价格设置机制，从而用户可以是列出或购买基于网络的发布方102所发布的物品和/或服务(例如，待销售)的卖家或买家。
[0027]图2A和2B是示出根据示例性实施例的用户设备的框图。所示用户设备200是诸如智能电话或平板计算机的移动设备。图2A示出了用户设备200的正面。可以看出，用户设备200正面的大部分由触摸屏显示202构成，触摸屏显示202可用作基于导航的输入的主要用户输入设备。基于导航的输入是命令用户设备200在显示器202上移动某物(例如，移动光标、滚动条)或选择显示器202上某物的用户输入(例如，按下按钮)的用户输入。换句话说，为本公开和所附权利要求的目的，基于导航的输入可以是传统上从基于导航的输入设备(例如，鼠标)接收的任何输入。
[0028]用户设备200还具有多个专用按钮204、206a、206b和208。这些专用按钮提供专用输入，这意味其设计为在使用时执行固定命令，因而不适用于附加导航输入(或至少超出了其所设计用于的对上下文敏感的固定命令)。例如，按钮204可以是主(home)按键，其设计为使用户设备200退出任何运行中的应用并使图形用户接口回到主屏。由于该按钮204预期无论使用什么应用都以这种方式操作，所以其不适合作为附加的基于导航的输入设备。按钮206a和206b将音量调高或调低，其也预期无论使用什么应用都以这种方式操作。按钮208是电源按钮，预期用于对显示器和/或设备关机，其预期无论使用什么应用都以这种方式操作。
[0029]用户设备200的正面还有有源像素传感器210(例如，相机)。这种前置有源像素传感器210通常用于基于视频的呼叫或其他相机或视频应用，其中希望捕捉用户他/她自己的图像。后置有源像素传感器(稍后描述)通常用于当希望捕捉除用户他/她自己之外的某物的图像时的相机或视频应用。
[0030]图2B示出了用户设备200的背面。可以看出，上述后置有源像素传感器212在用户设备200的背面上。巧合的是，其通常布置在用户手持用户设备200时习惯放置一个或多个手指的位置。
[0031]在示例性实施例中，用户设备200上的一个或多个有源像素传感器(例如，210、212)用于基于导航的输入。应当注意，用户设备200可具有任意数量的这种有源像素传感器，并且系统不必设计为使它们中的每一个都能够提供基于导航的输入。例如，系统可设计为只有后置有源像素传感器212才提供基于导航的输入，而前置有源像素传感器120不用于基于导航的输入。
[0032]图3A和3B是示出根据示例性实施例的有源像素传感器的图。该图示出了具有低功耗、高读取速度和小尺寸的互补金属氧化物半导体(CMOS)图像传感器。然而，可以使用其他类型的有源像素传感器，例如电耦合器件(CCD)图像传感器。
[0033]从顶视图的图3A可以看出，有源像素传感器300包括多个像素，其也称为像素阵列302。应当注意，尽管在这个示例中像素阵列302被示为500x480阵列，像素阵列302可以使用不同的尺寸。
[0034]参考侧视图的图3B，像素阵列302中的每个像素304可被一个或多个颜色过滤器覆盖，包括，例如红、绿和蓝光过滤器(这里简单地将其示为单个总的颜色过滤器306)。光电二极管308设置在过滤器306下方以检测光信号，然后电子电路310放大并读取光电二极管308生成的电信号。
[0035]图4是示出根据示例性实施例的三晶体管像素电路的图。该三晶体管像素电路可用作图3的像素阵列302中每个像素304的电子电路310。每个像素304的电子电路400具有控制器402、复位电压404、放大电压406、行控制器408以及列控制器410。该电路操作如下。当设备处于黑暗中时，光电二极管308截止，因此只有可忽略的暗电流可以流过它。然后，控制器402接通并关断，使得光电二极管308上端的电压为复位电压404，也就是说没有信号。如果这时检测到光，则光电二极管308上端积累的电荷的一部分泄漏至地，并使电压下降。根据入射光的强度，光电二极管308上端的电压变得不同，使得电阻Msf变得不同。然后，行控制器408接通，并在列检测器410上检测到电流。Msf的不同电阻引起不同的电流，不同的电流指出不同的光功率。
[0036]在示例性实施例中，有源像素传感器300中的方向光差异可用于确定放置在用户设备上的有源像素传感器300上的手指的位置。根据该位置，可向监听实体分配输入事件。当有源像素传感器300在移动设备的背面上时，其还可以布置在用户手持设备时通常放置手指的位置处，从而允许用户容易触及。此外，与增加附加导航输入的一些其他可能方案(例如，在设备背面布置第二触摸屏控制器)不同，有源像素传感器300 —般具有与周围材料不同的感觉，因此用户可检测有源像素传感器300和周围材料之间的触觉差异，因而，尽管因手指藏在用户设备200背后而使用户无法看到他或她的手指，但是用户能够确定有源像素传感器300的边界，并适当定向他或她的手指，以对设备进行合适的导航输入，
[0037]在示例性实施例中，来自有源像素传感器300的整个图像被转换为灰度。这时，灰度图像的最暗区被手指最大程度地覆盖。当接合、转动或移动使手指位置改变时，出现指示方向变化的较亮区域。当有源像素传感器300在设备的背面上时，可以应用相反的方向作为输入。
[0038]在一些实施例中，当用户将他或她的手指放在有源像素传感器300上时，可对使用有源像素传感器300来检测基于导航的输入的处理进行初始校准。手指的起始位置可被用作参考点，以随后用于确定手指的后续移动。在这些实施例中，通过屏幕上的提示符可以引导用户，提示符指示用户应将其手指放在传感器300上以进行校准，然后系统可以自动或者根据用户选择(例如，用不同手的手指按压触摸屏上的区域，或者语音命令)开始校准处理。
[0039]图5A-?是示出根据示例性实施例，有源像素传感器500中的移动检测的图。从图5A可以看出，有源像素传感器500检测可见区域504中的暗点502，在可见区504的右手侧还包括小的亮点506。这可以指示用户手指在可见区504的左侧，如图5B所示。在某个时刻，用户可能滑动他/她的手指，得到图5C所示的亮度图。这反映用户手指向右移动，如图所示。这时，可以在用户设备200上的应用中触发相应的移动。如 上文所讨论的，如果有源像素传感器500在用户设备200的背面，则所触发的移动可能与所检测的移动相反(例如，所示向右移动引起向相应应用发送的向左移动的导航命令)。在一个示例中，应用可以提供配置接口，允许用户确定有源像素传感器(例如有源像素传感器500)所检测的不同基于导航的输入触发什么动作。
[0040]可以以固定时间间隔测量不同区域中的亮度改变。例如，可以以15fps的间隔来检查有源像素传感器500，以确定亮度是否改变并且其在哪个方向上改变。
[0041]在另一个实施例中，通过检测有源像素传感器500何时作为一个整体检测全黑或接近全黑的区域，然后该区域变亮再变黑，可以检测有源像素传感器500上的轻拍，而非移动。实际上，单次“轻拍”可由三个不同的动作或观测的状态改变组成(例如，暗、亮、暗)。首先，用户手指开始覆盖有源像素传感器500，然后移开，然后再一次覆盖有源像素传感器500。图6A-6F是示出根据示例性实施例，有源像素传感器中的手指轻拍检测的图。图6A中，可以看出，有源像素传感器600检测可见区604中的暗点602。为检测手指轻拍的目的，该暗点602的位置不严格相关。只要有源像素传感器的足够部分为暗，可以假设用户手指覆盖有源像素传感器600。因而，可以假设用户手指可以在图6B所示的位置。
[0042]图6C中，可以看出，有源像素传感器600检测可见区604中的大亮点606。这可能指示用户手指不再覆盖有源像素传感器600，如图6D所示。应当注意，在一些实施例中，可以使用阈值来确定具体需要多大的暗点602以使系统记录用户手指覆盖有源像素传感器600，以及需要多大亮点以使系统记录用户手指不再覆盖有源像素传感器600 (或者，为检测最终“轻拍”的目的而移开得足够多，因为每次“轻拍”包括覆盖部分和未覆盖部分)。这些阈值可以不同。例如，在一些实施例中，如果有源像素传感器600的可见区的至少60%为暗，则系统记录用户手指覆盖有源像素传感器600 ;而如果有源像素传感器600的可见区的不超过5 %为暗，则系统记录用户手指已抬起。
[0043]图6E中，可以看出，有源像素传感器600检测可见区604中的暗点602。因此，系统可假设用户手指在有源像素传感器600上，如图6F所示。应当注意，该暗点602不必在尺寸或位置上与图6A的暗点602相匹配。事实上，用户连续用手指在有源像素传感器600上两次击中完全相同位置的情况相当少见。两次达到用于检测手指的阈值便已足够。
[0044]尽管上述描述涉及单次轻拍的检测，可以以类似方式来检测多次轻拍组合。事实上，可以存在利用上述技术可检测的各种不同手指移动和手势。例如，暗到亮转变的不同模式以及转变之间的时机可触发应用内的不同功能。
[0045]图7示出根据示例性实施例，使用位于用户设备200上的有源像素传感器702以在用户设备200上导航的方法700的交互图。该图中示出的组件可全部在用户设备200上。方法700包括有源像素传感器702，其被示为与有源像素传感器监视器704分离。有源像素传感器监视器704可用以监视有源像素传感器702中的亮度改变。尽管在该图中这些组件被示出为分离，本领域技术人员将认识到，有源像素传感器监视器704可以简单地被认为是有源像素传感器702的一部分。相机应用706是将有源像素传感器702作为相机来操作的任何应用。非相机应用708是不将有源像素传感器702作为相机来操作的任何应用。在某些示例中，所讨论的功能可包含在用户设备的操作系统中。在这些示例中，根据本文所讨论的方法，操作系统可为应用提供接口，以将相机作为相机或基于导航的输入设备来操作。
[0046]步骤710，相机应用向有源像素传感器702发送捕捉图像的命令。步骤712，有源像素传感器702向相机应用706返回该图像。当然，在有源像素传感器702捕捉一系列静态图像并将其(以及来自单独麦克风的音频信息)向相机应用706发送的视频情形中，这一过程可重复很多次。
[0047]步骤714，非相机应用向有源像素传感器监视器704发送命令，请求将有源像素传感器702置为导航状态。在这种导航状态中，有源像素传感器702不作为相机来捕捉图像，而是用于检测导航移动。步骤716，有源像素传感器监视器704检测有源像素传感器702中正在捕捉低亮度的区域。其可能是亮度值小于预定亮度阈值并且尺寸大于或等于尺寸阈值的区域。尺寸阈值可以表示为，例如，像素数量或者占有源像素传感器702的总可见区的百分比。
[0048]步骤718，有源像素传感器监视器704检测有源像素传感器702中低亮度区域的移动。步骤720，有源像素传感器监视器704确定低亮度区域的移动方向。步骤722，将该方向转换导航输入。步骤724，有源像素传感器监视器704向非相机应用708发送所转换的导航输入。在一些示例性实施例中，有源像素传感器监视器704还可确定低亮度区域的移动距离，并且在执行转换时使用该移动距离。这样就不仅提供了移动方向，还提供了移动强度，使得导航输入具有方向和强度。在另一个示例性实施例中，还可以跟踪移动速度并在转换中使用。
[0049]步骤726，有源像素传感器监视器704检测有源像素传感器702中捕捉低亮度的另一个区域。步骤728，有源像素传感器监视器704检测该所检测区域中的变化，所述变化使得所检测区域在预定时间段内从低亮度变为高亮度再变回低亮度。步骤730，生成导航输入，指示对轻拍动作的检测。步骤732，向非相机应用708发送该导航输入。
[0050]图8示出根据示例性实施例，使用用户设备200上的有源像素传感器702以在用户设备200上导航的方法的交互图。步骤802，检测有源像素传感器702中捕捉低亮度的区域。步骤804，检测低亮度区域的移动。步骤806，确定低亮度区域的移动方向。步骤808，将方向转换为对用户设备200上运行的应用的导航输入。
[0051]图9示出根据另一个示例性实施例的，使用用户设备200上的有源像素传感器702以在用户设备上导航的方法的交互图。步骤902，检测有源像素传感器702中捕捉低亮度的区域。步骤904，检测所检测区域中的变化，所述变化使得所检测区域在预定时间段内从低亮度变为高亮度再变回低亮度。步骤906，向用户设备200上运行的应用生成用户输入，所述用户输入指示对轻拍动作的检测。
[0052]图10示出以计算机系统为示例形式的机器的图示，在所述计算机系统内，可以执行指令集，使机器执行本文所讨论方法的任意一个或多个。在备选实施例中，该机器作为独立装置来操作，或者可连接(例如，联网)到其它机器。在联网的部署中，该机器可以以服务器-客户端网络环境中的服务器或客户端机器的能力来操作，或者作为对等(或分布式)网络环境中的对等机器来操作。所述机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或桥接器、或者能够(顺序地或以其他方式)执行指定机器要采取的操作的指令的任何机器。另外，虽然仅示出单个机器，但是术语“机器”也应理解为包括单独地或联合地执行一个或多个指令集以完成本文中所讨论的任何一个或多个方法的机器的任意集合。
[0053]该示例计算机系统1000包括:处理器1002 (例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器1004和静态存储器1006 ，它们彼此通过总线1008进行通信。计算机系统1000还可以包括视频显示单元1010(例如，液晶显示器(IXD)或阴极射线管(CRT))。计算机系统1000还包括字母数字输入设备1012(例如，键盘)、光标控制设备1014(例如，鼠标)、盘驱动单元1016、信号产生设备1018(例如，扬声器)和网络接口设备1020。
[0054]盘驱动单元1016包括机器可读介质1022，在该机器可读介质1022上存储有一个或多个指令集和数据结构(例如，软件)1024，其实现了本文描述的任何一个或多个方法或功能。指令1024还可以在由计算机系统1000运行期间全部或者至少部分地驻留在主存储器1004和/或处理器1002内，主存储器1004和处理器1002也构成机器可读介质。指令1024还可经由网络接口设备1020在网络1026上发送或接收。
[0055]虽然机器可读介质1022在示例实施例中被示出为单个介质，但是术语“机器可读介质”应当包括单个介质或多个介质(例如，集中式或分布式的数据库，和/或关联的高速缓存和服务器)，其存储一个或多个指令或数据结构1024。术语“机器可读介质”还应当包括能够存储、编码或携带指令的任何有形介质，所述指令由机器执行，并使得机器能够执行任本发明的任何一个或多个方法。术语“机器可读介质”应相应地被理解为包括但不限于:固态存储器、光学介质和磁介质、以及载波信号。
[0056]尽管已经参考特定的示例实施例描述了实施例，但是显然在不脱离本发明构思的广义范围下可以对这些实施例做出各种修改和改变。因此，本说明书和附图应被视为说明性的，而非限制性的。
[0057]提供了本公开的摘要，以允许读者快速地确定本技术公开的性质。应该理解，提交的摘要不会被用来解释或限制权利要求的范围或含义。另外，在前面的详细描述中，可以看出，出于简化本公开的目的，在单个实施例中组合了各种特征。本公开的方法不应被解释为反映了以下意图:所要求保护的实施例需要比每个权利要求中明确记载的特征更多的特征。相反，如以下权利要求所反映的，发明主题在于少于单个公开实施例的所有特征。因此，所附权利要求书由此被并入到【具体实施方式】中，其中每个权利要求自身作为单独的实施例。
【主权项】
1.一种使用位于用户设备上的有源像素传感器以在所述用户设备上执行图形用户接口导航的方法，包括: 检测所述有源像素传感器中捕捉低亮度的区域； 使用所述有源像素传感器，检测低亮度区域的移动； 至少部分地基于所述低亮度区域的移动来确定方向；以及 将所述方向转换为针对在所述用户设备上运行的应用的输入。2.根据权利要求1所述的方法，还包括: 至少部分地基于所述低亮度区域的移动来确定距离；以及 在将所述方向转换为针对在所述用户设备上运行的应用的输入时使用所述距离。3.根据权利要求1所述的方法，其中，在所述用户设备上运行的应用不是被设计为从所述有源像素传感器捕捉图像的应用。4.根据权利要求1所述的方法，其中，所述有源像素传感器位于所述用户设备的正面。5.根据权利要求1所述的方法，其中，所述有源像素传感器位于所述用户设备的背面。6.根据权利要求1所述的方法，其中，检测低亮度区域包括:对亮度值低于预定亮度阈值并且尺寸大于或等于尺寸阈值的区域进行定位。7.—种使用位于用户设备上的有源像素传感器以在所述用户设备上执行图形用户接口导航的方法，包括: 检测所述有源像素传感器中捕捉低亮度的区域； 检测所检测区域中的变化，所述变化使得所检测区域在预定时间段内从低亮度变为高亮度再变回低亮度；以及 至少部分地基于检测所检测区域中的变化，对在所述用户设备上运行的应用生成导航输入，所述导航输入指示对轻拍动作的检测。8.根据权利要求7所述的方法，还包括: 进一步检测所检测区域中的附加变化，所述附加变化使得所检测区域在所述预定时间段内再次从低亮度变为高亮度再变回低亮度；以及 对所述应用生成导航输入，所述导航输入指示对双轻拍动作的检测。9.根据权利要求7所述的方法，其中，所述用户设备没有能够向所述应用提供导航输入的物理按钮。10.一种用户设备，包括: 处理器； 存储器； 触摸屏； 有源像素传感器，位于与所述触摸屏相对的位置，并且被配置为当所述处理器执行相机应用时用作相机，还被配置为当所述处理器执行非相机应用时用作输入设备，所述有源像素传感器还被配置为: 检测所述有源像素传感器中捕捉低亮度的区域； 使用所述有源像素传感器，检测低亮度区域的移动； 确定所述低亮度区域的移动的方向；以及 将所述方向转换为针对在所述用户设备上运行的应用的导航输入。11.根据权利要求10所述的用户设备，其中，所述有源像素传感器位于所述用户设备的正面。12.根据权利要求10所述的用户设备，其中，所述有源像素传感器位于所述用户设备的背面。13.根据权利要求12所述的用户设备，其中，转换所述方向包括:沿与针对所述低亮度区域的移动而确定的方向相反的方向，生成导航输入。14.根据权利要求10所述的用户设备，其中，所述用户设备是智能电话。15.根据权利要求10所述的用户设备，其中，所述用户设备是平板电脑。16.—种具有正面和背面的用户设备，包括: 处理器； 存储器； 触摸屏，位于所述用户设备的正面； 有源像素传感器，被配置为当所述处理器执行相机应用时用作相机，还被配置为当所述处理器执行非相机应用时用作输入设备，所述有源像素传感器还被配置为: 检测所述有源像素传感器中捕捉低亮度的区域； 检测所检测区域中的变化，所述变化使得所检测区域在预定时间段内从低亮度变为高亮度再变回低亮度；以及 对在所述用户设备上运行的应用生成导航输入，所述导航输入指示对轻拍动作的检测。17.根据权利要求16所述的用户设备，其中，所述用户设备缺少专用于接收对在触摸屏上显示的项目进行选择的用户指示的按钮。18.根据权利要求16所述的用户设备，其中，所述有源像素传感器是所述用户设备上的两个相同的有源像素传感器之一。19.一种包括指令的机器可读存储介质，当所述指令被机器执行时，使所述机器: 针对从有源像素传感器接收的数据，选择用户输入模式； 从所述有源像素传感器接收传感器数据； 在一时间段内，将所接收的传感器数据解析为多个输入事件；以及 至少部分地基于所述多个输入事件，对在所述机器上运行的应用生成输入。20.根据权利要求19所述的机器可读存储介质，其中，所述多个输入事件包括低亮度区域的移动。21.根据权利要求19所述的机器可读存储介质，其中，所述多个输入事件包括指示轻拍动作的一系列由亮到暗的转变。
【专利摘要】在示例性实施例中，用户设备上的有源像素传感器被用于捕捉与用户移动有关的图形用户接口导航。可以标识低亮度区域，并且低亮度区域的移动或变化可被转换为向用户设备上运行的应用馈送的导航命令。
【IPC分类】G06F3/041
【公开号】CN104903823
【申请号】CN201380070014
【发明人】约翰·泰普利, 艾瑞克·J·法拉罗, 内特·莱曼
【申请人】电子湾有限公司
【公开日】2015年9月9日
【申请日】2013年11月8日
【公告号】CA2890705A1, EP2917815A2, US9176539, US20140132564, WO2014074811A2, WO2014074811A3
【专利说明】使用有源像素相机的按键输入
[0001]优先权要求
[0002]本PCT申请要求申请日为2012年11月10日、题为“KEY INPUT USING AN ACTIVEPIXEL CAMERA”、申请号为“ 13/674，004”的美国专利申请的优先权，通过引用将其整体并入本文。
【背景技术】
[0003]随着触摸屏显示器越来越多地普及，尤其在移动产品中的普及，用户设备将包含多个按钮(如果有的话)或者除了触摸屏显示器所捕捉的用户输入之外能够提供附加用户输入的其他控制器的可能性越来越小。例如，大多数现代智能电话可能只有用于设备开机或关机、音量控制的按钮，以及可能有设计为允许用户快速退出应用并返回主屏幕的主(home)按钮。这些按钮通常都不用于向应用提供用户输入，因为无论什么应用，通常都需要它们的默认输入(例如，应用难以使用音量按钮作为输入，因为系统仍需要使用这些按钮来控制系统音量)。尽管触摸屏必然允许各种不同的用户输入，这些输入被限制在触摸屏所覆盖的区域，这是移动设备正面的一部分。这对重度输入应用(例如，游戏)构成了限制，用户的手可能抽筋，或者仅通过正面触摸屏用户可能难以控制游戏。尽管已设计出一些使用移动设备中的加速度计作为附加用户输入的应用(例如，用户可“转动”移动设备，从而在例如驾驶游戏中导致“转向”用户输入)，存在为用户提供除触摸屏或专用按钮之外的用户输入以进一步改善的需要。
【附图说明】
[0004]通过示例方式并且不限于附图，示出一些实施例，其中:
[0005]图1是示出根据示例性实施例的联网系统或基于网络系统的网络图，具有被配置用于在网络上交换数据的客户端-服务器架构。
[0006]图2A和2B是示出根据示例性实施例的用户设备的框图。
[0007]图3A和3B是示出根据示例性实施例的有源像素传感器的图。
[0008]图4是示出根据示例性实施例的三晶体管像素电路的图。
[0009]图5A-?是示出根据示例性实施例的有源像素传感器中的移动检测的图。
[0010]图6A-6F是示出根据示例性实施例的有源像素传感器中的手指轻拍检测的图。
[0011]图7是示出根据示例性实施例，使用位于用户设备上的有源像素传感器以在用户设备上导航的方法的交互图。
[0012]图8是示出根据另一示例性实施例，使用位于用户设备上的有源像素传感器以在用户设备上导航的方法的交互图。
[0013]图9是示出根据另一个示例性实施例，使用位于用户设备上的有源像素传感器以在用户设备上导航的方法的交互图。
[0014]图10是示出以计算机系统为示例形式的机器的图示，在所述计算机系统内，可以执行指令集，使机器执行本文所讨论方法的任意一个或多个。
【具体实施方式】
[0015]以下描述包括了实现说明性实施例的示例性系统、方法、技术、指令序列和计算机器程序。以下描述中，为说明目的，阐述了众多特定细节以提供对发明主题各实施例的理解。然而很明显，即便没有这些特定细节，本领域技术人员也可实现本发明主题。总体上没有详细示出公知的指令实例、协议、结构和技术。
[0016]尽管参考特定的示例性实施例来描述本发明实施例，很明显，可对这些实施例做出各种修改和改变，而不脱离实施例的较宽范围。因此，说明书和附图被认为有说明性意义，但没有限制性意义。
[0017]在示例性实施例中，设备中嵌入的有源像素传感器(例如，相机)可用作附加输入设备(除了作为相机捕捉图像的用途之外)。在特定实施例中，用户可将手指放在有源像素传感器上，并且传感器可设计为检测手指的移动、放置和/或方向，并将该信息转换为向应用馈送的用户输入。
[0018]在一个示例性实施例中，有源像素传感器在运行拍卖应用的用户设备上。该应用可以是，例如，帮助用户在在线拍卖或其他市场上列出待售物品的应用，或者帮助用户在在线拍卖或市场上搜索和竞买/购买物品的应用。因此，用户设备可在更大的基于网络系统中用作客户端机器。
[0019]图1是示出根据示例性实施例的联网系统或基于网络系统的网络图，具有被配置用于在网络上交换数据的客户端-服务器架构。例如，网络系统100可包括基于网络的发布方102，在所述基于网络的发布方102中，客户端可以在网络系统100内通信并交换数据。数据可关于与网络系统100及其用户相关联的各个功能(例如，在线物品购买)和方面(例如，管理内容和用户信誉值)。尽管在此示出了客户端-服务器架构作为示例，其他实施例可包括其他网络架构，例如，对等或分布式网络环境。
[0020]数据交换平台，以基于网络的发布方102的示例形式，可经由网络104向一个或多个客户端提供服务器侧功能。一个或多个客户端可包括使用网络系统100的用户，更具体地，使用基于网络的发布方102以在网络104上交换数据的用户。这些交互可包括向/从网络系统100的用户发送/接收数据，以及处理与网络系统100的内容和用户有关的数据。数据可包括但不限于，内容和用户数据(如反馈数据)，用户信誉值，用户资料，用户属性，产品和服务的评论和信息(如价格和描述信息)，产品、服务、制造和厂商推荐和标识符；与买家和卖家相关联的广品和服务列表；拍卖竞价；以及交易数据，等等。
[0021]在各实施例中，网络系统100内的数据交换可依赖于通过一个或多个客户端或用户接口(UI)可用的用户选择的功能。UI可以与客户端机器(例如，使用网络客户端106的客户端机器1110)相关联。网络客户端106可以经由网络服务器116与基于网络的发布方102进行通信。Π还可以与使用编程客户端108 (例如客户端应用)的客户端设备112或者容纳第三方应用128的第三方服务器或移动设备130相关联。可以理解，在各实施例中，客户端设备110、112和/或第三方应用128可以与买家、卖家、第三方电子商务平台、支付服务提供商或配送服务提供商相关联，其中每一个都与基于网络的发布方102通信，并且可选地相互通信。买家和卖家可以是个人、商户、或服务提供商等中的任一个。
[0022]移动设备130还可以经由网络服务器116与基于网络的发布方102进行通信。移动设备130可包括提供客户端机器110和112的至少一部分功能的便携式电子设备。移动设备130可包括被配置为与应用服务器114进行通信的第三方应用128 (或网络客户端106)。尽管只示出了一个移动设备130，将要理解的是，实际中可以有多个移动设备130。也就是说，根据上下文，这里所使用的术语“移动设备130”可包括多个移动设备130。在本文的一些实例中，移动设备130可称为“用户设备”。此外，本领域公知，移动设备130和非移动设备可以使用GPS (全球定位系统)或其他合适的技术来确定这些设备的位置，并且诱因可基于地理区域内移动设备130和非移动设备的数量。
[0023]具体来看基于网络的发布方102，应用程序接口(API)服务器114和网络服务器116分别与一个或多个应用服务器118相连，并为其提供编程接口和网络接口。应用服务器118容纳一个或多个市场应用120和/或支付应用120。相应地，应用服务器118被示为与促进对一个或多个数据126的访问的一个或多个数据库服务器124相连。 [0024]在一个实施例中，经由各种用户输入工具，网络服务器116和API服务器114通信和接收有关列表、交易、反馈等的数据。例如，网络服务器116可向和从在客户端机器(例如，客户端机器110)上操作的浏览器应用(例如，网络客户端106)的工具条或网页发送和接收数据。API服务器114可以向和从运行在另一个客户端机器(例如，客户端机器112或第三方服务器)上的应用(例如，编程客户端108或第三方应用128)发送和接收数据。
[0025]图1还示出了可以在第三方服务器上执行的第三方应用128，经由API服务器114提供的编程接口，第三方应用128可以具有到基于网络的发布方102的编程访问。例如，第三方应用128可使用从基于网络的发布方102接收的信息，以支持第三方所容纳的网站上的一个或多个特性或功能。第三方网站可以例如，提供基于网络的发布方102的相关应用所支持的一个或多个列表、反馈、发布或支付功能。
[0026]基于网络的发布方102可提供大量的反馈、信誉、聚合、以及列表和价格设置机制，从而用户可以是列出或购买基于网络的发布方102所发布的物品和/或服务(例如，待销售)的卖家或买家。
[0027]图2A和2B是示出根据示例性实施例的用户设备的框图。所示用户设备200是诸如智能电话或平板计算机的移动设备。图2A示出了用户设备200的正面。可以看出，用户设备200正面的大部分由触摸屏显示202构成，触摸屏显示202可用作基于导航的输入的主要用户输入设备。基于导航的输入是命令用户设备200在显示器202上移动某物(例如，移动光标、滚动条)或选择显示器202上某物的用户输入(例如，按下按钮)的用户输入。换句话说，为本公开和所附权利要求的目的，基于导航的输入可以是传统上从基于导航的输入设备(例如，鼠标)接收的任何输入。
[0028]用户设备200还具有多个专用按钮204、206a、206b和208。这些专用按钮提供专用输入，这意味其设计为在使用时执行固定命令，因而不适用于附加导航输入(或至少超出了其所设计用于的对上下文敏感的固定命令)。例如，按钮204可以是主(home)按键，其设计为使用户设备200退出任何运行中的应用并使图形用户接口回到主屏。由于该按钮204预期无论使用什么应用都以这种方式操作，所以其不适合作为附加的基于导航的输入设备。按钮206a和206b将音量调高或调低，其也预期无论使用什么应用都以这种方式操作。按钮208是电源按钮，预期用于对显示器和/或设备关机，其预期无论使用什么应用都以这种方式操作。
[0029]用户设备200的正面还有有源像素传感器210(例如，相机)。这种前置有源像素传感器210通常用于基于视频的呼叫或其他相机或视频应用，其中希望捕捉用户他/她自己的图像。后置有源像素传感器(稍后描述)通常用于当希望捕捉除用户他/她自己之外的某物的图像时的相机或视频应用。
[0030]图2B示出了用户设备200的背面。可以看出，上述后置有源像素传感器212在用户设备200的背面上。巧合的是，其通常布置在用户手持用户设备200时习惯放置一个或多个手指的位置。
[0031]在示例性实施例中，用户设备200上的一个或多个有源像素传感器(例如，210、212)用于基于导航的输入。应当注意，用户设备200可具有任意数量的这种有源像素传感器，并且系统不必设计为使它们中的每一个都能够提供基于导航的输入。例如，系统可设计为只有后置有源像素传感器212才提供基于导航的输入，而前置有源像素传感器120不用于基于导航的输入。
[0032]图3A和3B是示出根据示例性实施例的有源像素传感器的图。该图示出了具有低功耗、高读取速度和小尺寸的互补金属氧化物半导体(CMOS)图像传感器。然而，可以使用其他类型的有源像素传感器，例如电耦合器件(CCD)图像传感器。
[0033]从顶视图的图3A可以看出，有源像素传感器300包括多个像素，其也称为像素阵列302。应当注意，尽管在这个示例中像素阵列302被示为500x480阵列，像素阵列302可以使用不同的尺寸。
[0034]参考侧视图的图3B，像素阵列302中的每个像素304可被一个或多个颜色过滤器覆盖，包括，例如红、绿和蓝光过滤器(这里简单地将其示为单个总的颜色过滤器306)。光电二极管308设置在过滤器306下方以检测光信号，然后电子电路310放大并读取光电二极管308生成的电信号。
[0035]图4是示出根据示例性实施例的三晶体管像素电路的图。该三晶体管像素电路可用作图3的像素阵列302中每个像素304的电子电路310。每个像素304的电子电路400具有控制器402、复位电压404、放大电压406、行控制器408以及列控制器410。该电路操作如下。当设备处于黑暗中时，光电二极管308截止，因此只有可忽略的暗电流可以流过它。然后，控制器402接通并关断，使得光电二极管308上端的电压为复位电压404，也就是说没有信号。如果这时检测到光，则光电二极管308上端积累的电荷的一部分泄漏至地，并使电压下降。根据入射光的强度，光电二极管308上端的电压变得不同，使得电阻Msf变得不同。然后，行控制器408接通，并在列检测器410上检测到电流。Msf的不同电阻引起不同的电流，不同的电流指出不同的光功率。
[0036]在示例性实施例中，有源像素传感器300中的方向光差异可用于确定放置在用户设备上的有源像素传感器300上的手指的位置。根据该位置，可向监听实体分配输入事件。当有源像素传感器300在移动设备的背面上时，其还可以布置在用户手持设备时通常放置手指的位置处，从而允许用户容易触及。此外，与增加附加导航输入的一些其他可能方案(例如，在设备背面布置第二触摸屏控制器)不同，有源像素传感器300 —般具有与周围材料不同的感觉，因此用户可检测有源像素传感器300和周围材料之间的触觉差异，因而，尽管因手指藏在用户设备200背后而使用户无法看到他或她的手指，但是用户能够确定有源像素传感器300的边界，并适当定向他或她的手指，以对设备进行合适的导航输入，
[0037]在示例性实施例中，来自有源像素传感器300的整个图像被转换为灰度。这时，灰度图像的最暗区被手指最大程度地覆盖。当接合、转动或移动使手指位置改变时，出现指示方向变化的较亮区域。当有源像素传感器300在设备的背面上时，可以应用相反的方向作为输入。
[0038]在一些实施例中，当用户将他或她的手指放在有源像素传感器300上时，可对使用有源像素传感器300来检测基于导航的输入的处理进行初始校准。手指的起始位置可被用作参考点，以随后用于确定手指的后续移动。在这些实施例中，通过屏幕上的提示符可以引导用户，提示符指示用户应将其手指放在传感器300上以进行校准，然后系统可以自动或者根据用户选择(例如，用不同手的手指按压触摸屏上的区域，或者语音命令)开始校准处理。
[0039]图5A-?是示出根据示例性实施例，有源像素传感器500中的移动检测的图。从图5A可以看出，有源像素传感器500检测可见区域504中的暗点502，在可见区504的右手侧还包括小的亮点506。这可以指示用户手指在可见区504的左侧，如图5B所示。在某个时刻，用户可能滑动他/她的手指，得到图5C所示的亮度图。这反映用户手指向右移动，如图所示。这时，可以在用户设备200上的应用中触发相应的移动。如 上文所讨论的，如果有源像素传感器500在用户设备200的背面，则所触发的移动可能与所检测的移动相反(例如，所示向右移动引起向相应应用发送的向左移动的导航命令)。在一个示例中，应用可以提供配置接口，允许用户确定有源像素传感器(例如有源像素传感器500)所检测的不同基于导航的输入触发什么动作。
[0040]可以以固定时间间隔测量不同区域中的亮度改变。例如，可以以15fps的间隔来检查有源像素传感器500，以确定亮度是否改变并且其在哪个方向上改变。
[0041]在另一个实施例中，通过检测有源像素传感器500何时作为一个整体检测全黑或接近全黑的区域，然后该区域变亮再变黑，可以检测有源像素传感器500上的轻拍，而非移动。实际上，单次“轻拍”可由三个不同的动作或观测的状态改变组成(例如，暗、亮、暗)。首先，用户手指开始覆盖有源像素传感器500，然后移开，然后再一次覆盖有源像素传感器500。图6A-6F是示出根据示例性实施例，有源像素传感器中的手指轻拍检测的图。图6A中，可以看出，有源像素传感器600检测可见区604中的暗点602。为检测手指轻拍的目的，该暗点602的位置不严格相关。只要有源像素传感器的足够部分为暗，可以假设用户手指覆盖有源像素传感器600。因而，可以假设用户手指可以在图6B所示的位置。
[0042]图6C中，可以看出，有源像素传感器600检测可见区604中的大亮点606。这可能指示用户手指不再覆盖有源像素传感器600，如图6D所示。应当注意，在一些实施例中，可以使用阈值来确定具体需要多大的暗点602以使系统记录用户手指覆盖有源像素传感器600，以及需要多大亮点以使系统记录用户手指不再覆盖有源像素传感器600 (或者，为检测最终“轻拍”的目的而移开得足够多，因为每次“轻拍”包括覆盖部分和未覆盖部分)。这些阈值可以不同。例如，在一些实施例中，如果有源像素传感器600的可见区的至少60%为暗，则系统记录用户手指覆盖有源像素传感器600 ;而如果有源像素传感器600的可见区的不超过5 %为暗，则系统记录用户手指已抬起。
[0043]图6E中，可以看出，有源像素传感器600检测可见区604中的暗点602。因此，系统可假设用户手指在有源像素传感器600上，如图6F所示。应当注意，该暗点602不必在尺寸或位置上与图6A的暗点602相匹配。事实上，用户连续用手指在有源像素传感器600上两次击中完全相同位置的情况相当少见。两次达到用于检测手指的阈值便已足够。
[0044]尽管上述描述涉及单次轻拍的检测，可以以类似方式来检测多次轻拍组合。事实上，可以存在利用上述技术可检测的各种不同手指移动和手势。例如，暗到亮转变的不同模式以及转变之间的时机可触发应用内的不同功能。
[0045]图7示出根据示例性实施例，使用位于用户设备200上的有源像素传感器702以在用户设备200上导航的方法700的交互图。该图中示出的组件可全部在用户设备200上。方法700包括有源像素传感器702，其被示为与有源像素传感器监视器704分离。有源像素传感器监视器704可用以监视有源像素传感器702中的亮度改变。尽管在该图中这些组件被示出为分离，本领域技术人员将认识到，有源像素传感器监视器704可以简单地被认为是有源像素传感器702的一部分。相机应用706是将有源像素传感器702作为相机来操作的任何应用。非相机应用708是不将有源像素传感器702作为相机来操作的任何应用。在某些示例中，所讨论的功能可包含在用户设备的操作系统中。在这些示例中，根据本文所讨论的方法，操作系统可为应用提供接口，以将相机作为相机或基于导航的输入设备来操作。
[0046]步骤710，相机应用向有源像素传感器702发送捕捉图像的命令。步骤712，有源像素传感器702向相机应用706返回该图像。当然，在有源像素传感器702捕捉一系列静态图像并将其(以及来自单独麦克风的音频信息)向相机应用706发送的视频情形中，这一过程可重复很多次。
[0047]步骤714，非相机应用向有源像素传感器监视器704发送命令，请求将有源像素传感器702置为导航状态。在这种导航状态中，有源像素传感器702不作为相机来捕捉图像，而是用于检测导航移动。步骤716，有源像素传感器监视器704检测有源像素传感器702中正在捕捉低亮度的区域。其可能是亮度值小于预定亮度阈值并且尺寸大于或等于尺寸阈值的区域。尺寸阈值可以表示为，例如，像素数量或者占有源像素传感器702的总可见区的百分比。
[0048]步骤718，有源像素传感器监视器704检测有源像素传感器702中低亮度区域的移动。步骤720，有源像素传感器监视器704确定低亮度区域的移动方向。步骤722，将该方向转换导航输入。步骤724，有源像素传感器监视器704向非相机应用708发送所转换的导航输入。在一些示例性实施例中，有源像素传感器监视器704还可确定低亮度区域的移动距离，并且在执行转换时使用该移动距离。这样就不仅提供了移动方向，还提供了移动强度，使得导航输入具有方向和强度。在另一个示例性实施例中，还可以跟踪移动速度并在转换中使用。
[0049]步骤726，有源像素传感器监视器704检测有源像素传感器702中捕捉低亮度的另一个区域。步骤728，有源像素传感器监视器704检测该所检测区域中的变化，所述变化使得所检测区域在预定时间段内从低亮度变为高亮度再变回低亮度。步骤730，生成导航输入，指示对轻拍动作的检测。步骤732，向非相机应用708发送该导航输入。
[0050]图8示出根据示例性实施例，使用用户设备200上的有源像素传感器702以在用户设备200上导航的方法的交互图。步骤802，检测有源像素传感器702中捕捉低亮度的区域。步骤804，检测低亮度区域的移动。步骤806，确定低亮度区域的移动方向。步骤808，将方向转换为对用户设备200上运行的应用的导航输入。
[0051]图9示出根据另一个示例性实施例的，使用用户设备200上的有源像素传感器702以在用户设备上导航的方法的交互图。步骤902，检测有源像素传感器702中捕捉低亮度的区域。步骤904，检测所检测区域中的变化，所述变化使得所检测区域在预定时间段内从低亮度变为高亮度再变回低亮度。步骤906，向用户设备200上运行的应用生成用户输入，所述用户输入指示对轻拍动作的检测。
[0052]图10示出以计算机系统为示例形式的机器的图示，在所述计算机系统内，可以执行指令集，使机器执行本文所讨论方法的任意一个或多个。在备选实施例中，该机器作为独立装置来操作，或者可连接(例如，联网)到其它机器。在联网的部署中，该机器可以以服务器-客户端网络环境中的服务器或客户端机器的能力来操作，或者作为对等(或分布式)网络环境中的对等机器来操作。所述机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或桥接器、或者能够(顺序地或以其他方式)执行指定机器要采取的操作的指令的任何机器。另外，虽然仅示出单个机器，但是术语“机器”也应理解为包括单独地或联合地执行一个或多个指令集以完成本文中所讨论的任何一个或多个方法的机器的任意集合。
[0053]该示例计算机系统1000包括:处理器1002 (例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器1004和静态存储器1006 ，它们彼此通过总线1008进行通信。计算机系统1000还可以包括视频显示单元1010(例如，液晶显示器(IXD)或阴极射线管(CRT))。计算机系统1000还包括字母数字输入设备1012(例如，键盘)、光标控制设备1014(例如，鼠标)、盘驱动单元1016、信号产生设备1018(例如，扬声器)和网络接口设备1020。
[0054]盘驱动单元1016包括机器可读介质1022，在该机器可读介质1022上存储有一个或多个指令集和数据结构(例如，软件)1024，其实现了本文描述的任何一个或多个方法或功能。指令1024还可以在由计算机系统1000运行期间全部或者至少部分地驻留在主存储器1004和/或处理器1002内，主存储器1004和处理器1002也构成机器可读介质。指令1024还可经由网络接口设备1020在网络1026上发送或接收。
[0055]虽然机器可读介质1022在示例实施例中被示出为单个介质，但是术语“机器可读介质”应当包括单个介质或多个介质(例如，集中式或分布式的数据库，和/或关联的高速缓存和服务器)，其存储一个或多个指令或数据结构1024。术语“机器可读介质”还应当包括能够存储、编码或携带指令的任何有形介质，所述指令由机器执行，并使得机器能够执行任本发明的任何一个或多个方法。术语“机器可读介质”应相应地被理解为包括但不限于:固态存储器、光学介质和磁介质、以及载波信号。
[0056]尽管已经参考特定的示例实施例描述了实施例，但是显然在不脱离本发明构思的广义范围下可以对这些实施例做出各种修改和改变。因此，本说明书和附图应被视为说明性的，而非限制性的。
[0057]提供了本公开的摘要，以允许读者快速地确定本技术公开的性质。应该理解，提交的摘要不会被用来解释或限制权利要求的范围或含义。另外，在前面的详细描述中，可以看出，出于简化本公开的目的，在单个实施例中组合了各种特征。本公开的方法不应被解释为反映了以下意图:所要求保护的实施例需要比每个权利要求中明确记载的特征更多的特征。相反，如以下权利要求所反映的，发明主题在于少于单个公开实施例的所有特征。因此，所附权利要求书由此被并入到【具体实施方式】中，其中每个权利要求自身作为单独的实施例。
【主权项】
1.一种使用位于用户设备上的有源像素传感器以在所述用户设备上执行图形用户接口导航的方法，包括: 检测所述有源像素传感器中捕捉低亮度的区域； 使用所述有源像素传感器，检测低亮度区域的移动； 至少部分地基于所述低亮度区域的移动来确定方向；以及 将所述方向转换为针对在所述用户设备上运行的应用的输入。2.根据权利要求1所述的方法，还包括: 至少部分地基于所述低亮度区域的移动来确定距离；以及 在将所述方向转换为针对在所述用户设备上运行的应用的输入时使用所述距离。3.根据权利要求1所述的方法，其中，在所述用户设备上运行的应用不是被设计为从所述有源像素传感器捕捉图像的应用。4.根据权利要求1所述的方法，其中，所述有源像素传感器位于所述用户设备的正面。5.根据权利要求1所述的方法，其中，所述有源像素传感器位于所述用户设备的背面。6.根据权利要求1所述的方法，其中，检测低亮度区域包括:对亮度值低于预定亮度阈值并且尺寸大于或等于尺寸阈值的区域进行定位。7.—种使用位于用户设备上的有源像素传感器以在所述用户设备上执行图形用户接口导航的方法，包括: 检测所述有源像素传感器中捕捉低亮度的区域； 检测所检测区域中的变化，所述变化使得所检测区域在预定时间段内从低亮度变为高亮度再变回低亮度；以及 至少部分地基于检测所检测区域中的变化，对在所述用户设备上运行的应用生成导航输入，所述导航输入指示对轻拍动作的检测。8.根据权利要求7所述的方法，还包括: 进一步检测所检测区域中的附加变化，所述附加变化使得所检测区域在所述预定时间段内再次从低亮度变为高亮度再变回低亮度；以及 对所述应用生成导航输入，所述导航输入指示对双轻拍动作的检测。9.根据权利要求7所述的方法，其中，所述用户设备没有能够向所述应用提供导航输入的物理按钮。10.一种用户设备，包括: 处理器； 存储器； 触摸屏； 有源像素传感器，位于与所述触摸屏相对的位置，并且被配置为当所述处理器执行相机应用时用作相机，还被配置为当所述处理器执行非相机应用时用作输入设备，所述有源像素传感器还被配置为: 检测所述有源像素传感器中捕捉低亮度的区域； 使用所述有源像素传感器，检测低亮度区域的移动； 确定所述低亮度区域的移动的方向；以及 将所述方向转换为针对在所述用户设备上运行的应用的导航输入。11.根据权利要求10所述的用户设备，其中，所述有源像素传感器位于所述用户设备的正面。12.根据权利要求10所述的用户设备，其中，所述有源像素传感器位于所述用户设备的背面。13.根据权利要求12所述的用户设备，其中，转换所述方向包括:沿与针对所述低亮度区域的移动而确定的方向相反的方向，生成导航输入。14.根据权利要求10所述的用户设备，其中，所述用户设备是智能电话。15.根据权利要求10所述的用户设备，其中，所述用户设备是平板电脑。16.—种具有正面和背面的用户设备，包括: 处理器； 存储器； 触摸屏，位于所述用户设备的正面； 有源像素传感器，被配置为当所述处理器执行相机应用时用作相机，还被配置为当所述处理器执行非相机应用时用作输入设备，所述有源像素传感器还被配置为: 检测所述有源像素传感器中捕捉低亮度的区域； 检测所检测区域中的变化，所述变化使得所检测区域在预定时间段内从低亮度变为高亮度再变回低亮度；以及 对在所述用户设备上运行的应用生成导航输入，所述导航输入指示对轻拍动作的检测。17.根据权利要求16所述的用户设备，其中，所述用户设备缺少专用于接收对在触摸屏上显示的项目进行选择的用户指示的按钮。18.根据权利要求16所述的用户设备，其中，所述有源像素传感器是所述用户设备上的两个相同的有源像素传感器之一。19.一种包括指令的机器可读存储介质，当所述指令被机器执行时，使所述机器: 针对从有源像素传感器接收的数据，选择用户输入模式； 从所述有源像素传感器接收传感器数据； 在一时间段内，将所接收的传感器数据解析为多个输入事件；以及 至少部分地基于所述多个输入事件，对在所述机器上运行的应用生成输入。20.根据权利要求19所述的机器可读存储介质，其中，所述多个输入事件包括低亮度区域的移动。21.根据权利要求19所述的机器可读存储介质，其中，所述多个输入事件包括指示轻拍动作的一系列由亮到暗的转变。
【专利摘要】在示例性实施例中，用户设备上的有源像素传感器被用于捕捉与用户移动有关的图形用户接口导航。可以标识低亮度区域，并且低亮度区域的移动或变化可被转换为向用户设备上运行的应用馈送的导航命令。
【IPC分类】G06F3/041
【公开号】CN104903823
【申请号】CN201380070014
【发明人】约翰·泰普利, 艾瑞克·J·法拉罗, 内特·莱曼
【申请人】电子湾有限公司
【公开日】2015年9月9日
【申请日】2013年11月8日
【公告号】CA2890705A1, EP2917815A2, US9176539, US20140132564, WO2014074811A2, WO2014074811A3
最新回复(0)