眼睛跟踪佩戴式设备和使用方法
眼睛跟踪佩戴式设备和使用方法
【专利说明】眼睛跟踪佩戴式设备和使用方法
[0001]相关申请数据
[0002]本申请要求共同未决临时申请，即2012年12月6日提交的序列号分别为61/734，354,61/734, 294和61/734，342的权益，其全部公开以引用的方式明确地并入本文。
技术领域
[0003]本发明通常涉及用于眼睛跟踪的装置、系统和方法以产生注视映射，如确定空间中的位置或由一只或两只眼睛观察到的(一个或多个)物体。
【背景技术】
[0004]佩戴式设备和系统是有益的，因为使用靠近一只或两只眼睛的平台的眼睛测量降低由头部移动和其他来源生成的测量误差。历史上，由于与佩戴式眼睛跟踪设备有关的局限性，佩戴式应用限于研宄、眼科手术和军事领域。由于所需摄像机位置不便，导致佩戴式系统趋向于体积大且昂贵。惯例，制造成像和照明系统的困难在于要求实现不显眼的外形因素。如果系统未连接到计算机，注视映射和/或注视确定可以是数据且计算密集导致有限的实时功能。最后，获得更高精确度的一个方法是根据眼睛图像中的位置和饱和度控制闪烁的存在。结果，户外功能由以外来闪烁的形式的噪声明显限制。外来闪烁通常由在系统外部的光源(直接的或间接的)引起。
[0005]一个示例是在眼睛图像中捕获的、用户眼睛中的场景的映像。对于类似的原因，依靠用于注视确定的浦肯野(Purkinje)图像的眼睛跟踪系统经常与眼镜和隐形佩戴者不相宜。
【发明内容】
[0006]本发明针对用于眼睛跟踪的装置、系统和方法，例如，以产生注视映射，如确定空间中的位置或确定由一只或两只眼睛观察到的(一个或多个)物体。具体地，本文提出的方案可以与移动设备(如平板电脑)相配，该移动设备对环境照明条件如明亮的阳光成模块化且/或是鲁棒的。
[0007]本文装置、系统和方法涉及应用中的眼睛跟踪，在应用中，移动的佩戴式设备用于用户视觉反馈和/或期望对一致的性能具有环境鲁棒性。不像其他眼睛跟踪系统，本文中的系统可以是低成本的和/或不引人注目的，其具有安装在架构上的部件，如类似于一副典型的太阳镜或其他头饰。由于眼睛移动对人的做决定的过程和技能提供有用的洞察力，则确定注视点位置的能力和/或使用眼睛移动来控制和/或与设备的宽阵列交互的能力可以是有用的。
[0008]佩戴式眼睛跟踪设备中的一个障碍是不引人注目的摄像机位置。用于成像眼睛的理想位置是紧靠在眼睛前。历史上，选择移动摄像机和光学器件到头部一侧并包含热镜或其他反射镜，或选择将摄像机离轴移动到眼睛以下。后一种方法导致紧紧约束的机械设计以让用户看不到。另外，高视角使眼睛和瞳孔检测复杂化。需要一种方案使眼睛能够直视，同时能够具有重量轻的、紧凑的外形因素。自由形式的光学表面是一个可能的方案，如在美国公开号2012/0162549中由高(Gao)等人和2012/0081800中由程(Cheng)等人公开的方案，其全部公开成果以引用的方式明确地并入本文。传感器和耦合透镜组件可以靠近太阳穴定位，且自由形式的光学器件如棱镜或波导可以被设计，使得眼睛的正前方视图在重量轻的、不引人注目的耳机的约束内获得。优化自由形式的模块的入射光瞳和厚度以成像眼睛，且补偿透镜可以连接到自由形式的光学器件的外表面以给用户提供场景的无畸变视图。补偿透镜可以包含或可以不包含用户的处方(prescript1n)校正。
[0009]典型地，佩戴式设备与眼镜不相宜或放置在眼镜上。如果相反，用户的处方被包含到光学系统设计，那么根据用户的立足点，系统可以是体积小的和/或不灵活的。
[0010]为缓和一些耦合/反射光学器件的性能约束，由于目标不是产生图像数据而是产生眼睛跟踪数据，所以光学精度可以代替光学空间传递函数的知识。实际上，这可以包括波前编码技术和/或给出每个像素的实际位置(相对于使用阵列内的像素的索引来表示空间距离)的二维(2D)查询表的发展。为了成本效率，机械和光学设计的模块化方法可以是有用的。
[0011]例如，紧凑的自由形式的波导可以结合到眼睛跟踪产品一类中。在此系统中，传感器、光源、耦合透镜组件、自由形式的光学器件和补偿透镜中每个都可以是可以拆除和/或由不同的应用专用和/或用户专用的部件所取代的模块。例如，在示例性实施例中，包括多个不同设计或配置的(例如六个设计)部件的工具箱，可以被提供用于更常规的视觉校正处方。
[0012]因为在从近眼显示器(near-eye display “NED”)移动到眼睛跟踪的唯一方案中移除显示器缓和对设计的约束，如在美国公开号2012/0162549中公开那样，模块化方法可以是可行的。眼睛照明和用于跟踪的眼睛图像可以使用窄带(通常在红外附近)波长来执行。这可以缓和对自由形式的光学器件设计内的表面的设计的约束，因为不仅系统可以忍受用于眼睛跟踪的图像内的空间畸变(正如所述的)，而且由于没有用于投射的显示(可见波长)，与像差有关的问题也可以在照明光束路径中得以缓和。另外，用于自由形式的光学器件内的全内反射和/或反射镀膜的条件可以更容易维持在眼睛跟踪的唯一系统中。类似地，用于将图像传输到摄像机的耦合光学器件(如在美国公开号2012/0162549中公开的那些器件)可以在能够忍受空间畸变和/或像差的注视跟踪系统中简化和/或移除。
[0013]设计模块化也可以增加照明配置和眼睛跟踪的算法方法的灵活性。以轴上模式观察眼睛的能力能够实现亮瞳孔跟踪。通过结合设计内的同轴闪烁源配置和轴外闪烁源配置，具有与摄像机的光学轴线同轴的照明的序列图像(“亮瞳孔”或浦肯野图像)和不具有与摄像机的光学轴线同轴的照明的序列图像(暗瞳孔图像)可以被减掉以使瞳孔隔离(甚至在FPGA或ASIC内)。亮瞳孔图像中的辐照度分布可以给出轴上眼睛如何与投射照明和图像采集有关的一些指示。可选地，暗瞳孔图像中对眼睛的闪烁可以用来继续进行角膜中心的计算。
[0014]移到模块化方案能够使外形因素具有灵活性，使得注视跟踪设备可以结合至佩戴式设备，如太阳镜、防护眼镜、口罩、头盔、耳机等等。设计中的这种灵活性扩大佩戴式眼睛跟踪系统可以在其中被实施的用例数量。于是，局限性在于视频压缩、传输和处理的要求。为了缓和向与移动设备相配的无线的或已连接的便携系统的过渡，深入到模块中的仔细算法分解可以从CPU转向集成到佩戴式设备的眼镜(temple arm)(或其他位置)的嵌入式处理单元且可以减少数据传输所需的带宽量。
[0015]一旦注视映射系统是真实移动的且是在环境上是鲁棒的，可能的用例范围明显增加。例如，参考施工监测期间的蓝图，仓库库存和专家-新手的运动训练可以使用对结构移动、眼睛控制和/或户外功能具有鲁棒性的移动系统得以促进。
[0016]另外或可选地，可以理解，本文的任何设备可以包括一个或多个方法来利用可用环境亮度并且将眼睛检测限制到窄波长范围或一组范围。对于眼睛跟踪，只有近红外(near-1nfrared, “IR”)光的窄带可以用于眼睛成像，但经过适当设计之后，可以大体上允许百分之百(100% )的可见光(减去材料接口处的损耗)被传输用于穿戴者以观察场景。也可以使用如镀膜、光栅、滤波和/或多光源的技术。镀膜可以包括金属和介电材料和/或可以在功能上是反射的或抗反射的，包括二色性方案。
[0017]注视跟踪系统在相对于给定用户的脸部的结构位置中的小的移动具有鲁棒性且允许无限制的头部移动，这一点通常是有用的。然而，在移动场景中，满足这两种情况可能是重要的。两种情况可以通过相对于观察平面的内空间(成像和/或跟踪一只或两只眼睛)和外空间(成像用户的周围或“场景”)的合适的标准化来完成。注视点可以由左眼和右眼注视向量的收敛确定。随后，信息可以通过移动设备作为场景摄像机视频上的叠加(overlay)转送给用户。
[0018]例如，出于新手训练的目的，用于户外三维(3D)注视点(point of regard，“POR”)而已优化的头盔式眼睛跟踪眼镜可以用于记录执行专门技能(如踢足球)的职业运动员(专家)的视觉行为。在此情况下，3D注视点可以叠加在场景图像上。POR视频和视数据可以被记录在已连接的记录设备上和/或可以无线地流到平板电脑或其他计算设备。随 后，训练员可以能够创建新手训练程序，该程序使用专家的视觉行为证明用于技巧提升的最佳视觉模式。
[0019]通过监测眨眼行为和瞳孔尺寸，视数据检测睡意和疲劳。这些指标可以集成到用户界面(“Π”)以使用物体识别来警告不安全情况下的员工(如危险、地板潮湿、周边其他员工等)或记录员工工作行为以确保性能达到期望的标准和/或品质不被损害。
[0020]当注视点数据集成到具有光标控制的更详细的用户界面时，眼睛移动可以与利用手部、脚部和/或其他身体移动来指挥计算机和其他控制应用的其他输入设备一起可交换地使用。具有移动设备的配对眼睛控制开始应用，在应用中，使用结合了预定位标签的眼睛移动，例如，能够让用户具有更自然的体验，如在仓库库存的情况下。另外，它为各种应用提供基本的、可视的用户反馈的好处。
[0021]例如，考虑确定照片已拍摄的行为。查看作为菜单/控件的在策略上已定位的指示器(LED或其他光源)的能力生成简单的用户界面，在该用户界面中，例如，用户可以允许他们的注视存在于作为UI控件的LED指示器的图像上以告诉系统准备拍照。示例性方法可以包括:
[0022]〇注视“拍照” LED，直到其从“红”变到“绿”；
[0023]〇注视用户想要针对其精细拍照的图像的中心点，，如限定焦点；且
[0024]〇拍摄围绕焦点为中心的有限视场照片，或
[0025]〇在来自LED的周边视野中的适当反馈的情况下，先注视虚拟结构的左上角，再注视右下角。
[0026]根据示例性实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；利用用户的眼睛执行预定行为以激活佩戴式设备的照片特征；注视在用户的周围内的区域的中心点，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
[0027]根据另一个实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；注视佩戴式设备的预定位置以激活佩戴式设备的照片特征；注视在用户的周围内的区域的中心点，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
[0028]在示例性实施例中，注视佩戴式设备的预定位置以激活照片特征包括注视佩戴式设备上的“拍照”LED，直到佩戴式设备改变LED，如改变LED的颜色，用以指示照片特征是激活的。
[0029]根据又一个实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；注视佩戴式设备的预定位置以激活佩戴式设备的照片特征；注视在用户的周围内的区域的虚拟结构的对角，基于根据已确定的角的中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
[0030]根据再一个实施例，提供一种拍摄数字照片的设备，所述设备包括佩戴式设备，其经配置戴在用户头部上；在佩戴式设备上的内窥摄像机，其经配置当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像；在佩戴式设备上的外部摄像机，其经配置当佩戴式设备由用户戴着时，获取用户周围的图像；和一个或更多个处理器，其连接到内窥摄像机以确定用户何时利用用户的眼睛执行预定行为来激活佩戴式设备的照片特征，该一个或更多个处理器连接到外部摄像机以确定用户何时以预定方式注视在用户周围内的区域，该一个或更多个处理器基于预定方式确定用于外部摄像机成像场的焦点和有限视场，并激活外部摄像机以捕获围绕焦点为中心的有限视场的图像。
[0031]根据另一个实施例，提供一种用于眼睛跟踪的设备，所述设备包括佩戴式设备，其经配置戴在用户头部上；安装在佩戴式设备上的自由形式的波导，使得当佩戴式设备由用户戴着时，波导放置在用户眼睛前，波导包括形成于其中的一个或更多个记号；在佩戴式设备上的内窥摄像机连接到波导以当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像；和在佩戴式设备上的一个或更多个光源，其将光引入波导，使得光朝向眼睛反射离开一个或更多个记号，一个或更多个记号进一步配置为聚焦朝向眼睛通过波导而进入波导的外表面的光。
[0032]可选择地，设备可以包括在佩戴式设备上的周围环境光传感器；和一个或更多个处理器，其连接到周围环境光传感器以确定戴着佩戴式设备的用户周围的周围环境光的水平，该一个或更多个处理器连接到一个或更多个光源以在眼睛跟踪序列期间，当周围环境光的水平低于预定阈值时激活光源。
[0033]另外或可选地，设备可以包括安装在波导前、佩戴式设备上的补偿透镜，使得波导配置在补偿透镜和戴着佩戴式设备的用户的眼睛之间。可选地，补偿透镜是太阳镜片，和/或是永久带色的。在另一选择中，补偿透镜和波导中的至少一个包括其中的粒子，其经配置为穿过其中的光提供可变的不透明度或透明度，设备还包括电压源，其是选择性可激活的以弓I起粒子控制不透明度或透明度。
[0034]根据再一个实施例，提供一种用于眼睛跟踪的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括安装于其上的自由形式的波导，使得波导放置在用户眼睛前，波导包括形成于其中的一个或更多个记号；确定何时在用户周围内的周围环境光条件降到低于预定阈值；当周围环境光条件低于预定阈值时，在使用在佩戴式设备上的内窥摄像机获取眼睛图像的眼睛跟踪序列期间，激活佩戴式设备上的一个或更多个光源，来自一个或更多个光源、穿过波导的光离开朝向眼睛反射离开一个或更多个记号；确定何时在用户周围内的周围环境光条件高于预定阈值；且当周围环境光条件高于预定阈值时，在关闭一个或更多个光源的情况下，使用内窥摄像机获取眼睛图像，使得周围环境光朝向眼睛穿过一个或更多个记号。
[0035]在示例性实施例中，根据穿过一个或更多个记号的周围环境光，一个或更多个记号对眼睛产生预定闪烁图案(pattern)，所述预定闪烁图案在眼睛图像中获取。另外或可选地，根据来自一个或更多个光源、反射离开一个或更多个记号的光，一个或更多个记号可以产生对眼睛的预定闪烁图案。
[0036]根据又一个实施例，提供一种产生定制的眼睛跟踪设备的工具箱，该工具箱包括佩戴式设备，其配置为戴在用户头部上；具有不同光学特性的多个自由形式的波导，每个波导分别可安装于佩戴式设备，使得当佩戴式设备由用户戴着时，波导放置在用户眼睛前；一个或更多个补偿透镜，每个透镜安装于佩戴式设备，使得已安装的波导配置在补偿透镜和戴着佩戴式设备的用户的眼睛之间；和具有不同特性的多个内窥摄像机模块，每个内窥摄像机模块分别可安装于佩戴式设备且连接到已安装的波导，从而当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像。
[0037]可选择地，工具箱还可以包括在佩戴式设备上的一个或更多个光源和/或在佩戴式设备上的外部摄像机，所述一个或更多个光源将光引入波导，使得光被引导朝向戴着佩戴式设备的用户的眼睛，所述外部摄像机配置为当佩戴式设备由用户戴着时，提供用户周围的图像。
[0038]结合附图根据下列描述的考虑，本发明的其他方面和特征会变得明显。
【附图说明】
[0039]根据以下详细描述，当结合附图阅读时，有助于更好地理解本发明。可以理解的是附图中所示的示例性装置不必要按比例示出，着重于而非强加于图示说明所说明的实施例的各方面和特征。
[0040]图1A和图1B分别是佩戴式注视跟踪设备的示例性实施例的立体图和正视图。
[0041]图2是包括波导和摄像机模块的眼睛成像模块的示例性实施例的立体图，其中所述波导和摄像机模块可以包括在图1A和图1B的佩戴式设备中。
[0042]图3是图2的眼睛成像模块的细节，其中示出该模块的摄像机。
[0043]图4是示出图2的眼睛成像模块的细节，该模块被结合到到图1A和图1B的佩戴式设备中。
[0044]图5是图1A和图1B的佩戴式设备的组件的示意图。
[0045]图6-图8是在图5中所示的佩戴式设备的示意图，该设备被配置为分别以包括照明模式、成像模式和 观察模式的不同模式操作。
[0046]图9是佩戴式设备的可替代实施例的示意图，其中该佩戴式设备被配置成为户外眼睛跟踪而配置的不同模式操作。
[0047]图10和图11是图9佩戴式设备的示意图，该设备被配置为分别以包括周围环境照明模式和边缘照明模式的不同模式操作。
【具体实施方式】
[0048]转向附图，图1-图5示出佩戴式眼睛和/或注视跟踪设备或系统10的示例性实施例。在示例性实施例中，本文的设备、系统和方法可以提供模块化佩戴式注视跟踪设备，该佩戴式注视跟踪设备为移动使用在各种应用中而被优化，这些应用包括注视映射增加当前已配置的其他移动设备好处的那些应用。在另一个示例性实施例中，本文的设备、系统和方法可以优化和/或对户外或其他环境的照明条件具有足够的鲁棒性，从而增加应用的数量，在这些应用中，眼睛和/或注视跟踪的好处可以被应用。
[0049]通常地，如图1所示，设备10包括佩戴式设备12 (如眼镜结构(如图所示)，或配置为戴在用户头部(未示出)上的口罩、耳机、头盔等)；安装在设备上的外部摄像机20，以成像用户周围；安装在设备上的内窥摄像机30，以成像一双或更多双用户的眼睛(图5中示出一只眼睛90);自由形式的光学组件40和自由形式的补偿透镜50。另外，如图5所示，设备10可以包括一个或更多个光源44，如包含于光学组件40上的光源和/或安装在佩戴式设备12上其他位置处的光源。设备10还可以包括一个或更多个处理器、存储器等(未示出)，其连接到其他部件用以操作设备10和/或执行本文所述的各种功能。可以包含在设备10内的示例性部件，如佩戴式设备、摄像机、光源、处理器、通信接口等，已经公开于美国专利号6，541，081和7，488，294，和美国公开号2011/0211056和2013/0114850中，其全部公开成果以引用的方式明确地并入本文。
[0050]参考图2-图5，设备10的光学组件40可以包括多个部件，如波导或内窥自由形式的光学器件42、一个或更多个光源44和波长选择组件46，其如用于聚焦和/或滤波穿过其中的光。波导42可以如通过波长选择组件46光学地连接到包含于摄像机模块壳体48中的内窥摄像机30和/或(一个或多个)光源44，如图2和图3所示，例如，使得波导42可拆卸地或固定地附接到壳体48。
[0051]波导42可以是一体的光学设备，其被成型和/或以其他方式被配置为包围(fold)光学组件40的光路，如将来自(一个或多个)光源44的照明引向用户的眼睛90，和/或收集来自用户的眼睛90的光，从而使用内窥摄像机30获取图像，如本文在别处所述的。例如，波导42可以包括一个或更多个棱镜和/或在其中一体形成的其他光学特征，使得引入波导42的端部或边缘(如连接到内窥摄像机30的端部43)的光在波导42内传输，例如，该光反射离开波导中的一个或更多个表面朝向波导相对的端部，并从预定表面(如内表面42b)反射出，朝向用户的眼睛90，如用于照亮眼睛90。相反地，进入预定表面(如内表面42b)的来自眼睛90的光可以在波导42内传输返回朝向连接到内窥摄像机30的端部43，如用于捕获眼睛90的图像。
[0052]另外，波导42可以具有朝外表面42a，其与眼睛结构基本弯曲轮廓匹配，例如，该朝外表面42a对应于补偿透镜50的朝内表面50b，如图5不意不出的。因此，波导42和补偿透镜50 —起可以允许如基于正常视觉或预定的校正处方，由用户的眼睛90通过其至用户的周围的大体非畸变的观察。波导42还可以定大小以至少部分地和/或完全地覆盖结构12中的眼睛开度，如补偿透镜50被安装在该结构12内。可选择地，波导42可以包括如在朝外表面42a上、在朝内表面42b上和/或包含于波导材料内的用于最佳性能的一个或更多个应用专用的镀膜。
[0053]可选择地，设备10的一个或更多个部件可以是可互换的，根据基于特定个体用户的需要，，如允许例如来自模块化工具箱的部件的不同尺寸、外型和/或其他配置进行互换。例如，第一波导42 (连接到摄像机44)可以替换为例如对应于不同的用户处方的不同波导(未示出)。可选地，第一波导42可以从眼镜结构12中移除，并且放置入头盔、一对护目镜或其他佩戴式设备(未示出)中，如使得相同用户可以使用不同佩戴式设备并仍然适应眼睛和/或注视跟踪。可以设想集成于护目镜、口罩、太阳镜等中的多种设计方案。
[0054]在示例性实施例中，图5中示意所示的设备10的任意光学部件可以是模块。例如，波导42可以如使用在波导42和/或壳体48的连接端上的一个或更多个连接器(未示出)可拆卸地连接到壳体48。如图4所示，壳体48可以固定地或可拆卸地附接到结构12上，如在结构12的太阳穴件或耳部支撑件14上。壳体48可以是足够稳固的，且波导42足够坚硬，使得当壳体48固定至结构12时，波导42抵靠补偿透镜50固定或邻近补偿透镜50固定。可选地，波导42和结构12和/或补偿透镜50可以包括一个或更多个连接器(未示出)，从而相对于补偿透镜50固定波导42。
[0055]另外或可选地，根据需要，内窥摄像机30和/或波长选择组件46可以可拆卸地安装在壳体48内。如图所示，一个或更多个光源44可以通常与如安装在壳体48内的内窥摄像机30共面放置和/或位于其附近，和/或一个或更多个光源44可以安装在波导42的边缘处(如在一个端部上)，使得(一个或多个)光源可以生成进入波导42的光，波导可以将光引向用户的眼睛90。可选择地，壳体48还可以包括一个或更多个处理器，如多个FPGA、多个ASIC等，和/或其中的存储器部件，或这种部件可以安装在结构12的其他地方并电连接到壳体48和/或其中的部件。
[0056]根据需要，设备10可以以一种或更多种模式操作，如允许照明和/或眼睛90的成像。例如，如图6所示，在所示的照明模式中，一对光源44被安装成大体上与传感器(如内窥摄像机30的CMOS、CCD或其他成像芯片)共面。因此，由光线45a表示的发射光可以由光源44通过波长选择组件46发射进波导42，该波导42可以将光引向眼睛90，如光线45b表示。以此方式，光源44可以以期望的方式照亮眼睛90，如产生一个或更多个闪烁等。
[0057]另外，转向图7，在所示的眼睛成像模式中，从眼睛90(如镜面反射地和/或漫反射地)反射的、由光线47a表示的光由自由形式的波导42收集并将光引回至耦合光学器件46，该親合光学器件46将光聚焦至内窥摄像机30上，如光线47b表不。
[0058]转向图8，配对的波导42和补偿透镜50可以允许来自场景，即用户周围的、由光线49表示的光传播到用户的眼睛90，如在眼睛90的入射瞳孔处具有最小失真。
[0059]例如，图1所示的设备10可以配置为选择性地以这些模式中的任意一种进行操作。根据需要，应用专用的硬件、软件模块和/或其他处理功能和连接性可以提供在设备10上以产生一类注视跟踪设备，如每个设备能以这些模式中任一种进行操作。应用专用的硬件和连接性可以在基本水平上运行以序列化如来自外部摄像机20和/或内窥摄像机30的数据流，并如无线地或通过有线连接(未示出)将其发送至处理单元，如发送至设备10上的(一个或多个)处理器和/或发送至远程电子设备(未示出)。其他光学特征可以包括DSP (如无畸变)、第一处理(first-1n-process)算法模块和/或注视向量的全计算。如基于可用功率和/或带宽要求，这些的任何组合可以由设备实施。
[0060]在示例性实施例中，设备10可以能够具有三维(3D)注视点(POR)确定，且可以包括一个或更多个以下特征:
[0061]a)保存用户标定数据；
[0062]b)用于POR建模的虚拟平面注视映射算法；
[0063]c)用于标定从内窥摄像机30旋转和/或平移到外部摄像机20的算法；和/或
[0064]d)将注视映射数据无线地流到移动设备(如基于Windows的操作系统OS、基于Iinux的操作系统等)，如通过引用并入本文在别处的参考中所述的。
[0065]转向图9-图11，所示的眼睛和/或注视跟踪设备110的另一示例性实施例通常类似于本文在别处描述的其他实施例可以包括部件，如结构或其他佩戴 式设备(未示出)，其带有一个或更多个部件，如一个或更多个内窥摄像机130 (用于成像相应的眼睛90的图10和图11中所示的一个)、外部摄像机(未示出)和自由形式的光学组件140(如包括波导或内窥自由形式的光学器件142和一个或更多个光源144)，该示例性实施例通常类似于在别处描述的其他实施例。与以前的实施例不同，波导142包括一个或更多个特征，如形成于其中的多个带有记号的凹口或楔形物143，例如，从而生成闪烁，正如下面进一步所述，该一个或更多个特征可以增强用于在户外或其他明亮照明环境下的眼睛和/或注视跟踪的设备110的使用。具体地，正如下面进一步所述，如基于光照射“记号”的角度，“记号”143可以交替用作传输或反射。记号143可以使用各种方法(包括激光烧蚀)形成在波导1422中。
[0066]设备110可以以不止一种模式操作，如使用双模态照明方案来利用高亮度周围环境条件。例如，在明亮的周围环境光条件下，配对的波导142和补偿透镜150允许来自场景的、如由光线149a表示的光通过波导142和补偿透镜150传播到用户的眼睛90上，其中在眼睛90的入射瞳孔处具有最小失真。
[0067]更具体地，如图10所示，记号143允许周围环境光通过他们和波导142以期望的模式或配置照到眼睛90，并生成预定的闪烁图案，该光反射回波导142 (如光线14%所示)并引到内窥摄像机130(如光线194c所示)。因此，对于周围环境或“场景”照明源(如太阳光)，记号以传输方式操作。
[0068]相反地，如图11所示，当周围环境光不充足时，一个或更多个边缘照明源144可以用来将光引入波导14，如光线145a所示，且记号143可以以反射方式操作以将光引向眼睛90，如光线145b所不。反射光可以反射回波导142并引到内窥摄像机130，如光线145c所示。设备110可以包括周围环境光传感器(未示出)，其可以例如通过设备10的一个或更多个处理器使用来调节到(一个或多个)光源144的光源电流，以实时地在室内应用和户外应用之间切换设备。因此，如果基于周围环境光传感器，处理器确定周围环境光充足，则(一个或多个)光源144可以关闭或保持闲置，而如果周围环境光不充足，则(一个或多个)光源144可以按照期望的眼睛跟踪方法的需要而被激活。
[0069]在多模态系统(如设备110)中，适当的波长控制可能是重要的。为促进这点，短通(short-pass)介电镀膜(未示出)可以提供在波导142和/或补偿透镜150上，如在其朝外表面142a、150a上。(一个或多个)这种镀膜可以通过来自场景的可见光，使得用户可以在白天(明亮)和夜晚(黑暗)条件期间充分观察场景。可以配置记号143，使得(一个或多个)光源144中的中心波长朝向用户的眼睛90优先折射、反射和/或衍射。
[0070]类似于图7中所示的设备10，设备110还可以以眼睛成像模式操作。从眼睛90反射(镜面反射地和漫反射地)的、由图7中的光线47a表示的光可以由波导140收集并引导回波长选择组件146，该波长选择组件146将光聚焦到内窥摄像机130上(如图10和图11所示)。在波长选择组件146中的长通滤波器或凹口滤波器可以用于降低由于可见波长中的外来的角巩膜反射产生的噪声。此外，偏振光源和/或偏振敏感部件也可以降低环境噪声。
[0071]可选择地，补偿透镜150 (或本文任意其他实施例的补偿透镜)可以是太阳镜片，如着色的、滤波的和/或偏振的透镜，从而减少到达用户眼睛的光的量，这可以允许用户缓解眼皮和虹膜和/或以其他方式促进眼睛和/或注视跟踪。在补偿透镜150中的任意色彩可以是不变的或透镜可以是过渡镀膜(transit1n-coated)的。另外或可选地，补偿透镜150可以基本上永久地安装在结构中或可以是可拆卸的，以致不同补偿透镜在设备110中可以是可互换的。
[0072]另一种方法可以基于在图像内从(一个或多个)内窥摄像机130收集的、用于跟踪用户的(一只或两只)眼睛90的光水平对波导142和/或补偿透镜150的不透明度提供动态控制。例如，系统可以被提供，从而在来自环境的、到达用户的眼睛90的光的路径内电子地控制透镜142或150和/或其他(一个或多个)光学元件的不透明度(或相反的透明度)。在示例性实施例中，悬浮的细长状粒子可以提供在波导142和/或补偿透镜150内以提供悬浮粒子设备(sro)，且在设备上可以提供电路以施加预定电压，从而使细长状粒子在方向上与块对齐或允许光传输。例如，使用聚合物分散液晶体和/或电浸润表面，可以提供其他电致变色的设备和/或方法。这种电致变色的方法可以独立于对光反应变色的方法而使用或与对光反应变色的方法结合使用以控制不透明度。这种特征可以包含于本文的任何实施例中。
[0073]在户外和/或刺眼光照环境下的主要挑战是在来自环境源的整体光照持续改变的时间段期间，大体上持续跟踪眼睛位置的能力。如本文在别处提到的，这可以通过在波长的范围内选择性地阻塞用于照明和/或跟踪用户的眼睛的环境光源来部分地得以缓和。另外或可选地，高动态范围传感器可以包含于内窥摄像机中。
[0074]附加方法可以包括动态地调节在设备110内、如由(一个或多个)光源144生成的照明，以补偿环境照明中的增加或减少。记录的、用于跟踪(一只或两只)眼睛90的内窥摄像机130的图像内的光水平可以用于监控并随后控制(一只或两只)眼睛90的照明。这可以包括选择性地照明左眼或右眼。也可以包括基于记录在摄像机图像的不同区域中的光强度，优先地增加区域或眼睛90的子集的照明，如类似于在通过引用并入本文别处的参考中公开的系统和方法。
[0075]进一步地，考虑瞳孔检测的多种方法是有用的，如果暴露了充足的瞳孔，可以实施边缘和/或点检测方法以定位瞳孔的轮廓。如果暴露了不充足的瞳孔，确定眼皮轮廓和/或虹膜边缘而不是瞳孔轮廓可以能够确定包含瞳孔中心的小区域。在此之后，可以实施算法以将瞳孔拟合成椭圆形并确定瞳孔中心，如星暴(Starburt)算法和随机抽样一致性(Ransac)算法。附加的可能性包括使用多个摄像机来提高特征捕获并降低处理。
[0076]一旦注视映射系统是真实移动的且是环境鲁棒的，可能的用例范围明显提高。例如，参考施工监测期间的蓝图的仓库库存和使用移动眼睛跟踪系统的专家-新手的运动训练可以通过结构移动、眼睛控制和/或户外功能的鲁棒性得以增强，如在本文别处所描述的。
[0077]应当认识到，本文的任何实施例示出的元件或部件对于特定实施例是示例性的，且可以用在本文公开的其他实施例上或与之结合使用。
[0078]尽管本发明易受到各种修改和替代形式的影响，但是它的特定示例已经示出在附图中且在本文中详细地描述。然而，应当了解，本发明不限于已公开的特定形式或方法，而相反的，本发明涵盖落入所附权利要求的范围内的所有修改、同等物和替代物。
【主权项】
1.一种用于拍摄数字照片的方法，所述方法包括: 将佩戴式设备戴在用户头部上，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机； 利用所述用户的眼睛执行预定行为以激活所述佩戴式设备的照片特征； 注视在所述用户的周围内的区域的中心点，基于所述中心点，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且 激活所述摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。2.根据权利要求1所述的方法，其中执行预定行为包括注视所述佩戴式设备的预定位置以激活所述佩戴式设备的照片特征。3.根据权利要求1所述的方法，其中执行预定行为包括注视所述佩戴式设备的预定位置以激活照片特征包括注视所述佩戴式设备上的“拍照” LED04.一种用于拍摄数字照片的方法，所述方法包括: 将佩戴式设备戴在用户头部上，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机； 注视所述佩戴式设备的预定位置以激活所述佩戴式设备的照片特征； 注视在所述用户的周围内的区域的中心点，基于所述中心点，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且 激活所述摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。5.根据权利要求4所述的方法，其中注视所述佩戴式设备的预定位置以激活照片特征包括注视所述佩戴式设备上的“拍照” LED ，直到所述佩戴式设备改变所述LED以指示所述照片特征是激活的。6.根据权利要求5所述的方法，其中所述LED改变颜色以指示所述照片特征是激活的。7.根据权利要求4所述的方法，还包括，注视虚拟结构的对角以确定所述有限视场。8.一种用于拍摄数字照片的方法，所述方法包括: 将佩戴式设备戴在用户头部上，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机； 注视所述佩戴式设备的预定位置以激活所述佩戴式设备的照片特征； 注视在所述用户的周围内的区域的虚拟结构的对角，基于根据所确定的角的所述中心点，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且激活所述摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。9.根据权利要求8所述的方法，其中注视所述佩戴式设备的预定位置以激活照片特征包括注视所述佩戴式设备上的“拍照” LED，直到所述佩戴式设备改变LED以指示所述照片特征是激活的。10.根据权利要求9所述的方法，其中所述LED改变颜色以指示所述照片特征是激活的。11.一种用于拍摄数字照片的设备，所述设备包括: 佩戴式设备，其经配置戴在用户头部上； 在所述佩戴式设备上的内窥摄像机，所述内窥摄像机经配置成当所述佩戴式设备由所述用户佩戴时，获取眼睛的眼睛跟踪图像； 在所述佩戴式设备上的外部摄像机，所述外部摄像机经配置当所述佩戴式设备由所述用户佩戴时，获取所述用户的周围图像；和 一个或更多个处理器，其连接到所述内窥摄像机以确定所述用户何时利用所述用户的眼睛执行预定行为来激活所述佩戴式设备的照片特征，所述一个或更多个处理器连接到所述外部摄像机以确定所述用户何时以预定方式注视在所述用户的周围内的区域，所述一个或更多个处理器基于所述预定方式确定所述外部摄像机成像场的焦点和有限视场，并激活所述外部摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。12.根据权利要求11所述的设备，还包括，在所述佩戴式设备上的“拍照”LED，其中所述预定行为包括所述一个或更多个处理器确定所述用户注视所述“拍照” LED013.根据权利要求12所述的设备，其中所述一个或更多个处理器连接到所述“拍照”LED，使得当用户注视所述“拍照” LED时，所述一个或更多个处理器改变所述LED的颜色以指示所述照片特征是激活的。14.一种用于眼睛跟踪的设备，所述设备包括: 佩戴式设备，其经配置戴在用户头部上； 安装在所述佩戴式设备上的自由形式的波导，使得当所述佩戴式设备由所述用户佩戴时，所述波导放置在用户眼睛前，所述波导包括形成于其中的一个或更多个记号； 在所述佩戴式设备上的内窥摄像机，所述内窥摄像机连接到所述波导，从而当所述佩戴式设备由所述用户佩戴时，获取所述眼睛的眼睛跟踪图像；和 在所述佩戴式设备上的一个或更多个光源，所述一个或更多个光源将光引入所述波导，使得所述光朝向所述眼睛反射离开所述一个或更多个记号，所述一个或更多个记号进一步经配置为聚焦朝向眼睛通过所述波导进入所述波导的外表面的光。15.根据权利要求14所述的设备，还包括: 在所述佩戴式设备上的周围环境光传感器；和 一个或更多个处理器，其连接到所述周围环境光传感器以确定佩戴所述佩戴式设备的所述用户周围的周围环境光的水平，所述一个或更多个处理器连接到所述一个或更多个光源，从而在眼睛跟踪序列期间，当所述周围环境光的水平低于预定阈值时激活所述光源。16.根据权利要求14所述的设备，还包括，安装在所述佩戴式设备上、在所述波导前的补偿透镜，使得所述波导配置在所述补偿透镜和佩戴所述佩戴式设备的所述用户的所述眼睛之间。17.根据权利要求16所述的设备，其中所述补偿透镜是太阳镜片。18.根据权利要求16所述的设备，其中所述补偿透镜是永久带色的。19.根据权利要求16所述的设备，其中所述补偿透镜和所述波导中的至少一个包括其中的粒子，所述粒子经配置为对穿过其中的光提供可变的不透明度或透明度，所述设备还包括电压源，所述电压源是选择性可激活的以引起所述粒子控制所述不透明度或透明度。20.根据权利要求14所述的设备，还包括，在所述佩戴式设备上的外部摄像机，所述外部摄像机配置为当所述佩戴式设备由所述用户佩戴时，提供用户的周围的图像。21.一种用于眼睛跟踪的方法，所述方法包括: 将佩戴式设备戴在用户头部上，所述佩戴式设备包括安装于其上的自由形式的波导，使得所述波导放置在所述用户的眼睛前，所述波导包括形成于其中的一个或更多个记号； 确定在所述用户的周围内的周围环境光条件何时降到低于预定阈值； 当所述周围环境光条件低于所述预定阈值时，在使用在所述佩戴式设备上的内窥摄像机获取所述眼睛的图像的眼睛跟踪序列期间，激活所述佩戴式设备上的一个或更多个光源，来自所述一个或更多个光源的光穿过所述波导朝向所述眼睛反射离开所述一个或更多个记号； 确定在所述用户的周围内的所述周围环境光条件何时高于所述预定阈值；且 当所述周围环境光条件高于所述预定阈值时，在关闭所述一个或更多个光源的情况下，使用所述内窥摄像机获取所述眼睛的图像，使得周围环境光朝向所述眼睛穿过所述一个或更多个记号。22.根据权利要求21所述的方法，其中根据穿过所述一个或更多个记号的所述周围环境光，所述一个或更多个记号对所述眼睛产生预定闪烁图案，所述预定闪烁图案在所述眼睛的所述图像中获得。23.根据权利要求21所述的方法，其中根据来自所述一个或更多个光源、反射离开所述一个或更多个记号的所述光，所述一个或更多个记号对所述眼睛产生预定闪烁图案。24.一种产生定制的眼睛跟踪设备的工具箱，所述工具箱包括: 佩戴式设备，其经配置为戴在用户头部上； 具有不同光学特性的多个自由形式的波导，每个波导分别可安装至所述佩戴式设备，使得当所述佩戴式设备由所述用户佩戴时，所述波导放置在所述用户的眼睛前； 一个或更多个补偿透镜，每个透镜安装至所述佩戴式设备，使得所安装的波导配置在所述补偿透镜和佩戴所述佩戴式设备的所述用户的所述眼睛之间；和 具有不同特性的多个内窥摄像机模块，每个内窥摄像机模块分别可安装至所述佩戴式设备且连接到所安装的波导，从而当所述佩戴式设备由所述用户佩戴时，获取所述眼睛的眼睛跟踪图像。25.根据权利要求24所述的工具箱，还包括，在所述佩戴式设备上的一个或更多个光源，所述一个或更多个光源将光引入所述波导，使得所述光被引导朝向佩戴所述佩戴式设备的所述用户的所述眼睛。26.根据权利要求24所述的工具箱，其中所述一个或更多个补偿透镜包括多个补偿透镜，不同的补偿透镜对光具有不同透明度。27.根据权利要求26所述的工具箱，其中至少一个所述补偿透镜是太阳镜片。28.根据权利要求26所述的工具箱，其中至少一个所述补偿透镜是永久带色的。29.根据权利要求26所述的工具箱，其中至少一个补偿透镜包括其中的粒子，所述粒子经配置为对穿过其中的光提供可变的不透明度或透明度，且其中所述佩戴式设备包括电压源，所述电压源是选择性可激活的以引起所述粒子控制所述至少一个补偿透镜的所述不透明度或透明度。30.根据权利要求24所述的工具箱，还包括，在所述佩戴式设备上的外部摄像机，所述外部摄像机配置为当所述佩戴式设备由所述用户佩戴时，提供用户的周围的图像。
【专利摘要】提供用于眼睛跟踪的设备和方法，如包括自由形式的光学组件和/或模块化设计。在示例性实施例中，提供一种设备和方法，该设备包括在用户头部上的佩戴式设备，佩戴式设备包括被定向以捕获用户周围图像的场景摄像机。用户可以利用用户的眼睛执行预定行为以激活佩戴式设备的照片特征、注视在用户周围内的区域，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场，且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
【IPC分类】G06F3/01, G06T7/20
【公开号】CN104903818
【申请号】CN201380068249
【发明人】E·德雷克, G·阿马娅, A·卡诺, D·勒布朗克, Z·刘, J·马格拉夫, R·皮尔斯, N·G·普布卡福尔, C·N·斯皮塔勒, M·瓦茨娜
【申请人】爱福露恩斯公司
【公开日】2015年9月9日
【申请日】2013年12月6日
【公告号】EP2929413A1, US20140184775, US20140218281, WO2014089542A1
【专利说明】眼睛跟踪佩戴式设备和使用方法
[0001]相关申请数据
[0002]本申请要求共同未决临时申请，即2012年12月6日提交的序列号分别为61/734，354,61/734, 294和61/734，342的权益，其全部公开以引用的方式明确地并入本文。
技术领域
[0003]本发明通常涉及用于眼睛跟踪的装置、系统和方法以产生注视映射，如确定空间中的位置或由一只或两只眼睛观察到的(一个或多个)物体。
【背景技术】
[0004]佩戴式设备和系统是有益的，因为使用靠近一只或两只眼睛的平台的眼睛测量降低由头部移动和其他来源生成的测量误差。历史上，由于与佩戴式眼睛跟踪设备有关的局限性，佩戴式应用限于研宄、眼科手术和军事领域。由于所需摄像机位置不便，导致佩戴式系统趋向于体积大且昂贵。惯例，制造成像和照明系统的困难在于要求实现不显眼的外形因素。如果系统未连接到计算机，注视映射和/或注视确定可以是数据且计算密集导致有限的实时功能。最后，获得更高精确度的一个方法是根据眼睛图像中的位置和饱和度控制闪烁的存在。结果，户外功能由以外来闪烁的形式的噪声明显限制。外来闪烁通常由在系统外部的光源(直接的或间接的)引起。
[0005]一个示例是在眼睛图像中捕获的、用户眼睛中的场景的映像。对于类似的原因，依靠用于注视确定的浦肯野(Purkinje)图像的眼睛跟踪系统经常与眼镜和隐形佩戴者不相宜。
【发明内容】
[0006]本发明针对用于眼睛跟踪的装置、系统和方法，例如，以产生注视映射，如确定空间中的位置或确定由一只或两只眼睛观察到的(一个或多个)物体。具体地，本文提出的方案可以与移动设备(如平板电脑)相配，该移动设备对环境照明条件如明亮的阳光成模块化且/或是鲁棒的。
[0007]本文装置、系统和方法涉及应用中的眼睛跟踪，在应用中，移动的佩戴式设备用于用户视觉反馈和/或期望对一致的性能具有环境鲁棒性。不像其他眼睛跟踪系统，本文中的系统可以是低成本的和/或不引人注目的，其具有安装在架构上的部件，如类似于一副典型的太阳镜或其他头饰。由于眼睛移动对人的做决定的过程和技能提供有用的洞察力，则确定注视点位置的能力和/或使用眼睛移动来控制和/或与设备的宽阵列交互的能力可以是有用的。
[0008]佩戴式眼睛跟踪设备中的一个障碍是不引人注目的摄像机位置。用于成像眼睛的理想位置是紧靠在眼睛前。历史上，选择移动摄像机和光学器件到头部一侧并包含热镜或其他反射镜，或选择将摄像机离轴移动到眼睛以下。后一种方法导致紧紧约束的机械设计以让用户看不到。另外，高视角使眼睛和瞳孔检测复杂化。需要一种方案使眼睛能够直视，同时能够具有重量轻的、紧凑的外形因素。自由形式的光学表面是一个可能的方案，如在美国公开号2012/0162549中由高(Gao)等人和2012/0081800中由程(Cheng)等人公开的方案，其全部公开成果以引用的方式明确地并入本文。传感器和耦合透镜组件可以靠近太阳穴定位，且自由形式的光学器件如棱镜或波导可以被设计，使得眼睛的正前方视图在重量轻的、不引人注目的耳机的约束内获得。优化自由形式的模块的入射光瞳和厚度以成像眼睛，且补偿透镜可以连接到自由形式的光学器件的外表面以给用户提供场景的无畸变视图。补偿透镜可以包含或可以不包含用户的处方(prescript1n)校正。
[0009]典型地，佩戴式设备与眼镜不相宜或放置在眼镜上。如果相反，用户的处方被包含到光学系统设计，那么根据用户的立足点，系统可以是体积小的和/或不灵活的。
[0010]为缓和一些耦合/反射光学器件的性能约束，由于目标不是产生图像数据而是产生眼睛跟踪数据，所以光学精度可以代替光学空间传递函数的知识。实际上，这可以包括波前编码技术和/或给出每个像素的实际位置(相对于使用阵列内的像素的索引来表示空间距离)的二维(2D)查询表的发展。为了成本效率，机械和光学设计的模块化方法可以是有用的。
[0011]例如，紧凑的自由形式的波导可以结合到眼睛跟踪产品一类中。在此系统中，传感器、光源、耦合透镜组件、自由形式的光学器件和补偿透镜中每个都可以是可以拆除和/或由不同的应用专用和/或用户专用的部件所取代的模块。例如，在示例性实施例中，包括多个不同设计或配置的(例如六个设计)部件的工具箱，可以被提供用于更常规的视觉校正处方。
[0012]因为在从近眼显示器(near-eye display “NED”)移动到眼睛跟踪的唯一方案中移除显示器缓和对设计的约束，如在美国公开号2012/0162549中公开那样，模块化方法可以是可行的。眼睛照明和用于跟踪的眼睛图像可以使用窄带(通常在红外附近)波长来执行。这可以缓和对自由形式的光学器件设计内的表面的设计的约束，因为不仅系统可以忍受用于眼睛跟踪的图像内的空间畸变(正如所述的)，而且由于没有用于投射的显示(可见波长)，与像差有关的问题也可以在照明光束路径中得以缓和。另外，用于自由形式的光学器件内的全内反射和/或反射镀膜的条件可以更容易维持在眼睛跟踪的唯一系统中。类似地，用于将图像传输到摄像机的耦合光学器件(如在美国公开号2012/0162549中公开的那些器件)可以在能够忍受空间畸变和/或像差的注视跟踪系统中简化和/或移除。
[0013]设计模块化也可以增加照明配置和眼睛跟踪的算法方法的灵活性。以轴上模式观察眼睛的能力能够实现亮瞳孔跟踪。通过结合设计内的同轴闪烁源配置和轴外闪烁源配置，具有与摄像机的光学轴线同轴的照明的序列图像(“亮瞳孔”或浦肯野图像)和不具有与摄像机的光学轴线同轴的照明的序列图像(暗瞳孔图像)可以被减掉以使瞳孔隔离(甚至在FPGA或ASIC内)。亮瞳孔图像中的辐照度分布可以给出轴上眼睛如何与投射照明和图像采集有关的一些指示。可选地，暗瞳孔图像中对眼睛的闪烁可以用来继续进行角膜中心的计算。
[0014]移到模块化方案能够使外形因素具有灵活性，使得注视跟踪设备可以结合至佩戴式设备，如太阳镜、防护眼镜、口罩、头盔、耳机等等。设计中的这种灵活性扩大佩戴式眼睛跟踪系统可以在其中被实施的用例数量。于是，局限性在于视频压缩、传输和处理的要求。为了缓和向与移动设备相配的无线的或已连接的便携系统的过渡，深入到模块中的仔细算法分解可以从CPU转向集成到佩戴式设备的眼镜(temple arm)(或其他位置)的嵌入式处理单元且可以减少数据传输所需的带宽量。
[0015]一旦注视映射系统是真实移动的且是在环境上是鲁棒的，可能的用例范围明显增加。例如，参考施工监测期间的蓝图，仓库库存和专家-新手的运动训练可以使用对结构移动、眼睛控制和/或户外功能具有鲁棒性的移动系统得以促进。
[0016]另外或可选地，可以理解，本文的任何设备可以包括一个或多个方法来利用可用环境亮度并且将眼睛检测限制到窄波长范围或一组范围。对于眼睛跟踪，只有近红外(near-1nfrared, “IR”)光的窄带可以用于眼睛成像，但经过适当设计之后，可以大体上允许百分之百(100% )的可见光(减去材料接口处的损耗)被传输用于穿戴者以观察场景。也可以使用如镀膜、光栅、滤波和/或多光源的技术。镀膜可以包括金属和介电材料和/或可以在功能上是反射的或抗反射的，包括二色性方案。
[0017]注视跟踪系统在相对于给定用户的脸部的结构位置中的小的移动具有鲁棒性且允许无限制的头部移动，这一点通常是有用的。然而，在移动场景中，满足这两种情况可能是重要的。两种情况可以通过相对于观察平面的内空间(成像和/或跟踪一只或两只眼睛)和外空间(成像用户的周围或“场景”)的合适的标准化来完成。注视点可以由左眼和右眼注视向量的收敛确定。随后，信息可以通过移动设备作为场景摄像机视频上的叠加(overlay)转送给用户。
[0018]例如，出于新手训练的目的，用于户外三维(3D)注视点(point of regard，“POR”)而已优化的头盔式眼睛跟踪眼镜可以用于记录执行专门技能(如踢足球)的职业运动员(专家)的视觉行为。在此情况下，3D注视点可以叠加在场景图像上。POR视频和视数据可以被记录在已连接的记录设备上和/或可以无线地流到平板电脑或其他计算设备。随 后，训练员可以能够创建新手训练程序，该程序使用专家的视觉行为证明用于技巧提升的最佳视觉模式。
[0019]通过监测眨眼行为和瞳孔尺寸，视数据检测睡意和疲劳。这些指标可以集成到用户界面(“Π”)以使用物体识别来警告不安全情况下的员工(如危险、地板潮湿、周边其他员工等)或记录员工工作行为以确保性能达到期望的标准和/或品质不被损害。
[0020]当注视点数据集成到具有光标控制的更详细的用户界面时，眼睛移动可以与利用手部、脚部和/或其他身体移动来指挥计算机和其他控制应用的其他输入设备一起可交换地使用。具有移动设备的配对眼睛控制开始应用，在应用中，使用结合了预定位标签的眼睛移动，例如，能够让用户具有更自然的体验，如在仓库库存的情况下。另外，它为各种应用提供基本的、可视的用户反馈的好处。
[0021]例如，考虑确定照片已拍摄的行为。查看作为菜单/控件的在策略上已定位的指示器(LED或其他光源)的能力生成简单的用户界面，在该用户界面中，例如，用户可以允许他们的注视存在于作为UI控件的LED指示器的图像上以告诉系统准备拍照。示例性方法可以包括:
[0022]〇注视“拍照” LED，直到其从“红”变到“绿”；
[0023]〇注视用户想要针对其精细拍照的图像的中心点，，如限定焦点；且
[0024]〇拍摄围绕焦点为中心的有限视场照片，或
[0025]〇在来自LED的周边视野中的适当反馈的情况下，先注视虚拟结构的左上角，再注视右下角。
[0026]根据示例性实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；利用用户的眼睛执行预定行为以激活佩戴式设备的照片特征；注视在用户的周围内的区域的中心点，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
[0027]根据另一个实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；注视佩戴式设备的预定位置以激活佩戴式设备的照片特征；注视在用户的周围内的区域的中心点，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
[0028]在示例性实施例中，注视佩戴式设备的预定位置以激活照片特征包括注视佩戴式设备上的“拍照”LED，直到佩戴式设备改变LED，如改变LED的颜色，用以指示照片特征是激活的。
[0029]根据又一个实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；注视佩戴式设备的预定位置以激活佩戴式设备的照片特征；注视在用户的周围内的区域的虚拟结构的对角，基于根据已确定的角的中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
[0030]根据再一个实施例，提供一种拍摄数字照片的设备，所述设备包括佩戴式设备，其经配置戴在用户头部上；在佩戴式设备上的内窥摄像机，其经配置当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像；在佩戴式设备上的外部摄像机，其经配置当佩戴式设备由用户戴着时，获取用户周围的图像；和一个或更多个处理器，其连接到内窥摄像机以确定用户何时利用用户的眼睛执行预定行为来激活佩戴式设备的照片特征，该一个或更多个处理器连接到外部摄像机以确定用户何时以预定方式注视在用户周围内的区域，该一个或更多个处理器基于预定方式确定用于外部摄像机成像场的焦点和有限视场，并激活外部摄像机以捕获围绕焦点为中心的有限视场的图像。
[0031]根据另一个实施例，提供一种用于眼睛跟踪的设备，所述设备包括佩戴式设备，其经配置戴在用户头部上；安装在佩戴式设备上的自由形式的波导，使得当佩戴式设备由用户戴着时，波导放置在用户眼睛前，波导包括形成于其中的一个或更多个记号；在佩戴式设备上的内窥摄像机连接到波导以当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像；和在佩戴式设备上的一个或更多个光源，其将光引入波导，使得光朝向眼睛反射离开一个或更多个记号，一个或更多个记号进一步配置为聚焦朝向眼睛通过波导而进入波导的外表面的光。
[0032]可选择地，设备可以包括在佩戴式设备上的周围环境光传感器；和一个或更多个处理器，其连接到周围环境光传感器以确定戴着佩戴式设备的用户周围的周围环境光的水平，该一个或更多个处理器连接到一个或更多个光源以在眼睛跟踪序列期间，当周围环境光的水平低于预定阈值时激活光源。
[0033]另外或可选地，设备可以包括安装在波导前、佩戴式设备上的补偿透镜，使得波导配置在补偿透镜和戴着佩戴式设备的用户的眼睛之间。可选地，补偿透镜是太阳镜片，和/或是永久带色的。在另一选择中，补偿透镜和波导中的至少一个包括其中的粒子，其经配置为穿过其中的光提供可变的不透明度或透明度，设备还包括电压源，其是选择性可激活的以弓I起粒子控制不透明度或透明度。
[0034]根据再一个实施例，提供一种用于眼睛跟踪的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括安装于其上的自由形式的波导，使得波导放置在用户眼睛前，波导包括形成于其中的一个或更多个记号；确定何时在用户周围内的周围环境光条件降到低于预定阈值；当周围环境光条件低于预定阈值时，在使用在佩戴式设备上的内窥摄像机获取眼睛图像的眼睛跟踪序列期间，激活佩戴式设备上的一个或更多个光源，来自一个或更多个光源、穿过波导的光离开朝向眼睛反射离开一个或更多个记号；确定何时在用户周围内的周围环境光条件高于预定阈值；且当周围环境光条件高于预定阈值时，在关闭一个或更多个光源的情况下，使用内窥摄像机获取眼睛图像，使得周围环境光朝向眼睛穿过一个或更多个记号。
[0035]在示例性实施例中，根据穿过一个或更多个记号的周围环境光，一个或更多个记号对眼睛产生预定闪烁图案(pattern)，所述预定闪烁图案在眼睛图像中获取。另外或可选地，根据来自一个或更多个光源、反射离开一个或更多个记号的光，一个或更多个记号可以产生对眼睛的预定闪烁图案。
[0036]根据又一个实施例，提供一种产生定制的眼睛跟踪设备的工具箱，该工具箱包括佩戴式设备，其配置为戴在用户头部上；具有不同光学特性的多个自由形式的波导，每个波导分别可安装于佩戴式设备，使得当佩戴式设备由用户戴着时，波导放置在用户眼睛前；一个或更多个补偿透镜，每个透镜安装于佩戴式设备，使得已安装的波导配置在补偿透镜和戴着佩戴式设备的用户的眼睛之间；和具有不同特性的多个内窥摄像机模块，每个内窥摄像机模块分别可安装于佩戴式设备且连接到已安装的波导，从而当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像。
[0037]可选择地，工具箱还可以包括在佩戴式设备上的一个或更多个光源和/或在佩戴式设备上的外部摄像机，所述一个或更多个光源将光引入波导，使得光被引导朝向戴着佩戴式设备的用户的眼睛，所述外部摄像机配置为当佩戴式设备由用户戴着时，提供用户周围的图像。
[0038]结合附图根据下列描述的考虑，本发明的其他方面和特征会变得明显。
【附图说明】
[0039]根据以下详细描述，当结合附图阅读时，有助于更好地理解本发明。可以理解的是附图中所示的示例性装置不必要按比例示出，着重于而非强加于图示说明所说明的实施例的各方面和特征。
[0040]图1A和图1B分别是佩戴式注视跟踪设备的示例性实施例的立体图和正视图。
[0041]图2是包括波导和摄像机模块的眼睛成像模块的示例性实施例的立体图，其中所述波导和摄像机模块可以包括在图1A和图1B的佩戴式设备中。
[0042]图3是图2的眼睛成像模块的细节，其中示出该模块的摄像机。
[0043]图4是示出图2的眼睛成像模块的细节，该模块被结合到到图1A和图1B的佩戴式设备中。
[0044]图5是图1A和图1B的佩戴式设备的组件的示意图。
[0045]图6-图8是在图5中所示的佩戴式设备的示意图，该设备被配置为分别以包括照明模式、成像模式和 观察模式的不同模式操作。
[0046]图9是佩戴式设备的可替代实施例的示意图，其中该佩戴式设备被配置成为户外眼睛跟踪而配置的不同模式操作。
[0047]图10和图11是图9佩戴式设备的示意图，该设备被配置为分别以包括周围环境照明模式和边缘照明模式的不同模式操作。
【具体实施方式】
[0048]转向附图，图1-图5示出佩戴式眼睛和/或注视跟踪设备或系统10的示例性实施例。在示例性实施例中，本文的设备、系统和方法可以提供模块化佩戴式注视跟踪设备，该佩戴式注视跟踪设备为移动使用在各种应用中而被优化，这些应用包括注视映射增加当前已配置的其他移动设备好处的那些应用。在另一个示例性实施例中，本文的设备、系统和方法可以优化和/或对户外或其他环境的照明条件具有足够的鲁棒性，从而增加应用的数量，在这些应用中，眼睛和/或注视跟踪的好处可以被应用。
[0049]通常地，如图1所示，设备10包括佩戴式设备12 (如眼镜结构(如图所示)，或配置为戴在用户头部(未示出)上的口罩、耳机、头盔等)；安装在设备上的外部摄像机20，以成像用户周围；安装在设备上的内窥摄像机30，以成像一双或更多双用户的眼睛(图5中示出一只眼睛90);自由形式的光学组件40和自由形式的补偿透镜50。另外，如图5所示，设备10可以包括一个或更多个光源44，如包含于光学组件40上的光源和/或安装在佩戴式设备12上其他位置处的光源。设备10还可以包括一个或更多个处理器、存储器等(未示出)，其连接到其他部件用以操作设备10和/或执行本文所述的各种功能。可以包含在设备10内的示例性部件，如佩戴式设备、摄像机、光源、处理器、通信接口等，已经公开于美国专利号6，541，081和7，488，294，和美国公开号2011/0211056和2013/0114850中，其全部公开成果以引用的方式明确地并入本文。
[0050]参考图2-图5，设备10的光学组件40可以包括多个部件，如波导或内窥自由形式的光学器件42、一个或更多个光源44和波长选择组件46，其如用于聚焦和/或滤波穿过其中的光。波导42可以如通过波长选择组件46光学地连接到包含于摄像机模块壳体48中的内窥摄像机30和/或(一个或多个)光源44，如图2和图3所示，例如，使得波导42可拆卸地或固定地附接到壳体48。
[0051]波导42可以是一体的光学设备，其被成型和/或以其他方式被配置为包围(fold)光学组件40的光路，如将来自(一个或多个)光源44的照明引向用户的眼睛90，和/或收集来自用户的眼睛90的光，从而使用内窥摄像机30获取图像，如本文在别处所述的。例如，波导42可以包括一个或更多个棱镜和/或在其中一体形成的其他光学特征，使得引入波导42的端部或边缘(如连接到内窥摄像机30的端部43)的光在波导42内传输，例如，该光反射离开波导中的一个或更多个表面朝向波导相对的端部，并从预定表面(如内表面42b)反射出，朝向用户的眼睛90，如用于照亮眼睛90。相反地，进入预定表面(如内表面42b)的来自眼睛90的光可以在波导42内传输返回朝向连接到内窥摄像机30的端部43，如用于捕获眼睛90的图像。
[0052]另外，波导42可以具有朝外表面42a，其与眼睛结构基本弯曲轮廓匹配，例如，该朝外表面42a对应于补偿透镜50的朝内表面50b，如图5不意不出的。因此，波导42和补偿透镜50 —起可以允许如基于正常视觉或预定的校正处方，由用户的眼睛90通过其至用户的周围的大体非畸变的观察。波导42还可以定大小以至少部分地和/或完全地覆盖结构12中的眼睛开度，如补偿透镜50被安装在该结构12内。可选择地，波导42可以包括如在朝外表面42a上、在朝内表面42b上和/或包含于波导材料内的用于最佳性能的一个或更多个应用专用的镀膜。
[0053]可选择地，设备10的一个或更多个部件可以是可互换的，根据基于特定个体用户的需要，，如允许例如来自模块化工具箱的部件的不同尺寸、外型和/或其他配置进行互换。例如，第一波导42 (连接到摄像机44)可以替换为例如对应于不同的用户处方的不同波导(未示出)。可选地，第一波导42可以从眼镜结构12中移除，并且放置入头盔、一对护目镜或其他佩戴式设备(未示出)中，如使得相同用户可以使用不同佩戴式设备并仍然适应眼睛和/或注视跟踪。可以设想集成于护目镜、口罩、太阳镜等中的多种设计方案。
[0054]在示例性实施例中，图5中示意所示的设备10的任意光学部件可以是模块。例如，波导42可以如使用在波导42和/或壳体48的连接端上的一个或更多个连接器(未示出)可拆卸地连接到壳体48。如图4所示，壳体48可以固定地或可拆卸地附接到结构12上，如在结构12的太阳穴件或耳部支撑件14上。壳体48可以是足够稳固的，且波导42足够坚硬，使得当壳体48固定至结构12时，波导42抵靠补偿透镜50固定或邻近补偿透镜50固定。可选地，波导42和结构12和/或补偿透镜50可以包括一个或更多个连接器(未示出)，从而相对于补偿透镜50固定波导42。
[0055]另外或可选地，根据需要，内窥摄像机30和/或波长选择组件46可以可拆卸地安装在壳体48内。如图所示，一个或更多个光源44可以通常与如安装在壳体48内的内窥摄像机30共面放置和/或位于其附近，和/或一个或更多个光源44可以安装在波导42的边缘处(如在一个端部上)，使得(一个或多个)光源可以生成进入波导42的光，波导可以将光引向用户的眼睛90。可选择地，壳体48还可以包括一个或更多个处理器，如多个FPGA、多个ASIC等，和/或其中的存储器部件，或这种部件可以安装在结构12的其他地方并电连接到壳体48和/或其中的部件。
[0056]根据需要，设备10可以以一种或更多种模式操作，如允许照明和/或眼睛90的成像。例如，如图6所示，在所示的照明模式中，一对光源44被安装成大体上与传感器(如内窥摄像机30的CMOS、CCD或其他成像芯片)共面。因此，由光线45a表示的发射光可以由光源44通过波长选择组件46发射进波导42，该波导42可以将光引向眼睛90，如光线45b表示。以此方式，光源44可以以期望的方式照亮眼睛90，如产生一个或更多个闪烁等。
[0057]另外，转向图7，在所示的眼睛成像模式中，从眼睛90(如镜面反射地和/或漫反射地)反射的、由光线47a表示的光由自由形式的波导42收集并将光引回至耦合光学器件46，该親合光学器件46将光聚焦至内窥摄像机30上，如光线47b表不。
[0058]转向图8，配对的波导42和补偿透镜50可以允许来自场景，即用户周围的、由光线49表示的光传播到用户的眼睛90，如在眼睛90的入射瞳孔处具有最小失真。
[0059]例如，图1所示的设备10可以配置为选择性地以这些模式中的任意一种进行操作。根据需要，应用专用的硬件、软件模块和/或其他处理功能和连接性可以提供在设备10上以产生一类注视跟踪设备，如每个设备能以这些模式中任一种进行操作。应用专用的硬件和连接性可以在基本水平上运行以序列化如来自外部摄像机20和/或内窥摄像机30的数据流，并如无线地或通过有线连接(未示出)将其发送至处理单元，如发送至设备10上的(一个或多个)处理器和/或发送至远程电子设备(未示出)。其他光学特征可以包括DSP (如无畸变)、第一处理(first-1n-process)算法模块和/或注视向量的全计算。如基于可用功率和/或带宽要求，这些的任何组合可以由设备实施。
[0060]在示例性实施例中，设备10可以能够具有三维(3D)注视点(POR)确定，且可以包括一个或更多个以下特征:
[0061]a)保存用户标定数据；
[0062]b)用于POR建模的虚拟平面注视映射算法；
[0063]c)用于标定从内窥摄像机30旋转和/或平移到外部摄像机20的算法；和/或
[0064]d)将注视映射数据无线地流到移动设备(如基于Windows的操作系统OS、基于Iinux的操作系统等)，如通过引用并入本文在别处的参考中所述的。
[0065]转向图9-图11，所示的眼睛和/或注视跟踪设备110的另一示例性实施例通常类似于本文在别处描述的其他实施例可以包括部件，如结构或其他佩戴 式设备(未示出)，其带有一个或更多个部件，如一个或更多个内窥摄像机130 (用于成像相应的眼睛90的图10和图11中所示的一个)、外部摄像机(未示出)和自由形式的光学组件140(如包括波导或内窥自由形式的光学器件142和一个或更多个光源144)，该示例性实施例通常类似于在别处描述的其他实施例。与以前的实施例不同，波导142包括一个或更多个特征，如形成于其中的多个带有记号的凹口或楔形物143，例如，从而生成闪烁，正如下面进一步所述，该一个或更多个特征可以增强用于在户外或其他明亮照明环境下的眼睛和/或注视跟踪的设备110的使用。具体地，正如下面进一步所述，如基于光照射“记号”的角度，“记号”143可以交替用作传输或反射。记号143可以使用各种方法(包括激光烧蚀)形成在波导1422中。
[0066]设备110可以以不止一种模式操作，如使用双模态照明方案来利用高亮度周围环境条件。例如，在明亮的周围环境光条件下，配对的波导142和补偿透镜150允许来自场景的、如由光线149a表示的光通过波导142和补偿透镜150传播到用户的眼睛90上，其中在眼睛90的入射瞳孔处具有最小失真。
[0067]更具体地，如图10所示，记号143允许周围环境光通过他们和波导142以期望的模式或配置照到眼睛90，并生成预定的闪烁图案，该光反射回波导142 (如光线14%所示)并引到内窥摄像机130(如光线194c所示)。因此，对于周围环境或“场景”照明源(如太阳光)，记号以传输方式操作。
[0068]相反地，如图11所示，当周围环境光不充足时，一个或更多个边缘照明源144可以用来将光引入波导14，如光线145a所示，且记号143可以以反射方式操作以将光引向眼睛90，如光线145b所不。反射光可以反射回波导142并引到内窥摄像机130，如光线145c所示。设备110可以包括周围环境光传感器(未示出)，其可以例如通过设备10的一个或更多个处理器使用来调节到(一个或多个)光源144的光源电流，以实时地在室内应用和户外应用之间切换设备。因此，如果基于周围环境光传感器，处理器确定周围环境光充足，则(一个或多个)光源144可以关闭或保持闲置，而如果周围环境光不充足，则(一个或多个)光源144可以按照期望的眼睛跟踪方法的需要而被激活。
[0069]在多模态系统(如设备110)中，适当的波长控制可能是重要的。为促进这点，短通(short-pass)介电镀膜(未示出)可以提供在波导142和/或补偿透镜150上，如在其朝外表面142a、150a上。(一个或多个)这种镀膜可以通过来自场景的可见光，使得用户可以在白天(明亮)和夜晚(黑暗)条件期间充分观察场景。可以配置记号143，使得(一个或多个)光源144中的中心波长朝向用户的眼睛90优先折射、反射和/或衍射。
[0070]类似于图7中所示的设备10，设备110还可以以眼睛成像模式操作。从眼睛90反射(镜面反射地和漫反射地)的、由图7中的光线47a表示的光可以由波导140收集并引导回波长选择组件146，该波长选择组件146将光聚焦到内窥摄像机130上(如图10和图11所示)。在波长选择组件146中的长通滤波器或凹口滤波器可以用于降低由于可见波长中的外来的角巩膜反射产生的噪声。此外，偏振光源和/或偏振敏感部件也可以降低环境噪声。
[0071]可选择地，补偿透镜150 (或本文任意其他实施例的补偿透镜)可以是太阳镜片，如着色的、滤波的和/或偏振的透镜，从而减少到达用户眼睛的光的量，这可以允许用户缓解眼皮和虹膜和/或以其他方式促进眼睛和/或注视跟踪。在补偿透镜150中的任意色彩可以是不变的或透镜可以是过渡镀膜(transit1n-coated)的。另外或可选地，补偿透镜150可以基本上永久地安装在结构中或可以是可拆卸的，以致不同补偿透镜在设备110中可以是可互换的。
[0072]另一种方法可以基于在图像内从(一个或多个)内窥摄像机130收集的、用于跟踪用户的(一只或两只)眼睛90的光水平对波导142和/或补偿透镜150的不透明度提供动态控制。例如，系统可以被提供，从而在来自环境的、到达用户的眼睛90的光的路径内电子地控制透镜142或150和/或其他(一个或多个)光学元件的不透明度(或相反的透明度)。在示例性实施例中，悬浮的细长状粒子可以提供在波导142和/或补偿透镜150内以提供悬浮粒子设备(sro)，且在设备上可以提供电路以施加预定电压，从而使细长状粒子在方向上与块对齐或允许光传输。例如，使用聚合物分散液晶体和/或电浸润表面，可以提供其他电致变色的设备和/或方法。这种电致变色的方法可以独立于对光反应变色的方法而使用或与对光反应变色的方法结合使用以控制不透明度。这种特征可以包含于本文的任何实施例中。
[0073]在户外和/或刺眼光照环境下的主要挑战是在来自环境源的整体光照持续改变的时间段期间，大体上持续跟踪眼睛位置的能力。如本文在别处提到的，这可以通过在波长的范围内选择性地阻塞用于照明和/或跟踪用户的眼睛的环境光源来部分地得以缓和。另外或可选地，高动态范围传感器可以包含于内窥摄像机中。
[0074]附加方法可以包括动态地调节在设备110内、如由(一个或多个)光源144生成的照明，以补偿环境照明中的增加或减少。记录的、用于跟踪(一只或两只)眼睛90的内窥摄像机130的图像内的光水平可以用于监控并随后控制(一只或两只)眼睛90的照明。这可以包括选择性地照明左眼或右眼。也可以包括基于记录在摄像机图像的不同区域中的光强度，优先地增加区域或眼睛90的子集的照明，如类似于在通过引用并入本文别处的参考中公开的系统和方法。
[0075]进一步地，考虑瞳孔检测的多种方法是有用的，如果暴露了充足的瞳孔，可以实施边缘和/或点检测方法以定位瞳孔的轮廓。如果暴露了不充足的瞳孔，确定眼皮轮廓和/或虹膜边缘而不是瞳孔轮廓可以能够确定包含瞳孔中心的小区域。在此之后，可以实施算法以将瞳孔拟合成椭圆形并确定瞳孔中心，如星暴(Starburt)算法和随机抽样一致性(Ransac)算法。附加的可能性包括使用多个摄像机来提高特征捕获并降低处理。
[0076]一旦注视映射系统是真实移动的且是环境鲁棒的，可能的用例范围明显提高。例如，参考施工监测期间的蓝图的仓库库存和使用移动眼睛跟踪系统的专家-新手的运动训练可以通过结构移动、眼睛控制和/或户外功能的鲁棒性得以增强，如在本文别处所描述的。
[0077]应当认识到，本文的任何实施例示出的元件或部件对于特定实施例是示例性的，且可以用在本文公开的其他实施例上或与之结合使用。
[0078]尽管本发明易受到各种修改和替代形式的影响，但是它的特定示例已经示出在附图中且在本文中详细地描述。然而，应当了解，本发明不限于已公开的特定形式或方法，而相反的，本发明涵盖落入所附权利要求的范围内的所有修改、同等物和替代物。
【主权项】
1.一种用于拍摄数字照片的方法，所述方法包括: 将佩戴式设备戴在用户头部上，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机； 利用所述用户的眼睛执行预定行为以激活所述佩戴式设备的照片特征； 注视在所述用户的周围内的区域的中心点，基于所述中心点，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且 激活所述摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。2.根据权利要求1所述的方法，其中执行预定行为包括注视所述佩戴式设备的预定位置以激活所述佩戴式设备的照片特征。3.根据权利要求1所述的方法，其中执行预定行为包括注视所述佩戴式设备的预定位置以激活照片特征包括注视所述佩戴式设备上的“拍照” LED04.一种用于拍摄数字照片的方法，所述方法包括: 将佩戴式设备戴在用户头部上，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机； 注视所述佩戴式设备的预定位置以激活所述佩戴式设备的照片特征； 注视在所述用户的周围内的区域的中心点，基于所述中心点，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且 激活所述摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。5.根据权利要求4所述的方法，其中注视所述佩戴式设备的预定位置以激活照片特征包括注视所述佩戴式设备上的“拍照” LED ，直到所述佩戴式设备改变所述LED以指示所述照片特征是激活的。6.根据权利要求5所述的方法，其中所述LED改变颜色以指示所述照片特征是激活的。7.根据权利要求4所述的方法，还包括，注视虚拟结构的对角以确定所述有限视场。8.一种用于拍摄数字照片的方法，所述方法包括: 将佩戴式设备戴在用户头部上，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机； 注视所述佩戴式设备的预定位置以激活所述佩戴式设备的照片特征； 注视在所述用户的周围内的区域的虚拟结构的对角，基于根据所确定的角的所述中心点，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且激活所述摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。9.根据权利要求8所述的方法，其中注视所述佩戴式设备的预定位置以激活照片特征包括注视所述佩戴式设备上的“拍照” LED，直到所述佩戴式设备改变LED以指示所述照片特征是激活的。10.根据权利要求9所述的方法，其中所述LED改变颜色以指示所述照片特征是激活的。11.一种用于拍摄数字照片的设备，所述设备包括: 佩戴式设备，其经配置戴在用户头部上； 在所述佩戴式设备上的内窥摄像机，所述内窥摄像机经配置成当所述佩戴式设备由所述用户佩戴时，获取眼睛的眼睛跟踪图像； 在所述佩戴式设备上的外部摄像机，所述外部摄像机经配置当所述佩戴式设备由所述用户佩戴时，获取所述用户的周围图像；和 一个或更多个处理器，其连接到所述内窥摄像机以确定所述用户何时利用所述用户的眼睛执行预定行为来激活所述佩戴式设备的照片特征，所述一个或更多个处理器连接到所述外部摄像机以确定所述用户何时以预定方式注视在所述用户的周围内的区域，所述一个或更多个处理器基于所述预定方式确定所述外部摄像机成像场的焦点和有限视场，并激活所述外部摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。12.根据权利要求11所述的设备，还包括，在所述佩戴式设备上的“拍照”LED，其中所述预定行为包括所述一个或更多个处理器确定所述用户注视所述“拍照” LED013.根据权利要求12所述的设备，其中所述一个或更多个处理器连接到所述“拍照”LED，使得当用户注视所述“拍照” LED时，所述一个或更多个处理器改变所述LED的颜色以指示所述照片特征是激活的。14.一种用于眼睛跟踪的设备，所述设备包括: 佩戴式设备，其经配置戴在用户头部上； 安装在所述佩戴式设备上的自由形式的波导，使得当所述佩戴式设备由所述用户佩戴时，所述波导放置在用户眼睛前，所述波导包括形成于其中的一个或更多个记号； 在所述佩戴式设备上的内窥摄像机，所述内窥摄像机连接到所述波导，从而当所述佩戴式设备由所述用户佩戴时，获取所述眼睛的眼睛跟踪图像；和 在所述佩戴式设备上的一个或更多个光源，所述一个或更多个光源将光引入所述波导，使得所述光朝向所述眼睛反射离开所述一个或更多个记号，所述一个或更多个记号进一步经配置为聚焦朝向眼睛通过所述波导进入所述波导的外表面的光。15.根据权利要求14所述的设备，还包括: 在所述佩戴式设备上的周围环境光传感器；和 一个或更多个处理器，其连接到所述周围环境光传感器以确定佩戴所述佩戴式设备的所述用户周围的周围环境光的水平，所述一个或更多个处理器连接到所述一个或更多个光源，从而在眼睛跟踪序列期间，当所述周围环境光的水平低于预定阈值时激活所述光源。16.根据权利要求14所述的设备，还包括，安装在所述佩戴式设备上、在所述波导前的补偿透镜，使得所述波导配置在所述补偿透镜和佩戴所述佩戴式设备的所述用户的所述眼睛之间。17.根据权利要求16所述的设备，其中所述补偿透镜是太阳镜片。18.根据权利要求16所述的设备，其中所述补偿透镜是永久带色的。19.根据权利要求16所述的设备，其中所述补偿透镜和所述波导中的至少一个包括其中的粒子，所述粒子经配置为对穿过其中的光提供可变的不透明度或透明度，所述设备还包括电压源，所述电压源是选择性可激活的以引起所述粒子控制所述不透明度或透明度。20.根据权利要求14所述的设备，还包括，在所述佩戴式设备上的外部摄像机，所述外部摄像机配置为当所述佩戴式设备由所述用户佩戴时，提供用户的周围的图像。21.一种用于眼睛跟踪的方法，所述方法包括: 将佩戴式设备戴在用户头部上，所述佩戴式设备包括安装于其上的自由形式的波导，使得所述波导放置在所述用户的眼睛前，所述波导包括形成于其中的一个或更多个记号； 确定在所述用户的周围内的周围环境光条件何时降到低于预定阈值； 当所述周围环境光条件低于所述预定阈值时，在使用在所述佩戴式设备上的内窥摄像机获取所述眼睛的图像的眼睛跟踪序列期间，激活所述佩戴式设备上的一个或更多个光源，来自所述一个或更多个光源的光穿过所述波导朝向所述眼睛反射离开所述一个或更多个记号； 确定在所述用户的周围内的所述周围环境光条件何时高于所述预定阈值；且 当所述周围环境光条件高于所述预定阈值时，在关闭所述一个或更多个光源的情况下，使用所述内窥摄像机获取所述眼睛的图像，使得周围环境光朝向所述眼睛穿过所述一个或更多个记号。22.根据权利要求21所述的方法，其中根据穿过所述一个或更多个记号的所述周围环境光，所述一个或更多个记号对所述眼睛产生预定闪烁图案，所述预定闪烁图案在所述眼睛的所述图像中获得。23.根据权利要求21所述的方法，其中根据来自所述一个或更多个光源、反射离开所述一个或更多个记号的所述光，所述一个或更多个记号对所述眼睛产生预定闪烁图案。24.一种产生定制的眼睛跟踪设备的工具箱，所述工具箱包括: 佩戴式设备，其经配置为戴在用户头部上； 具有不同光学特性的多个自由形式的波导，每个波导分别可安装至所述佩戴式设备，使得当所述佩戴式设备由所述用户佩戴时，所述波导放置在所述用户的眼睛前； 一个或更多个补偿透镜，每个透镜安装至所述佩戴式设备，使得所安装的波导配置在所述补偿透镜和佩戴所述佩戴式设备的所述用户的所述眼睛之间；和 具有不同特性的多个内窥摄像机模块，每个内窥摄像机模块分别可安装至所述佩戴式设备且连接到所安装的波导，从而当所述佩戴式设备由所述用户佩戴时，获取所述眼睛的眼睛跟踪图像。25.根据权利要求24所述的工具箱，还包括，在所述佩戴式设备上的一个或更多个光源，所述一个或更多个光源将光引入所述波导，使得所述光被引导朝向佩戴所述佩戴式设备的所述用户的所述眼睛。26.根据权利要求24所述的工具箱，其中所述一个或更多个补偿透镜包括多个补偿透镜，不同的补偿透镜对光具有不同透明度。27.根据权利要求26所述的工具箱，其中至少一个所述补偿透镜是太阳镜片。28.根据权利要求26所述的工具箱，其中至少一个所述补偿透镜是永久带色的。29.根据权利要求26所述的工具箱，其中至少一个补偿透镜包括其中的粒子，所述粒子经配置为对穿过其中的光提供可变的不透明度或透明度，且其中所述佩戴式设备包括电压源，所述电压源是选择性可激活的以引起所述粒子控制所述至少一个补偿透镜的所述不透明度或透明度。30.根据权利要求24所述的工具箱，还包括，在所述佩戴式设备上的外部摄像机，所述外部摄像机配置为当所述佩戴式设备由所述用户佩戴时，提供用户的周围的图像。
【专利摘要】提供用于眼睛跟踪的设备和方法，如包括自由形式的光学组件和/或模块化设计。在示例性实施例中，提供一种设备和方法，该设备包括在用户头部上的佩戴式设备，佩戴式设备包括被定向以捕获用户周围图像的场景摄像机。用户可以利用用户的眼睛执行预定行为以激活佩戴式设备的照片特征、注视在用户周围内的区域，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场，且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
【IPC分类】G06F3/01, G06T7/20
【公开号】CN104903818
【申请号】CN201380068249
【发明人】E·德雷克, G·阿马娅, A·卡诺, D·勒布朗克, Z·刘, J·马格拉夫, R·皮尔斯, N·G·普布卡福尔, C·N·斯皮塔勒, M·瓦茨娜
【申请人】爱福露恩斯公司
【公开日】2015年9月9日
【申请日】2013年12月6日
【公告号】EP2929413A1, US20140184775, US20140218281, WO2014089542A1
最新回复(0)