混合现实显示调节的制作方法
混合现实显示调节的制作方法
【专利说明】
【背景技术】
[0001]诸如头戴式显示设备那样的增强现实或混合现实设备可以用在各种各样的真实世界环境和情境中。这样的设备提供了通过全息对象和/或其他虚拟现实信息而扩增(augment)的物理环境的视图。这些设备可以接收由已知开发者和未知开发者开发的全息对象以及由已知源和未知源公布或分发的全息对象，以用于显示。
[0002]由混合现实设备显示的全息对象可以改变用户对于物理环境的观察。在一些示例中，一个全息对象还可以与另一个全息对象交互。全息对象还可以按照变化的真实感等级被显示，比如变化的透明度/不透明度、锐度/模糊、现实对想象行为等等。取决于全息对象的真实感等级和大体外观，显示全息对象可以改变用户对物理环境的感知和/或使用户的注意力从物理环境的某些方面转移开。此外，取决于在其中正使用混合现实设备的真实世界环境和/或情境，在一些情况下，这样的改变的感知和/或转移的注意力可减少用户对于物理环境中安全相关问题的警觉性。
【发明内容】
[0003]本文公开了各种实施例，所述实施例涉及显示全息对象以便调节(accommodate)包括物理环境的混合现实环境。在一个示例中，一种方法可以包括:提供头戴式显示设备，所述头戴式显示设备被配置成由用户穿戴并且可操作地连接到计算设备。头戴式显示设备可以包括多个传感器和显示系统。该方法可以包括经由传感器中的一个或多个从物理环境接收物理环境数据。可以从源接收全息对象，其中所述全息对象与内容提供商ID相关联。该方法可以包括基于内容提供商ID向全息对象指派信任等级。
[0004]如果信任等级小于信任等级阈值，则该方法可以包括:对全息对象施加提供保护性显示限制等级的第一组安全规则。该方法然后可以包括:根据第一组安全规则经由显示系统来显示全息对象。如果信任等级大于或等于信任等级阈值，则该方法可以包括:对全息对象施加提供许可性显示限制等级的第二组安全规则，其中所述许可性限制等级小于所述保护性限制等级。该方法然后可以包括:根据第二组安全规则经由显示系统来显示全息对象。
[0005]本概要被提供来以简化的形式介绍概念的选择，这些概念还将在下面的详细说明中进行描述。本概要既不打算标识所要求保护的主题的关键特征或必要特征，也不打算被用来限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决了在本公开内容的任何部分中提到的任何或全部缺点的那些实现。
【附图说明】
[0006]图1是根据本公开内容的实施例的混合现实调节系统的示意图。
[0007]图2示出了根据本公开内容的实施例的示例性头戴式显示设备。
[0008]图3是示例性物理环境的示意图，所述示例性物理环境包括两个用户，他们穿戴有图2的头戴式显示设备并且使用图1的混合现实调节系统。
[0009]图4A、4B和4C是根据本公开内容的实施例的、用于显示全息对象的方法的流程图。
[0010]图5是计算系统的实施例的简化示意说明图。
【具体实施方式】
[0011]图1示出了混合现实调节系统10的一个实施例的示意图。混合现实调节系统10包括混合现实安全程序14，所述混合现实安全程序14可以被存储于计算设备22的海量存储装置18中。混合现实安全程序14可以被加载到存储器26中，并由计算系统22的处理器30执行来完成以下更详细描述的方法和过程中的一个或多个。
[0012]在一个示例中，混合现实调节系统10可以包括混合现实显示程序34，所述混合现实显示程序34可以被存储于计算设备22的海量存储装置18中。混合现实显示程序34可以产生虚拟环境38以用于在诸如头戴式显示(HMD)设备42那样的显示设备上显示，从而创建混合现实环境40。虚拟环境38可以包括一个或多个虚拟对象表示，比如全息对象44。在一些示例中，可以产生虚拟环境38来以交互式视频游戏、运动画面体验、广告、商业或其他合适体验的形式在混合现实环境40中提供混合现实体验。
[0013]在另一示例中，混合现实显示程序34和/或混合现实安全程序14可被远程存储，并且可由计算设备22通过与计算设备可操作地连接的网络(比如网络46)来访问。
[0014]计算设备22可以采取以下形式:台式计算设备、移动计算设备(比如智能电话、膝上型计算机、笔记本计算机或平板计算机)、网络计算机、家庭娱乐计算机、交互式电视、游戏系统或其他合适类型的计算设备。以下参考图5来更详细地描述与计算设备22的组件和计算方面有关的附加细节。
[0015]计算设备22可以使用有线连接与HMD设备42可操作地连接，或者可以采用经由WiF1、蓝牙或任何其他合适无线通信协议的无线连接。此外，图1所例示的示例将计算设备22示为与HMD设备42分离的组件。将意识到，在其他示例中，计算设备22还可以被集成到HMD设备42中。
[0016]计算设备22还可以经由网络46与一个或多个附加设备可操作地连接。网络46可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个人区域网或其组合的形式，并且可以包括互联网。
[0017]现在还参考图2，提供了 HMD设备200的一个示例，HMD设备200采取具有透明显示器50的一副可穿戴眼镜的形式。将意识到，在其他示例中，HMD设备200可以采取在观看者的一只或者两只眼前支持透明、半透明或不透明显示的其他合适形式。还将意识到，图1所示的HMD设备42可以采取如以下更详细地描述的HMD设备200的形式，或者采取任何其他合适的HMD设备的形式。此外，在本公开内容的范围内，还可以使用具有各种形状因子的许多其他类型和配置的显示设备。
[0018]参考图1和图2，在该示例中，HMD设备42包括显示系统48以及使图像能够被传递到用户眼睛的透明显示器50。透明显示器50可以被配置成:对于通过透明显示器观看物理环境的用户在视觉上扩增物理环境52的景象。例如，可以通过经由透明显示器50呈现的图形内容(例如，各自具有相应的颜色和亮度的一个或多个像素)来扩增物理环境的景象，以创建混合现实环境40。
[0019]透明显示器50还可以被配置成使得用户能够通过正在显示虚拟对象表示的一个或多个部分地透明的像素来观看物理环境52中的物理的真实世界对象。在一个示例中，透明显示器50可以包括位于透镜204 (例如像透明有机发光二极管(OLED)显示器)内的图像生成元件。作为另一示例，透明显示器50可以包括在透镜204边缘上的光调制器。在这个示例中，透镜204可以充当用于从光调制器向用户眼睛传递光的光导。这样的光导可以使用户能够感知位于用户正在观看的物理环境中的3D虚拟图像，同时还允许用户观看物理环境中的物理对象。
[0020]在其他示例中，透明显示器50可以支持在从物理环境接收的光到达穿戴HMD设备200的用户的眼睛之前对所述光进行选择性过滤。可以逐个像素地或者按照像素组来执行这种过滤。在一个示例中，透明显示器50可以包括以一个或多个被照亮的像素的形式来增加光的第一显示层、以及对于从物理环境接收到的环境光进行过滤的第二显示层。这些层可以具有不同的显示分辨率、像素密度和/或显示能力。
[0021]在一些示例中，第二显示层可以包括一个或多个不透明层，在其中可以生成阻挡图像。一个或多个不透明层可以整体地形成在透明显示器50内。在其他示例中，一个或多个不透明层可以例如以单独的挡板的形式被单独安装或附着到透明显示器50附近。
[0022]HMD设备42还可以包括各种系统和传感器。例如，HMD设备42可以包括利用至少一个面向内的传感器212 (参见图2)的眼睛跟踪传感器系统54。面向内的传感器212可以是被配置成从用户的眼睛获取眼睛跟踪信息形式的图像数据的图像传感器。假定用户同意获取和使用此信息，则眼睛跟踪传感器系统54可以使用此信息来跟踪用户眼睛的瞳孔反应、位置和/或移动。眼睛跟踪传感器系统54然后可以确定用户正在盯着哪里和/或用户正在盯着什么物理对象或虚拟对象。
[0023]HMD设备42还可以包括利用至少一个面向外的传感器216 (比如光学传感器)的光学传感器系统58。面向外的传感器216可以检测其视场内的移动，比如由用户或者由视场内的人或物理对象执行的基于姿势的输入或其他移动。面向外的传感器216还可以从物理环境以及环境中的物理对象捕获图像信息和深度信息。例如，面向外的传感器216可以包括深度摄像机、可见光摄像机、红外光摄像机和/或位置跟踪摄像机。在一些示例中，面向外的传感器216可以包括用于从物理环境中的真实世界照明情况观测可见光谱和/或红外光的一个或多个光学传感器。这样的传感器可以包括例如电荷耦合器件图像传感器。
[0024]如上所述，HMD设备42可以包括经由一个或多个深度摄像机进行的深度感测。例如，每个深度摄像机可以包括立体视觉系统的左摄像机和右摄像机。来自这些深度摄像机中的一个或多个深度摄像机的时间分辨(time-resolved)图像可以被彼此配准，和/或配准到来自另一光学传感器(比如可见光谱摄像机)的图像，并且可以被组合以产生深度分辨(depth-resolved)视频。
[0025]在一些示例中，深度摄像机可以采取结构光深度摄像机的形式，所述结构光深度摄像机被配置成投影包括多个离散特征(例如，线或点)的结构化红外照明。深度摄像机可以被配置成:对于从结构化照明被投影到的场景反射的结构化照明进行成像。可以基于被成像场景的各个区域中的相邻特征之间的间隔来构造场景的深度图。
[0026]在其他示例中，深度摄像机可以采取飞行时间(time-of-flight)深度摄像机的形式，所述飞行时间深度摄像机被配置成将脉冲式红外照明投影到场景上。这种深度摄像机可以被配置来检测从场景反射的脉冲式照明。这些深度摄像机中的两个或更多个可以包括与脉冲式照明同步的电子快门。对于两个或更多个深度摄像机的积分时间可以不同，以使得从源到场景然后到深度摄像机的脉冲式照明的像素分辨(pixel-resolved)飞行时间是根据在两个深度摄像机的对应像素中接收到的相对光量而可辨别的。HMD设备42还可以包括红外投影仪，以帮助结构光和/或飞行时间深度分析。
[0027]在其他示例中，还可以经由一个或多个深度摄像机来检测来自物理环境中的用户和/或人的基于姿势的输入和其他运动输入。例如，面向外的传感器216可以包括具有已知相对位置的两个或更多个光学传感器，以用于创建深度图。通过使用来自这些具有已知相对位置的光学传感器的运动结果，可以生成 这样的深度图并将其映射到基于姿势的输入和其他运动输入。
[0028]面向外的传感器216可以捕获用户所在的物理环境52的图像。如以下更详细地论述的，这样的图像可以是物理环境数据70的一部分，物理环境数据70可以被HMD设备42接收并且被提供给计算设备22。在一个示例中，混合现实显示程序34可以包括3D建模系统，所述3D建模系统使用这样的输入来生成虚拟环境38，其对捕获的物理环境数据70建模。
[0029]HMD设备42还可以包括位置传感器系统62，所述位置传感器系统62利用一个或多个运动传感器224来使能HMD设备的位置跟踪和/或朝向感测，并确定物理环境中HMD设备的位置。例如，可以利用位置传感器系统62来确定用户头的头部姿态朝向。在一个示例中，位置传感器系统62可以包括惯性测量单元，所述惯性测量单元被配置为6轴或6自由度位置传感器系统。该示例性位置传感器系统例如可以包括三个加速度计和三个陀螺仪，以指示或测量HMD设备42在三维空间中沿着三个正交轴(例如，x、y、z)的位置的变化以及HMD设备相对于三个正交轴的朝向的变化(例如，翻滚、俯仰、偏航)。
[0030]位置传感器系统62可以支持其他合适的定位技术，比如GPS或其他全球导航系统。例如，位置传感器系统62可以包括无线接收机(例如，GPS接收机或蜂窝接收机)，以接收从卫星和/或地面基站广播的无线信号。可以使用这些无线信号来识别HMD设备42的地理位置。
[0031]可以将从由HMD设备42接收到的无线信号中获得的定位信息与从运动传感器224获得的定位信息相组合，以提供对HMD设备42的位置和/或朝向的指示。尽管描述了位置传感器系统的特定示例，然而将意识到，可以使用其他合适的位置传感器系统。
[0032]还可以采用运动传感器224作为用户输入设备，以使得用户可以经由颈部和头部的姿势或者甚至身体的姿势与HMD设备42交互。运动传感器的非限制性示例包括加速度计、陀螺仪、罗盘仪和朝向传感器，它们可以按照其任何组合或子组合的形式被包括。
[0033]HMD设备42还可以包括麦克风系统64，所述麦克风系统64包括一个或多个麦克风220。在一些示例中，麦克风220的阵列可以接收来自用户的音频输入和/或来自用户周围物理环境的音频输入。附加地或替换地，可以使用与HMD设备42分离的一个或多个麦克风来接收音频输入。
[0034]在其他示例中，可以经由HMD设备42上的一个或多个扬声器228向用户呈现音频。这样的音频例如可以包括来自混合现实显示程序34、混合现实安全程序14或其他源的音乐、指令和/或其他讯息。
[0035]HMD设备42还可以包括生物测定数据传感器系统66，其利用一个或多个传感器230来接收和/或检测来自HMD设备的用户的一个或多个用户生物测定参数。用户生物测定参数可以包括与各种生理过程、功能、测量和/或状态相关的信息。生物测定数据传感器系统66的一个或多个传感器230例如可以包括用于测量心率的心率监视器、用于测量血红蛋白饱和度的脉搏血氧定量计传感器、用于监视皮肤电阻的皮肤电反应传感器以及用于监视脑电波活动的脑电图仪(EEG)监视器。用户生物测定参数可以包括例如心率、瞳孔反应、血红蛋白饱和度、皮肤电导率、呼吸、排汗和脑电波活动。在一些示例中，可以由HMD设备42的眼睛跟踪传感器系统54来检测用户的瞳孔反应。
[0036]在一些示例中，如在下文中更详细地说明的，可以将由上述传感器和系统中的一个或多个接收的信息作为用户动作数据68发送至混合现实安全程序14。混合现实安全程序14可以使用这样的用户动作数据68来确定当前用户动作和/或用户意图，所述当前用户动作和/或用户意图进而又可以被用来选择要被施加于全息对象44的显示的安全规则。
[0037]HMD设备42还可以包括具有逻辑子系统和存储子系统的处理器232，如以下相对于图5更详细地论述的，所述逻辑子系统和存储子系统与HMD设备的各种输入设备和输出设备通信。简要地说，存储子系统可以包括可由逻辑子系统执行的指令，例如用于接收来自传感器的输入并将其转发至计算设备22 (以未经处理或已处理的形式)，以及用于经由透明显示器50向用户呈现图像。
[0038]将意识到，以上描述的并且在图1和图2中图示的HMD设备42和相关传感器以及其他组件仅仅是作为示例被提供的。这些示例不打算以任何方式进行限制，因为可以利用任何其他合适的传感器、组件和/或传感器与组件的组合。因此应理解，在不脱离本公开内容的范围的情况下，HMD设备42可以包括附加的和/或备选的传感器、摄像机、麦克风、输入设备、输出设备等等。此外，在不脱离本公开内容的范围的情况下，HMD设备42及其各种传感器和子组件的物理配置可以采取各种各样的不同形式。
[0039]现在还参考图3，现在将提供对于混合现实调节系统10和HMD设备42的示例性使用情形和实施例的描述。图3是位于物理环境52中的第一用户304和第二用户308的示意图。在该示例中，物理环境52包括街道312和其他物理对象，比如在街道上行驶的汽车316,320以及标志324和328。第一用户304可以穿戴第一 HMD设备42，而第二用户308可以穿戴第二 HMD设备42’。第一 HMD设备42和第二 HMD设备42’可以均采用HMD设备200的形式。
[0040]如在下面讨论的各种使用情形中进一步描述的，并且再次参考图1，混合现实安全程序14可以被配置成经由上述传感器和系统中的一个或多个从物理环境52接收物理环境数据70。混合现实安全程序14还被配置成经由网络46从诸如服务器72之类的一个或多个源接收全息对象44。
[0041 ] 基于与全息对象44相关联的内容提供商ID 74，混合现实安全程序14可以被配置成向全息对象44指派信任等级。并且基于所指派的信任等级，混合现实安全程序14可以被配置成对全息对象44施加一组安全规则，这组安全规则提供了预定的显示限制等级。
[0042]如果信任等级小于信任等级阈值，则可以施加提供了保护性显示限制等级的第一组安全规则78。如果信任等级大于或等于信任等级阈值，则可以施加提供了许可性显示限制等级的第二组安全规则80，其中保护性显示限制等级大于许可性显示限制等级。然后可以根据所施加的那组安全规则经由显示系统48来显示全息对象44。
[0043]在一个示例中，并且现在参考图3，第二用户308可能想要与第一用户304玩交互式混合现实游戏。该游戏可包括舞剑大香蕉(large sword- wielding banana)332形式的全息对象，玩家要与该舞剑大香蕉332进行战斗。在线游戏服务可以经由网络46从服务器72向HMD设备42的计算设备22供给该全息香蕉332。全息香蕉332可以与内容提供商ID74相关联，所述内容提供商ID 74把该在线游戏服务标识为提供全息香蕉的源。
[0044]再次参考图1，混合现实安全程序14可以包括信任等级选择器程序76，所述信任等级选择器程序76分析内容提供商ID 74并基于内容提供商ID向全息香蕉332指派信任等级。在一个示例中，第一用户304与在线游戏服务之间可以具有信任关系，这种信任关系例如通过把在线游戏服务包括在“信任关系”列表中来指示，所述“信任关系”列表位于存储在计算设备22中的用户简档数据84内的用户偏好文件82中。
[0045]混合现实安全程序14可以被配置成将所指派的信任等级与信任等级阈值相比较以确定将多个安全规则中的什么安全规则施加于全息香蕉332的显示。在一个示例中，可以将信任等级阈值定义为在全息香蕉332的源与第一用户304之间是否存在信任关系。如果存在这样的信任关系，则信任等级大于或等于信任等级阈值。如果不存在这样的信任关系，则信任等级小于信任等级阈值。
[0046]换一种方式来表达，可以将信任等级阈值表达为具有数值I。如果存在信任关系，则指派给全息香蕉332的信任等级为I。如果不存在信任关系，则指派给全息香蕉的信任等级为O。在以上示例中，所指派的信任等级I大于或等于信任等级阈值I。在全息香蕉332的源与第一用户304之间不存在信任关系的另一示例中，指派的信任等级O小于信任等级阈值I。
[0047]在指派的信任等级小于信任等级阈值的示例中，混合现实安全程序14被配置成对全息香蕉332施加提供保护性显示限制等级的第一组安全规则78。第一组安全规则78可以包括与经由HMD设备42的显示系统48显示全息香蕉332的方式有关的一个或多个安全规则。在一个示例中，可以将由第一组安全规则78提供的“显示限制”限定为与全息香蕉332的显示有关的控件，所述控件限制了全息香蕉遮掩、冲击或以别的方式改变第一用户对通过HMD设备42观看到的物理环境52的感知的程度。
[0048]与第一组安全规则78相关联的保护性显示限制等级可以大于与以下更详细描述的第二组安全规则80相关联的许可性显示限制等级。换言之，保护性显示限制等级可以比许可性显示限制等级更大程度地限制全息香蕉332遮掩、冲击或以别的方式改变第一用户对物理环境52的感知的程度。
[0049]返回本示例，其中第一用户304与在线游戏服务之间具有信任关系，因此信任等级大于或等于信任等级阈值，混合现实安全程序14的显示模式生成器86可以被配置成根据第二组安全规则80经由HMD设备42的显示系统48显示全息香蕉332。如上所述，第二组安全规则80可以对全息香蕉提供许可性显示限制等级。按照这种方式，HMD设备42可以按下述方式来显示全息香蕉332，即:与第一组安全规则78关联的限制性显示限制等级所允许的相比，更大程度地改变第一用户对物理环境52的感知。
[0050]在一个示例中，这样的许可性显示限制等级可以包括:以显著的不透明度来显示全息香蕉332，使得全息香蕉可以遮掩或阻挡第一用户对物理环境52的物理对象或其他方面的观察。这样的许可性显示限制等级可以包括:以对第一用户304表现为高度逼真的方式来显示全息香蕉332，使得全息香蕉强烈地吸引第一用户304的注意力。
[0051]在其他示例中，这样的许可性显示限制等级可以包括:以相比于物理环境中的其他物理对象显著更大的尺寸和规模来显示全息香蕉332。这样的许可性显示限制等级还可以包括:以与想象的外观和/或行为相对应的方式显示全息对象，比如全息香蕉332挥舞着剑并且进行熟练的剑斗移动。将意识到，在本公开内容的范围之内，可以提供许可性显示限制等级的各种其他示例。
[0052]在另一示例中，第一用户304可以与在线游戏服务之间不具有信 任关系，因此信任等级小于信任等级阈值。相应地，混合现实安全程序14的显示模式生成器86可以被配置成根据第一组安全规则78经由HMD设备42的显示系统48显示全息香蕉332。如上所述，第一组安全规则78可以对全息香蕉332提供保护性显示限制等级。按照这种方式，HMD设备42可以按下述方式来显示全息香蕉332，即:与上面讨论的许可性显示限制等级所允许的相比，更小程度地改变第一用户对物理环境52的感知。
[0053]在一个示例中，这样的保护性显示限制等级可以包括:以显著的透明度来显示全息香蕉332，使得全息香蕉不遮掩或阻挡第一用户对物理环境52的物理对象或其他方面的观察。这样的保护性显示限制等级还可以包括:以对第一用户304表现为明显不真实的方式来显示全息对象，比如具有与众不同的全息指示标或显著透明，使得该全息对象可以被第一用户304快速地识别为全息对象。
[0054]在其他示例中，这样的保护性显示限制等级可以包括:以相比于物理环境中的其他物理对象更小的尺寸和规模来显示全息香蕉332，从而减小全息香蕉的视觉影响。这样的保护性显示限制等级还可以包括:以与正常外观和/或行为相对应的方式显示全息香蕉332，比如显示不具有例示的脸、手和腿的全息香蕉。在其他示例中，这样的保护性显示限制等级可以包括不显示全息香蕉332。将意识到，在本公开内容的范围之内，可以提供保护性显示限制等级的各种其他示例。
[0055]在另一示例中，全息对象44可以包括两个或更多个版本，每个版本体现了与用于全息对象的不同显示限制等级相对应的不同安全评级。例如，第一全息对象版本88可以包括保护性安全评级，而第二版本90可以包括与保护性安全评级不同的许可性安全评级。保护性安全评级可以对应于上述的保护性显示限制等级。同样地，许可性安全评级可以对应于上述的许可性显示限制等级。按照这种方式，并且取决于所指派的信任等级，混合现实安全程序14可以选择全息对象44的第一版本88或第二版本90，并且根据对应的显示限制来显示全息对象。
[0056]在以上示例中，使用了与两个显示限制等级相对应的两组安全规则。还将意识到，在本公开内容的范围之内，可以利用任何其他合适数目的安全规则组和对应的显示限制等级，比如3、4、5、6、10、100或其他数目。此外，在特定的显示限制等级内，可以利用不同显示限制的任何合适变形和/或组合。
[0057]还将意识到，在本公开内容的范围内，可以利用各种其他类型和量度的信任等级和相关信任等级阈值。例如，信任等级可以与在第一用户304和全息对象44的源之间的交互频繁度相关联。在一个示例中，第一用户304与源交互得越频繁，与该源相关联的信任等级就越高。在另一示例中，信任等级可以与将源表示为信任源的、被肯定地选择的用户偏好82相关联。在另一示例中，可以使用来自第一用户304的社交图表、第一用户304的联系人列表、电子邮件活动、消息传递活动和/或其他通信活动的输入来推断信任等级，其中假定第一用户对于这样的信息的使用已提供了适当的允许。
[0058]在另一示例中，内容提供商ID 74可以标识全息对象44的开发者或创作者，其可以是与分发全息对象44的人或实体相同的或不同的人或实体。例如，可以从服务器72经由网络46向HMD设备42的计算设备22供给全息对象44。全息对象44可以与将第二用户308标识为该对象的开发者的内容提供商ID 74相关联。然后，信任等级选择器程序76可以基于被标识为该对象的开发者的第二用户308而向全息对象44指派信任等级。
[0059]在其他示例中，可以使用一个或多个附加准则来选择和对全息对象施加一组提供预定的显示限制等级的安全规则。在一个示例中，还可以使用物理环境数据70来选择和施加一组安全规则。物理环境数据70可以包括但不限于一个或多个环境状况92、用户位置94以及一个或多个基于位置的限制96。所述一个或多个环境状况92可以包括但不限于日期、一天中的时间、天气状况、环境光等级以及环境噪声等级。
[0060]在一个示例中，第一用户304可以在5月I日至5月8日的假期中旅行。从5月I日至5月8日，第一用户304可能希望禁止显示从如下的源接收的全息对象，即所述源与小于按照I 一 5的标尺的信任等级阈值5的信任等级相关联。相应地，从5月I日至5月8日，混合现实安全程序14可以对与小于5的信任等级相关联的全息对象施加提供保护性显示限制等级的第一组安全规则78，其中保护性显示限制等级对应于不显示这样的全息对象。
[0061]在另一示例中，第二用户308可以典型地在每个工作日早上7:00 — 7:45骑自行车去上班。因此，在每个工作日早上7:00 - 7:45之间，混合现实安全程序14可以向全息对象施加一组安全规则，相比于在除了每个工作日早上7:00 - 7:45以外的时间期间向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0062]在另一示例中，并且再次参考图3，第一用户304可能在恶劣天气期间一一比如有风、闪电和大雨的雷雨期间一一身处户外。HMD设备42可以例如通过由面向外的传感器216捕获的图像信息来检测这样的天气。基于检测到这样的恶劣天气，混合现实安全程序14可以向全息对象施加一组安全规则，相比于在没有恶劣天气时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0063]在另一示例中，第一用户可能在夜间在环境光等级较低并且例如低于日光阈值时沿着街道312行走。HMD设备42可以例如通过由面向外的传感器216捕获的环境光信息来检测这样的环境光等级。基于在日光阈值以下的环境光等级，混合现实安全程序14可以向全息对象施加一组安全规则，相比于在环境光等级高于这样的阈值时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0064]在另一示例中，第一用户可能沿着繁忙的街道312行走，在该街道上，来自过往汽车316、320的噪声与其他环境噪声相结合造成了例如高于环境噪声阈值的环境噪声等级。HMD设备42可以例如通过由麦克风系统64捕获的音频信息来检测这样的环境噪声等级。基于在环境噪声阈值以上的环境噪声等级，混合现实安全程序14可以向全息对象施加一组安全规则，相比于在环境噪声等级在这样的阈值以上时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0065]如上所述，在一些示例中，物理环境数据70可以包括用户位置94。在一个示例中，并且参考图3，第二用户308可以正沿着街道312 —侧骑自行车。例如可以由HMD设备42’的位置传感器系统62来确定临近繁忙街道312的第二用户308的位置。基于靠近繁忙街道312的第二用户308的位置，混合现实安全程序14可以向全息对象施加一组安全规则，相比于当第二用户沿着海岸旁边的自行车道骑自行车时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0066]同样如上所述，物理环境数据70可以包括一个或多个基于位置的限制96。在一些示例中，一个或多个基于位置的限制96可以包括基于政府的限制和基于私有实体的限制。在一个示例中，第一用户304可以沿着政府军事基地的街道312行走。出于安全原因，政府可以对由在军事基地的边界内使用的HMD设备进行的全息对象的显示强加限制。计算设备22可以接收来自政府的显示限制。因此，当第一用户304在军事基地时，混合现实安全程序14可以对由HMD设备42显示的全息对象施加一组基于政府的限制，其添加了附加的显示限制。
[0067]在另一示例中，第一用户304可以进入银行来进行存款。出于安全原因，银行可以对由在银行内使用的HMD设备进行的全息对象的显示强加限制。计算设备22可以接收来自银行的显示限制。因此，当第一用户304在银行中时，混合现实安全程序14可以对由HMD设备42显示的全息对象施加一组基于银行的限制，其添加了附加的显示限制。
[0068]还将意识到，在其他示例中，可以使用各种物理环境数据70来选择并向全息对象施加一组安全规则，相比于基于这样的物理环境数据而施加的一组更具保护性的安全规则来说，这组安全规则提供了更具许可性的显示限制等级。此外，在一些示例中，可以使用物理环境数据70的两个或更多个不同实例来选择和施加一组安全规则。
[0069]在其他示例中，还可以使用用户动作数据68来选择和施加一组安全规则。用户动作数据68可以包括但不限于眼睛跟踪信息、麦克风信息、光学传感器信息、位置传感器信息和生物测定信息。使用用户动作数据68，混合现实安全程序14可以通过使用例如试探法、动作推断表和计划性规则中的一个或多个来确定当前用户动作。然后，混合现实安全程序14可以基于当前用户动作来选择和施加一组安全规则。
[0070]在一个示例中并且参考图3，第一用户304可以正在告示牌324处扫视街道312。混合现实安全程序14可以使用从HMD设备42的眼睛跟踪传感器系统54接收的眼睛跟踪信息来确定第一用户304正在盯着告示牌324。利用此眼睛跟踪信息以及与第一用户304的先前行为有关的试探法，混合现实安全程序14可以确定第一用户304的注意力目前基本集中在告示牌324上。因此，混合现实安全程序14可以向全息对象施加一组安全规则，相比于当第一用户的注意力并未基本集中在其他对象上时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。例如，混合现实安全程序14可以将全息香蕉332的显示定位从街道312的中心改变成沿着街道的一侧，如图所不O
[0071]在另一示例中，第一用户304可以正在与商业客户谈论重要商业问题。混合现实安全程序14可以使用从HMD设备42的麦克风系统64接收的音频信息来确定第一用户304参与到重要谈话中。利用动作推断表(其使用第一用户的谈话的一些方面来推断该用户参与到重要谈话中)，混合现实安全程序14可以确定第一用户304的注意力基本集中在他与商业客户的谈话上。因此，混合现实安全程序14可以向诸如全息香蕉332之类的全息对象施加一组安全规则，相比于当第一用户304没有参与到重要谈话中时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0072]在另一示例中，第二用户308可以正在沿着街道312骑自行车。混合现实安全程序14可以使用从HMD设备42的光学传感器系统58接收的图像数据来确定第二用户308正在骑自行车。 基于确定第二用户308正在骑自行车，混合现实安全程序14可以在用户骑自行车的时候施加计划性规则，所述计划性规则向诸如全息香蕉332之类的全息对象施加一组提供更具保护性的显示限制等级的安全规则。例如，这样的计划性规则可以不管指派给全息对象的信任等级如何都禁止显示该对象。
[0073]在另一示例中，第一用户304可以正朝着街道312行走并正在接近街道312。混合现实安全程序14可以使用从HMD设备42的位置传感器系统62接收的定位数据来确定第一用户304正在朝着街道312移动并正接近街道312。基于确定第一用户304正在朝着街道312移动并正接近街道312，混合现实安全程序14可以向诸如全息香蕉332之类的全息对象施加一组安全规则，这组安全规则提供了更具保护性的显示限制等级。这样的限制可以包括例如允许仅仅在位于街道312上方的用户视场中显示全息对象。
[0074]在另一示例中，第一用户304可以正在步行去进行工作面试。第一用户304可能对面试紧张并且可能正在经历相应的应激反应。混合现实安全程序14可以使用从HMD设备42的生物测定传感器系统66接收的生物测定信息(比如第一用户304的心率)来确定第一用户304正在经历应激反应。基于确定第一用户304正在经历应激反应，混合现实安全程序14可以向诸如全息香蕉332之类的全息对象施加一组安全规则，这组安全规则提供了更具保护性的显示限制等级。
[0075]还将意识到，各种其他类型的生物测定信息可以被生物测定传感器系统66检测到，并且被混合现实安全程序14使用来确定用户正在经历各种其他的生物反应。这样的其他类型的生物测定信息可以包括与各种生理过程、功能、测量和/或状态有关的信息。还可以使用这样的生物测定信息来选择和施加一组安全规则。
[0076]在其他示例中，混合现实安全程序14还可以利用用户动作数据68通过使用例如试探法、动作推断表和计划性规则中的一个或多个来确定用户意图。然后，混合现实安全程序14还可以基于所确定的用户意图来选择和施加一组安全规则。
[0077]在一个示例中，用户可以正在用户的家中玩混合现实追逐游戏。游戏牵涉到该用户和全息狗，二者都在追逐并尝试捉住全息松鼠。全息松鼠可以跑跳通过平板玻璃窗。来自位置传感器系统62的位置传感器信息可以显示该用户正在朝着平板玻璃窗移动。在给定该定位信息以及游戏的目标的情况下，混合现实安全程序14可以确定用户打算跟着全息松鼠穿过平板玻璃窗，用户可能看不见该平板玻璃窗。因此，混合现实安全程序14可以向全息松鼠施加一组安全规则，这组安全规则提供了更具保护性的显示限制等级，比如将全息松鼠改变成警告用户停止朝平板玻璃窗移动的紧急全息消息。
[0078]还将意识到，在其他示例中，混合现实安全程序可以利用一个或多个当前用户动作和一个或多个用户意图来选择和向全息对象施加提供显示限制的一组安全规则。
[0079]如以上示例性使用情况所例示的，混合现实调节系统10可以选择性地调整全息对象的显示，以便管理用户对于该对象的感知，包括:改变该对象的定位、该对象如何相对于物理环境中的物理对象来被感知以及该对象如何与其他全息对象交互。有利地，通过按照这种方式管理全息对象的显示以便调节混合现实环境，混合现实调节系统10可以提供更令人愉快且令人满意的混合现实体验。
[0080]图4A、4B和4C图示了根据本公开内容的实施例的显示全息对象以便对包括物理环境的混合现实环境进行调节的方法400的流程图。参考以上描述的并在图1至图3中示出的混合现实调节系统10的软件和硬件组件，提供了对方法400的以下描述。将意识到，还可以使用其他合适的硬件和软件组件在其他上下文中执行方法400。
[0081]参考图4A，在404，方法400包括提供HMD设备42，所述HMD设备42被配置成由用户穿戴并且可操作地连接到计算设备22。HMD设备42包括多个传感器以及用于呈现全息对象的显示系统48。在408，方法400包括从源接收全息对象44，全息对象44与内容提供商ID 74相关联。
[0082]如在416指示的，全息对象44可以包括具有保护性安全评级的第一全息对象版本。如在420指示的，全息对象44还可以包括具有许可性安全评级的第二全息对象版本。在424，方法400包括基于内容提供商ID 74向全息对象44指派信任等级。在428，方法400包括经由HMD设备42的传感器中的一个或多个从物理环境接收物理环境数据。
[0083]如在432指示的，物理环境数据可以包括一个或多个环境状况、用户位置以及一个或多个基于位置的限制。如在436指示的，一个或多个环境状况可以包括日期、一天中的时间、天气状况、环境光等级以及环境噪声等级。如在440指示的，一个或多个基于位置的限制可以包括基于政府的限制和基于私有实体的限制。
[0084]在444，方法400包括接收用户动作数据。如在448指示的，用户动作数据包括眼睛跟踪信息、麦克风信息、光学传感器信息、位置传感器信息和生物测定信息。在452，方法400包括基于用户动作数据来确定当前用户动作。在一个示例中，可以使用试探法、动作推断表和计划性规则中的一个或多个来确定当前用户动作。在456，方法400包括基于用户动作数据来确定用户意图。在一个示例中，可以使用试探法、动作推断表和计划性规则中的一个或多个来确定用户意图。
[0085]现在参考图4B，在460，方法400包括确定指派给全息对象的信任等级是否小于信任等级阈值T。如果指派给全息对象的信任等级小于信任等级阈值T，则在464，方法400包括向全息对象施加提供了保护性显示限制等级的第一组安全规则。
[0086]在468，方法400可以包括选择包括保护性安全评级的第一全息版本。在472，方法400可以包括基于物理环境数据来选择第一组安全规则。在476，方法400可以包括基于当前用户动作来选择第一组安全规则。在480，方法400可以包括基于用户意图来选择第一组安全规则。在484，方法400包括根据第一组安全规则经由HMD设备42来显示全息对象。然后方法400可以结束。
[0087]返回460，如果指派给全息对象的信任等级大于或等于信任等级阈值T，则在486(参见图4C)，方法400包括施加第二组安全规则，所述第二组安全规则对全息对象提供小于保护性显示限制等级的许可性显示限制等级。在488，方法400可以包括选择包含许可性安全评级的第二全息版本。在490，方法400可以包括基于物理环境数据来选择第二组安全规则。在492，方法400可以包括基于当前用户动作来选择第二组安全规则。在494，方法400可以包括基于用户意图来选择第二组安全规则。在496，方法400然后可以包括根据第二组安全规则经由HMD设备42来显示全息对象。之后方法400可以结束。
[0088]将意识到，方法400是作为示例被提供的，其不意味着限制。因此，要理解，方法400可以包括除了图4A、4B和4C所示的那些步骤之外的附加和/或备选步骤。此外，要理解，方法400可以按照任何合适的次序执行。另外，要理解，在不脱离本公开内容的范围的情况下，可以从方法400中省略一个或多个步骤。
[0089]图5示意性地示出了可以执行上述方法和过程中的一个或多个的计算系统500的非限制性实施例。计算设备22可以采取计算系统500的形式。以简化形式示出了计算系统500。要理解，事实上，在不脱离本公开内容的范围的情况下，可以使用任何计算机体系结构。在不同实施例中，计算系统500可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等形式。如上所述，在一些示例中，可以将计算系统500集成到HMD设备中。
[0090]如图5所示，计算系统500包括逻辑子系统504和存储子系统508。计算系统500可以可选地包括显示子系统512、通信子系统516、传感器子系统520、输入子系统522和/或图5中未示出的其他子系统和组件。计算系统500还可以包括计算机可读介质，所述计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统500还可以可选地包括其他用户输入设备，比如像键盘、鼠标、游戏控制器和/或触摸屏。此外，在一些实施例中，本文描述的方法和过程可以被实现为计算机应用、计算机服务、计算机AP1、计算机库和/或在包括一个或多个计算机的计算系统中的其他计算机程序产品。
[0091]逻辑子系统504可以包括被配置来执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统504可以被配置来执行一个或多个指令，所述一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分。这样的指令可以被实施来执行任务、实现数据类型、转变一个或多个设备的状态或者以别的方式达到所希望的结果。
[0092]逻辑子系统504可以包括被配置来执行软件指令的一个或多个处理器。附加地或备选地，逻辑子系统可以包括被配置来执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核或多核的，并且在其上执行的程序可以被配置成用于并行处理或分布式处理。逻辑子系统可以可选地包括分布在两个或更多个设备中的单独组件，所述单独组件可以位于远程和/或被配置成用于协同处理。逻辑子系统的一个或多个方面可以被虚拟化，并且可以由被配置在云计算配置中的远程可访问联网计算设备来执行。
[0093]存储子系统508可以包括被配置来持有数据和/或指令的一个或多个物理的永久性设备，其中所述数据和/或指令可由逻辑子系统504执行来实施本文所描述的方法和过程。在实施这样的方法和过程时，可以转变存储子系统508的状态(例如，以便持有不同的数据)。
[0094]存储子系统508可以包括可拆卸式介质和/或内置设备。存储子系统508尤其可以包括光学存储设备(例如，⑶、DVD、HD-DVD、蓝光盘等等)、半导体存储设备(例如，RAM、EPROM, EEPROM等等)和/或磁性存储设备(例如，硬盘驱动、软盘驱动、磁带驱动、MRAM等等)。存储子系统508可以包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址以及内容可寻址。
[0095]在一些实施例中，逻辑子系统504和存储子系统508的一些方面可以被集成到一个或多个公共设备中，通过所述一个或多个公共设备可以至少部分地制定本文在功能上所描述的那些。这样的硬件逻辑组件可以包括例如现场可 编程门阵列(FPGA)、特定于程序和应用的集成电路(PASIC/ASIC)、特定于程序和应用的标准产品(PSSP/ASSP)、单片系统(SOC)系统和复杂可编程逻辑器件(CPLD)。
[0096]图5还示出了具有可拆卸式计算机可读存储介质524形式的存储子系统508的一些方面，其可以用于存储可被执行来实施本文描述的方法和过程的数据和/或指令。可拆卸式计算机可读存储介质524尤其可以采取⑶、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
[0097]将意识到，存储子系统508包括一个或多个物理的永久性设备。与此相对比，在一些实施例中，本文描述的指令的一些方面可以通过纯信号(例如，电磁信号、光学信号等等)以瞬态方式传播，所述纯信号在至少有限的持续时间内不被物理设备持有。此外，属于本公开内容的数据和/或其他形式的信息可以通过纯信号经由计算机可读通信介质传播。
[0098]当包括显示子系统512时，显示子系统512可以被使用来呈现由存储子系统508持有的数据的视觉表示。在上述方法和过程改变由存储子系统508持有的数据，且从而转变存储子系统的状态时，显示子系统512的状态同样可以被转变成视觉地表示底层数据的变化。显示子系统512可以包括事实上利用任何类型的技术的一个或多个显示设备。可以将这样的显示设备与逻辑子系统504和/或存储子系统508组合在共用的封装中，或者这样的显不设备可以是外围显不设备。显不子系统512可以包括例如HMD设备42的显不系统48和透明显示器50。
[0099]当包括通信子系统516时，通信子系统516可以被配置成将计算系统500与一个或多个网络和/或一个或多个其他计算设备通信地耦合。通信子系统516可以包括与一个或多个不同通信协议可兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统516可以被配置成用于经由无线电话网络、无线局域网、有线局域网、无线广域网、有线广域网等等来通信。在一些实施例中，通信子系统可以允许计算系统500经由诸如互联网之类的网络向其他设备发送消息和/或从其他设备接收消息。
[0100]传感器子系统520可以包括一个或多个传感器，所述一个或多个传感器被配置来感测不同的物理现象(例如，可见光、红外光、声音、加速度、朝向、定位等等)和/或如上所述的生理过程、功能、测量和/或状态。例如，传感器子系统520可以包括一个或多个眼睛跟踪传感器、图像传感器、麦克风、诸如加速度计之类的运动传感器、罗盘仪、触摸板、触摸屏、心率监视器、脉搏血氧定量计、皮肤电反应传感器、脑电图仪(EEG)监视器和/或任何其他合适的传感器。
[0101]传感器子系统520例如可以被配置成向逻辑子系统504提供物理环境数据70和/或用户动作数据68。如上所述，这样的数据可以包括生物测定信息、眼睛跟踪信息、图像信息、音频信息、环境照明信息、深度信息、定位信息、运动信息、环境状况信息、用户位置信息、基于位置的限制信息和/或任何可以被用于执行上述方法和过程的其他合适的传感器数据。
[0102]在一些实施例中，传感器子系统520可以包括深度摄像机(例如，图2的面向外的传感器216)。深度摄像机例如可以包括立体视觉系统的左摄像机和右摄像机。来自这两个摄像机的时间分辨图像可以被彼此配准，并且被组合来生成深度分辨视频。在其他实施例中，深度摄像机可以是结构光深度摄像机或飞行时间摄像机，正如上面所述的。
[0103]在一些实施例中，传感器子系统520可以包括可见光摄像机，比如数字摄像机。事实上，在不脱离本公开内容的范围的情况下，可以使用任何类型的数字摄像机技术。作为非限制性示例，可见光摄像机可以包括电荷耦合器件图像传感器。
[0104]当包括输入子系统522时，输入子系统522可以包括一个或多个传感器或用户输入设备(比如游戏控制器、姿势输入检测设备、话音识别器、惯性测量单元、键盘、鼠标或触摸屏)或者与所述一个或多个传感器或用户输入设备对接。在一些实施例中，输入子系统522可以包括选定的自然用户输入(NUI)部件或是与选定的自然用户输入(NUI)部件对接。这样的元件部分可以是集成的或外围的，并且可以在板上或离板地操纵对输入动作的转换和/或处理。示例性ΝΠ元件部分可以包括:用于语音和/或话音识别的麦克风；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度摄像机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估脑部活动性的电场感测元件部分。
[0105]术语“程序”可以用于描述被实施来执行一个或多个具体功能的混合现实调节系统10的方面。在一些情况下，可以经由执行由存储子系统508持有的指令的逻辑子系统504来实例化这样的程序。应理解，不同的程序可以从相同的应用、服务、代码块、对象、库、例程、AP1、函数等等来实例化。同样地，相同的程序可以由不同的应用、服务、代码块、对象、例程、AP1、函数等等来实例化。术语“程序”打算涵盖单个的或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等等。
[0106]应理解，本文描述的配置和/或方法实质上是示范性的，并且这些特定的实施例或示例不被认为具有限制意义，因为许多变型是可能的。本文描述的特定例程或方法可以代表任何数目个处理策略中的一个或多个处理策略。这样，所图示的各种动作可以按照图示的顺序执行、按照其他顺序执行、并行地执行、或在某些情况下被省略。同样，上述过程的次序可以被改变。
[0107]本公开内容的主题包括本文所公开的各种过程、系统和配置、以及其他特征、功能、动作和/或属性的所有新颖的且非显而易见的组合和子组合，及其任何和所有的等同物。
【主权项】
1.一种用于显示全息对象以便对包括物理环境的混合现实环境进行调节的方法，包括: 提供头戴式显示设备，所述头戴式显示设备被配置成由用户穿戴并且可操作地连接到计算设备，所述头戴式显示设备包括多个传感器和显示系统； 经由传感器中的一个或多个从物理环境接收物理环境数据； 从源接收全息对象，所述全息对象与内容提供商ID相关联； 基于内容提供商ID向全息对象指派信任等级； 如果信任等级小于信任等级阈值，则: 对全息对象施加提供保护性显示限制等级的第一组安全规则；以及 根据第一组安全规则经由显示系统来显示全息对象； 如果信任等级大于或等于信任等级阈值，则: 对全息对象施加提供许可性显示限制等级的第二组安全规则；以及 根据第二组安全规则经由显示系统来显示全息对象； 其中，所述保护性显示限制等级大于所述许可性显示限制等级。2.根据权利要求1所述的方法，其中，施加第一组安全规则还包括基于物理环境数据来选择第一组安全规则，以及施加第二组安全规则还包括基于物理环境数据来选择第二组安全规则。3.根据权利要求1所述的方法，还包括: 接收用户动作数据，所述用户动作数据是从由眼睛跟踪信息、麦克风信息、光学传感器信息、位置传感器信息和生物测定信息构成的组中选择的；以及 使用试探法、动作推断表和计划性规则中的一个或多个基于用户动作数据来确定当前用户动作。4.根据权利要求3所述的方法，其中，施加第一组安全规则还包括基于当前用户动作来选择第一组安全规则，以及 施加第二组安全规则还包括基于当前用户动作来选择第二组安全规则。5.根据权利要求3所述的方法，还包括基于用户动作数据并且使用试探法、动作推断表和计划性规则中的一个或多个来确定用户意图，以及其中，施加第一组安全规则进一步包括还基于用户意图来选择第一组安全规则，并且施加第二组安全规则进一步包括还基于用户意图来选择第二组安全规则。6.根据权利要求1所述的方法，其中所述全息对象包括第一全息对象版本和第二全息对象版本，所述第一全息对象版本包括保护性安全评级，而所述第二全息对象版本包括与所述保护性安全评级不同的许可性安全评级。7.一种混合现实调节系统，包括: 头戴式显示设备，其被配置成由用户穿戴并且可操作地连接到计算设备，所述头戴式显示设备包括多个传感器和用于呈现全息对象的显示系统；以及 混合现实安全程序，其由计算设备的处理器执行，所述混合现实安全程序被配置成: 经由传感器中的一个或多个从物理环境接收物理环境数据； 从源接收全息对象，所述全息对象与内容提供商ID相关联； 基于内容提供商ID向全息对象指派信任等级； 如果信任等级小于信任等级阈值，则: 对全息对象施加提供保护性显示限制等级的第一组安全规则；以及 根据第一组安全规则经由显示系统来显示全息对象； 如果信任等级大于或等于信任等级阈值，则: 对全息对象施加提供许可性显示限制等级的第二组安全规则；以及 根据第二组安全规则经由显示系统来显示全息对象； 其中，所述保护性显示限制等级大于所述许可性显示限制等级。8.根据权利要求7所述的混合现实调节系统，其中，所述物理环境数据是从由一个或多个环境状况、用户位置以及一个或多个基于位置的限制构成的组中选择的。9.根据权利要求8所述的混合现实调节系统，其中，所述一个或多个环境状况是从由日期、一天中的时间、天气状况、环境光等级以及环境噪声等级构成的组中选择的。10.根据权利要求7所述的混合现实调节系统，其中，所述全息对象包括第一全息对象版本和第二全息对象版本，所述第一全息对象版本包括保护性安全评级，而所述第二全息对象版本包括与所述保护性安全评级不同的许可性安全评级，并且所述混合现实安全程序还被配置成: 基于信任等级选择第一全息对象版本；以及 基于信任等级选择第二全息对象版本。
【专利摘要】提供了一种混合现实调节系统和一些相关方法。在一个示例中，头戴式显示设备包括多个传感器和用于呈现全息对象的显示系统。混合现实安全程序被配置成从源接收全息对象和相关联的内容提供商ID。所述程序基于内容提供商ID向对象指派信任等级。如果信任等级小于阈值，则根据提供保护性显示限制等级的第一组安全规则来显示对象。如果信任等级大于或等于阈值，则根据提供许可性显示限制等级的第二组安全规则来显示对象，其中所述许可性显示限制等级小于所述保护性显示限制等级。
【IPC分类】G02B27/22, G06T19/00, G09G3/00
【公开号】CN104885144
【申请号】CN201480004506
【发明人】S.拉塔, P.T.金纳布鲁
【申请人】微软技术许可有限责任公司
【公开日】2015年9月2日
【申请日】2014年1月10日
【公告号】EP2943947A1, US20140192084, WO2014110302A1
【专利说明】
【背景技术】
[0001]诸如头戴式显示设备那样的增强现实或混合现实设备可以用在各种各样的真实世界环境和情境中。这样的设备提供了通过全息对象和/或其他虚拟现实信息而扩增(augment)的物理环境的视图。这些设备可以接收由已知开发者和未知开发者开发的全息对象以及由已知源和未知源公布或分发的全息对象，以用于显示。
[0002]由混合现实设备显示的全息对象可以改变用户对于物理环境的观察。在一些示例中，一个全息对象还可以与另一个全息对象交互。全息对象还可以按照变化的真实感等级被显示，比如变化的透明度/不透明度、锐度/模糊、现实对想象行为等等。取决于全息对象的真实感等级和大体外观，显示全息对象可以改变用户对物理环境的感知和/或使用户的注意力从物理环境的某些方面转移开。此外，取决于在其中正使用混合现实设备的真实世界环境和/或情境，在一些情况下，这样的改变的感知和/或转移的注意力可减少用户对于物理环境中安全相关问题的警觉性。
【发明内容】
[0003]本文公开了各种实施例，所述实施例涉及显示全息对象以便调节(accommodate)包括物理环境的混合现实环境。在一个示例中，一种方法可以包括:提供头戴式显示设备，所述头戴式显示设备被配置成由用户穿戴并且可操作地连接到计算设备。头戴式显示设备可以包括多个传感器和显示系统。该方法可以包括经由传感器中的一个或多个从物理环境接收物理环境数据。可以从源接收全息对象，其中所述全息对象与内容提供商ID相关联。该方法可以包括基于内容提供商ID向全息对象指派信任等级。
[0004]如果信任等级小于信任等级阈值，则该方法可以包括:对全息对象施加提供保护性显示限制等级的第一组安全规则。该方法然后可以包括:根据第一组安全规则经由显示系统来显示全息对象。如果信任等级大于或等于信任等级阈值，则该方法可以包括:对全息对象施加提供许可性显示限制等级的第二组安全规则，其中所述许可性限制等级小于所述保护性限制等级。该方法然后可以包括:根据第二组安全规则经由显示系统来显示全息对象。
[0005]本概要被提供来以简化的形式介绍概念的选择，这些概念还将在下面的详细说明中进行描述。本概要既不打算标识所要求保护的主题的关键特征或必要特征，也不打算被用来限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决了在本公开内容的任何部分中提到的任何或全部缺点的那些实现。
【附图说明】
[0006]图1是根据本公开内容的实施例的混合现实调节系统的示意图。
[0007]图2示出了根据本公开内容的实施例的示例性头戴式显示设备。
[0008]图3是示例性物理环境的示意图，所述示例性物理环境包括两个用户，他们穿戴有图2的头戴式显示设备并且使用图1的混合现实调节系统。
[0009]图4A、4B和4C是根据本公开内容的实施例的、用于显示全息对象的方法的流程图。
[0010]图5是计算系统的实施例的简化示意说明图。
【具体实施方式】
[0011]图1示出了混合现实调节系统10的一个实施例的示意图。混合现实调节系统10包括混合现实安全程序14，所述混合现实安全程序14可以被存储于计算设备22的海量存储装置18中。混合现实安全程序14可以被加载到存储器26中，并由计算系统22的处理器30执行来完成以下更详细描述的方法和过程中的一个或多个。
[0012]在一个示例中，混合现实调节系统10可以包括混合现实显示程序34，所述混合现实显示程序34可以被存储于计算设备22的海量存储装置18中。混合现实显示程序34可以产生虚拟环境38以用于在诸如头戴式显示(HMD)设备42那样的显示设备上显示，从而创建混合现实环境40。虚拟环境38可以包括一个或多个虚拟对象表示，比如全息对象44。在一些示例中，可以产生虚拟环境38来以交互式视频游戏、运动画面体验、广告、商业或其他合适体验的形式在混合现实环境40中提供混合现实体验。
[0013]在另一示例中，混合现实显示程序34和/或混合现实安全程序14可被远程存储，并且可由计算设备22通过与计算设备可操作地连接的网络(比如网络46)来访问。
[0014]计算设备22可以采取以下形式:台式计算设备、移动计算设备(比如智能电话、膝上型计算机、笔记本计算机或平板计算机)、网络计算机、家庭娱乐计算机、交互式电视、游戏系统或其他合适类型的计算设备。以下参考图5来更详细地描述与计算设备22的组件和计算方面有关的附加细节。
[0015]计算设备22可以使用有线连接与HMD设备42可操作地连接，或者可以采用经由WiF1、蓝牙或任何其他合适无线通信协议的无线连接。此外，图1所例示的示例将计算设备22示为与HMD设备42分离的组件。将意识到，在其他示例中，计算设备22还可以被集成到HMD设备42中。
[0016]计算设备22还可以经由网络46与一个或多个附加设备可操作地连接。网络46可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个人区域网或其组合的形式，并且可以包括互联网。
[0017]现在还参考图2，提供了 HMD设备200的一个示例，HMD设备200采取具有透明显示器50的一副可穿戴眼镜的形式。将意识到，在其他示例中，HMD设备200可以采取在观看者的一只或者两只眼前支持透明、半透明或不透明显示的其他合适形式。还将意识到，图1所示的HMD设备42可以采取如以下更详细地描述的HMD设备200的形式，或者采取任何其他合适的HMD设备的形式。此外，在本公开内容的范围内，还可以使用具有各种形状因子的许多其他类型和配置的显示设备。
[0018]参考图1和图2，在该示例中，HMD设备42包括显示系统48以及使图像能够被传递到用户眼睛的透明显示器50。透明显示器50可以被配置成:对于通过透明显示器观看物理环境的用户在视觉上扩增物理环境52的景象。例如，可以通过经由透明显示器50呈现的图形内容(例如，各自具有相应的颜色和亮度的一个或多个像素)来扩增物理环境的景象，以创建混合现实环境40。
[0019]透明显示器50还可以被配置成使得用户能够通过正在显示虚拟对象表示的一个或多个部分地透明的像素来观看物理环境52中的物理的真实世界对象。在一个示例中，透明显示器50可以包括位于透镜204 (例如像透明有机发光二极管(OLED)显示器)内的图像生成元件。作为另一示例，透明显示器50可以包括在透镜204边缘上的光调制器。在这个示例中，透镜204可以充当用于从光调制器向用户眼睛传递光的光导。这样的光导可以使用户能够感知位于用户正在观看的物理环境中的3D虚拟图像，同时还允许用户观看物理环境中的物理对象。
[0020]在其他示例中，透明显示器50可以支持在从物理环境接收的光到达穿戴HMD设备200的用户的眼睛之前对所述光进行选择性过滤。可以逐个像素地或者按照像素组来执行这种过滤。在一个示例中，透明显示器50可以包括以一个或多个被照亮的像素的形式来增加光的第一显示层、以及对于从物理环境接收到的环境光进行过滤的第二显示层。这些层可以具有不同的显示分辨率、像素密度和/或显示能力。
[0021]在一些示例中，第二显示层可以包括一个或多个不透明层，在其中可以生成阻挡图像。一个或多个不透明层可以整体地形成在透明显示器50内。在其他示例中，一个或多个不透明层可以例如以单独的挡板的形式被单独安装或附着到透明显示器50附近。
[0022]HMD设备42还可以包括各种系统和传感器。例如，HMD设备42可以包括利用至少一个面向内的传感器212 (参见图2)的眼睛跟踪传感器系统54。面向内的传感器212可以是被配置成从用户的眼睛获取眼睛跟踪信息形式的图像数据的图像传感器。假定用户同意获取和使用此信息，则眼睛跟踪传感器系统54可以使用此信息来跟踪用户眼睛的瞳孔反应、位置和/或移动。眼睛跟踪传感器系统54然后可以确定用户正在盯着哪里和/或用户正在盯着什么物理对象或虚拟对象。
[0023]HMD设备42还可以包括利用至少一个面向外的传感器216 (比如光学传感器)的光学传感器系统58。面向外的传感器216可以检测其视场内的移动，比如由用户或者由视场内的人或物理对象执行的基于姿势的输入或其他移动。面向外的传感器216还可以从物理环境以及环境中的物理对象捕获图像信息和深度信息。例如，面向外的传感器216可以包括深度摄像机、可见光摄像机、红外光摄像机和/或位置跟踪摄像机。在一些示例中，面向外的传感器216可以包括用于从物理环境中的真实世界照明情况观测可见光谱和/或红外光的一个或多个光学传感器。这样的传感器可以包括例如电荷耦合器件图像传感器。
[0024]如上所述，HMD设备42可以包括经由一个或多个深度摄像机进行的深度感测。例如，每个深度摄像机可以包括立体视觉系统的左摄像机和右摄像机。来自这些深度摄像机中的一个或多个深度摄像机的时间分辨(time-resolved)图像可以被彼此配准，和/或配准到来自另一光学传感器(比如可见光谱摄像机)的图像，并且可以被组合以产生深度分辨(depth-resolved)视频。
[0025]在一些示例中，深度摄像机可以采取结构光深度摄像机的形式，所述结构光深度摄像机被配置成投影包括多个离散特征(例如，线或点)的结构化红外照明。深度摄像机可以被配置成:对于从结构化照明被投影到的场景反射的结构化照明进行成像。可以基于被成像场景的各个区域中的相邻特征之间的间隔来构造场景的深度图。
[0026]在其他示例中，深度摄像机可以采取飞行时间(time-of-flight)深度摄像机的形式，所述飞行时间深度摄像机被配置成将脉冲式红外照明投影到场景上。这种深度摄像机可以被配置来检测从场景反射的脉冲式照明。这些深度摄像机中的两个或更多个可以包括与脉冲式照明同步的电子快门。对于两个或更多个深度摄像机的积分时间可以不同，以使得从源到场景然后到深度摄像机的脉冲式照明的像素分辨(pixel-resolved)飞行时间是根据在两个深度摄像机的对应像素中接收到的相对光量而可辨别的。HMD设备42还可以包括红外投影仪，以帮助结构光和/或飞行时间深度分析。
[0027]在其他示例中，还可以经由一个或多个深度摄像机来检测来自物理环境中的用户和/或人的基于姿势的输入和其他运动输入。例如，面向外的传感器216可以包括具有已知相对位置的两个或更多个光学传感器，以用于创建深度图。通过使用来自这些具有已知相对位置的光学传感器的运动结果，可以生成 这样的深度图并将其映射到基于姿势的输入和其他运动输入。
[0028]面向外的传感器216可以捕获用户所在的物理环境52的图像。如以下更详细地论述的，这样的图像可以是物理环境数据70的一部分，物理环境数据70可以被HMD设备42接收并且被提供给计算设备22。在一个示例中，混合现实显示程序34可以包括3D建模系统，所述3D建模系统使用这样的输入来生成虚拟环境38，其对捕获的物理环境数据70建模。
[0029]HMD设备42还可以包括位置传感器系统62，所述位置传感器系统62利用一个或多个运动传感器224来使能HMD设备的位置跟踪和/或朝向感测，并确定物理环境中HMD设备的位置。例如，可以利用位置传感器系统62来确定用户头的头部姿态朝向。在一个示例中，位置传感器系统62可以包括惯性测量单元，所述惯性测量单元被配置为6轴或6自由度位置传感器系统。该示例性位置传感器系统例如可以包括三个加速度计和三个陀螺仪，以指示或测量HMD设备42在三维空间中沿着三个正交轴(例如，x、y、z)的位置的变化以及HMD设备相对于三个正交轴的朝向的变化(例如，翻滚、俯仰、偏航)。
[0030]位置传感器系统62可以支持其他合适的定位技术，比如GPS或其他全球导航系统。例如，位置传感器系统62可以包括无线接收机(例如，GPS接收机或蜂窝接收机)，以接收从卫星和/或地面基站广播的无线信号。可以使用这些无线信号来识别HMD设备42的地理位置。
[0031]可以将从由HMD设备42接收到的无线信号中获得的定位信息与从运动传感器224获得的定位信息相组合，以提供对HMD设备42的位置和/或朝向的指示。尽管描述了位置传感器系统的特定示例，然而将意识到，可以使用其他合适的位置传感器系统。
[0032]还可以采用运动传感器224作为用户输入设备，以使得用户可以经由颈部和头部的姿势或者甚至身体的姿势与HMD设备42交互。运动传感器的非限制性示例包括加速度计、陀螺仪、罗盘仪和朝向传感器，它们可以按照其任何组合或子组合的形式被包括。
[0033]HMD设备42还可以包括麦克风系统64，所述麦克风系统64包括一个或多个麦克风220。在一些示例中，麦克风220的阵列可以接收来自用户的音频输入和/或来自用户周围物理环境的音频输入。附加地或替换地，可以使用与HMD设备42分离的一个或多个麦克风来接收音频输入。
[0034]在其他示例中，可以经由HMD设备42上的一个或多个扬声器228向用户呈现音频。这样的音频例如可以包括来自混合现实显示程序34、混合现实安全程序14或其他源的音乐、指令和/或其他讯息。
[0035]HMD设备42还可以包括生物测定数据传感器系统66，其利用一个或多个传感器230来接收和/或检测来自HMD设备的用户的一个或多个用户生物测定参数。用户生物测定参数可以包括与各种生理过程、功能、测量和/或状态相关的信息。生物测定数据传感器系统66的一个或多个传感器230例如可以包括用于测量心率的心率监视器、用于测量血红蛋白饱和度的脉搏血氧定量计传感器、用于监视皮肤电阻的皮肤电反应传感器以及用于监视脑电波活动的脑电图仪(EEG)监视器。用户生物测定参数可以包括例如心率、瞳孔反应、血红蛋白饱和度、皮肤电导率、呼吸、排汗和脑电波活动。在一些示例中，可以由HMD设备42的眼睛跟踪传感器系统54来检测用户的瞳孔反应。
[0036]在一些示例中，如在下文中更详细地说明的，可以将由上述传感器和系统中的一个或多个接收的信息作为用户动作数据68发送至混合现实安全程序14。混合现实安全程序14可以使用这样的用户动作数据68来确定当前用户动作和/或用户意图，所述当前用户动作和/或用户意图进而又可以被用来选择要被施加于全息对象44的显示的安全规则。
[0037]HMD设备42还可以包括具有逻辑子系统和存储子系统的处理器232，如以下相对于图5更详细地论述的，所述逻辑子系统和存储子系统与HMD设备的各种输入设备和输出设备通信。简要地说，存储子系统可以包括可由逻辑子系统执行的指令，例如用于接收来自传感器的输入并将其转发至计算设备22 (以未经处理或已处理的形式)，以及用于经由透明显示器50向用户呈现图像。
[0038]将意识到，以上描述的并且在图1和图2中图示的HMD设备42和相关传感器以及其他组件仅仅是作为示例被提供的。这些示例不打算以任何方式进行限制，因为可以利用任何其他合适的传感器、组件和/或传感器与组件的组合。因此应理解，在不脱离本公开内容的范围的情况下，HMD设备42可以包括附加的和/或备选的传感器、摄像机、麦克风、输入设备、输出设备等等。此外，在不脱离本公开内容的范围的情况下，HMD设备42及其各种传感器和子组件的物理配置可以采取各种各样的不同形式。
[0039]现在还参考图3，现在将提供对于混合现实调节系统10和HMD设备42的示例性使用情形和实施例的描述。图3是位于物理环境52中的第一用户304和第二用户308的示意图。在该示例中，物理环境52包括街道312和其他物理对象，比如在街道上行驶的汽车316,320以及标志324和328。第一用户304可以穿戴第一 HMD设备42，而第二用户308可以穿戴第二 HMD设备42’。第一 HMD设备42和第二 HMD设备42’可以均采用HMD设备200的形式。
[0040]如在下面讨论的各种使用情形中进一步描述的，并且再次参考图1，混合现实安全程序14可以被配置成经由上述传感器和系统中的一个或多个从物理环境52接收物理环境数据70。混合现实安全程序14还被配置成经由网络46从诸如服务器72之类的一个或多个源接收全息对象44。
[0041 ] 基于与全息对象44相关联的内容提供商ID 74，混合现实安全程序14可以被配置成向全息对象44指派信任等级。并且基于所指派的信任等级，混合现实安全程序14可以被配置成对全息对象44施加一组安全规则，这组安全规则提供了预定的显示限制等级。
[0042]如果信任等级小于信任等级阈值，则可以施加提供了保护性显示限制等级的第一组安全规则78。如果信任等级大于或等于信任等级阈值，则可以施加提供了许可性显示限制等级的第二组安全规则80，其中保护性显示限制等级大于许可性显示限制等级。然后可以根据所施加的那组安全规则经由显示系统48来显示全息对象44。
[0043]在一个示例中，并且现在参考图3，第二用户308可能想要与第一用户304玩交互式混合现实游戏。该游戏可包括舞剑大香蕉(large sword- wielding banana)332形式的全息对象，玩家要与该舞剑大香蕉332进行战斗。在线游戏服务可以经由网络46从服务器72向HMD设备42的计算设备22供给该全息香蕉332。全息香蕉332可以与内容提供商ID74相关联，所述内容提供商ID 74把该在线游戏服务标识为提供全息香蕉的源。
[0044]再次参考图1，混合现实安全程序14可以包括信任等级选择器程序76，所述信任等级选择器程序76分析内容提供商ID 74并基于内容提供商ID向全息香蕉332指派信任等级。在一个示例中，第一用户304与在线游戏服务之间可以具有信任关系，这种信任关系例如通过把在线游戏服务包括在“信任关系”列表中来指示，所述“信任关系”列表位于存储在计算设备22中的用户简档数据84内的用户偏好文件82中。
[0045]混合现实安全程序14可以被配置成将所指派的信任等级与信任等级阈值相比较以确定将多个安全规则中的什么安全规则施加于全息香蕉332的显示。在一个示例中，可以将信任等级阈值定义为在全息香蕉332的源与第一用户304之间是否存在信任关系。如果存在这样的信任关系，则信任等级大于或等于信任等级阈值。如果不存在这样的信任关系，则信任等级小于信任等级阈值。
[0046]换一种方式来表达，可以将信任等级阈值表达为具有数值I。如果存在信任关系，则指派给全息香蕉332的信任等级为I。如果不存在信任关系，则指派给全息香蕉的信任等级为O。在以上示例中，所指派的信任等级I大于或等于信任等级阈值I。在全息香蕉332的源与第一用户304之间不存在信任关系的另一示例中，指派的信任等级O小于信任等级阈值I。
[0047]在指派的信任等级小于信任等级阈值的示例中，混合现实安全程序14被配置成对全息香蕉332施加提供保护性显示限制等级的第一组安全规则78。第一组安全规则78可以包括与经由HMD设备42的显示系统48显示全息香蕉332的方式有关的一个或多个安全规则。在一个示例中，可以将由第一组安全规则78提供的“显示限制”限定为与全息香蕉332的显示有关的控件，所述控件限制了全息香蕉遮掩、冲击或以别的方式改变第一用户对通过HMD设备42观看到的物理环境52的感知的程度。
[0048]与第一组安全规则78相关联的保护性显示限制等级可以大于与以下更详细描述的第二组安全规则80相关联的许可性显示限制等级。换言之，保护性显示限制等级可以比许可性显示限制等级更大程度地限制全息香蕉332遮掩、冲击或以别的方式改变第一用户对物理环境52的感知的程度。
[0049]返回本示例，其中第一用户304与在线游戏服务之间具有信任关系，因此信任等级大于或等于信任等级阈值，混合现实安全程序14的显示模式生成器86可以被配置成根据第二组安全规则80经由HMD设备42的显示系统48显示全息香蕉332。如上所述，第二组安全规则80可以对全息香蕉提供许可性显示限制等级。按照这种方式，HMD设备42可以按下述方式来显示全息香蕉332，即:与第一组安全规则78关联的限制性显示限制等级所允许的相比，更大程度地改变第一用户对物理环境52的感知。
[0050]在一个示例中，这样的许可性显示限制等级可以包括:以显著的不透明度来显示全息香蕉332，使得全息香蕉可以遮掩或阻挡第一用户对物理环境52的物理对象或其他方面的观察。这样的许可性显示限制等级可以包括:以对第一用户304表现为高度逼真的方式来显示全息香蕉332，使得全息香蕉强烈地吸引第一用户304的注意力。
[0051]在其他示例中，这样的许可性显示限制等级可以包括:以相比于物理环境中的其他物理对象显著更大的尺寸和规模来显示全息香蕉332。这样的许可性显示限制等级还可以包括:以与想象的外观和/或行为相对应的方式显示全息对象，比如全息香蕉332挥舞着剑并且进行熟练的剑斗移动。将意识到，在本公开内容的范围之内，可以提供许可性显示限制等级的各种其他示例。
[0052]在另一示例中，第一用户304可以与在线游戏服务之间不具有信 任关系，因此信任等级小于信任等级阈值。相应地，混合现实安全程序14的显示模式生成器86可以被配置成根据第一组安全规则78经由HMD设备42的显示系统48显示全息香蕉332。如上所述，第一组安全规则78可以对全息香蕉332提供保护性显示限制等级。按照这种方式，HMD设备42可以按下述方式来显示全息香蕉332，即:与上面讨论的许可性显示限制等级所允许的相比，更小程度地改变第一用户对物理环境52的感知。
[0053]在一个示例中，这样的保护性显示限制等级可以包括:以显著的透明度来显示全息香蕉332，使得全息香蕉不遮掩或阻挡第一用户对物理环境52的物理对象或其他方面的观察。这样的保护性显示限制等级还可以包括:以对第一用户304表现为明显不真实的方式来显示全息对象，比如具有与众不同的全息指示标或显著透明，使得该全息对象可以被第一用户304快速地识别为全息对象。
[0054]在其他示例中，这样的保护性显示限制等级可以包括:以相比于物理环境中的其他物理对象更小的尺寸和规模来显示全息香蕉332，从而减小全息香蕉的视觉影响。这样的保护性显示限制等级还可以包括:以与正常外观和/或行为相对应的方式显示全息香蕉332，比如显示不具有例示的脸、手和腿的全息香蕉。在其他示例中，这样的保护性显示限制等级可以包括不显示全息香蕉332。将意识到，在本公开内容的范围之内，可以提供保护性显示限制等级的各种其他示例。
[0055]在另一示例中，全息对象44可以包括两个或更多个版本，每个版本体现了与用于全息对象的不同显示限制等级相对应的不同安全评级。例如，第一全息对象版本88可以包括保护性安全评级，而第二版本90可以包括与保护性安全评级不同的许可性安全评级。保护性安全评级可以对应于上述的保护性显示限制等级。同样地，许可性安全评级可以对应于上述的许可性显示限制等级。按照这种方式，并且取决于所指派的信任等级，混合现实安全程序14可以选择全息对象44的第一版本88或第二版本90，并且根据对应的显示限制来显示全息对象。
[0056]在以上示例中，使用了与两个显示限制等级相对应的两组安全规则。还将意识到，在本公开内容的范围之内，可以利用任何其他合适数目的安全规则组和对应的显示限制等级，比如3、4、5、6、10、100或其他数目。此外，在特定的显示限制等级内，可以利用不同显示限制的任何合适变形和/或组合。
[0057]还将意识到，在本公开内容的范围内，可以利用各种其他类型和量度的信任等级和相关信任等级阈值。例如，信任等级可以与在第一用户304和全息对象44的源之间的交互频繁度相关联。在一个示例中，第一用户304与源交互得越频繁，与该源相关联的信任等级就越高。在另一示例中，信任等级可以与将源表示为信任源的、被肯定地选择的用户偏好82相关联。在另一示例中，可以使用来自第一用户304的社交图表、第一用户304的联系人列表、电子邮件活动、消息传递活动和/或其他通信活动的输入来推断信任等级，其中假定第一用户对于这样的信息的使用已提供了适当的允许。
[0058]在另一示例中，内容提供商ID 74可以标识全息对象44的开发者或创作者，其可以是与分发全息对象44的人或实体相同的或不同的人或实体。例如，可以从服务器72经由网络46向HMD设备42的计算设备22供给全息对象44。全息对象44可以与将第二用户308标识为该对象的开发者的内容提供商ID 74相关联。然后，信任等级选择器程序76可以基于被标识为该对象的开发者的第二用户308而向全息对象44指派信任等级。
[0059]在其他示例中，可以使用一个或多个附加准则来选择和对全息对象施加一组提供预定的显示限制等级的安全规则。在一个示例中，还可以使用物理环境数据70来选择和施加一组安全规则。物理环境数据70可以包括但不限于一个或多个环境状况92、用户位置94以及一个或多个基于位置的限制96。所述一个或多个环境状况92可以包括但不限于日期、一天中的时间、天气状况、环境光等级以及环境噪声等级。
[0060]在一个示例中，第一用户304可以在5月I日至5月8日的假期中旅行。从5月I日至5月8日，第一用户304可能希望禁止显示从如下的源接收的全息对象，即所述源与小于按照I 一 5的标尺的信任等级阈值5的信任等级相关联。相应地，从5月I日至5月8日，混合现实安全程序14可以对与小于5的信任等级相关联的全息对象施加提供保护性显示限制等级的第一组安全规则78，其中保护性显示限制等级对应于不显示这样的全息对象。
[0061]在另一示例中，第二用户308可以典型地在每个工作日早上7:00 — 7:45骑自行车去上班。因此，在每个工作日早上7:00 - 7:45之间，混合现实安全程序14可以向全息对象施加一组安全规则，相比于在除了每个工作日早上7:00 - 7:45以外的时间期间向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0062]在另一示例中，并且再次参考图3，第一用户304可能在恶劣天气期间一一比如有风、闪电和大雨的雷雨期间一一身处户外。HMD设备42可以例如通过由面向外的传感器216捕获的图像信息来检测这样的天气。基于检测到这样的恶劣天气，混合现实安全程序14可以向全息对象施加一组安全规则，相比于在没有恶劣天气时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0063]在另一示例中，第一用户可能在夜间在环境光等级较低并且例如低于日光阈值时沿着街道312行走。HMD设备42可以例如通过由面向外的传感器216捕获的环境光信息来检测这样的环境光等级。基于在日光阈值以下的环境光等级，混合现实安全程序14可以向全息对象施加一组安全规则，相比于在环境光等级高于这样的阈值时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0064]在另一示例中，第一用户可能沿着繁忙的街道312行走，在该街道上，来自过往汽车316、320的噪声与其他环境噪声相结合造成了例如高于环境噪声阈值的环境噪声等级。HMD设备42可以例如通过由麦克风系统64捕获的音频信息来检测这样的环境噪声等级。基于在环境噪声阈值以上的环境噪声等级，混合现实安全程序14可以向全息对象施加一组安全规则，相比于在环境噪声等级在这样的阈值以上时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0065]如上所述，在一些示例中，物理环境数据70可以包括用户位置94。在一个示例中，并且参考图3，第二用户308可以正沿着街道312 —侧骑自行车。例如可以由HMD设备42’的位置传感器系统62来确定临近繁忙街道312的第二用户308的位置。基于靠近繁忙街道312的第二用户308的位置，混合现实安全程序14可以向全息对象施加一组安全规则，相比于当第二用户沿着海岸旁边的自行车道骑自行车时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0066]同样如上所述，物理环境数据70可以包括一个或多个基于位置的限制96。在一些示例中，一个或多个基于位置的限制96可以包括基于政府的限制和基于私有实体的限制。在一个示例中，第一用户304可以沿着政府军事基地的街道312行走。出于安全原因，政府可以对由在军事基地的边界内使用的HMD设备进行的全息对象的显示强加限制。计算设备22可以接收来自政府的显示限制。因此，当第一用户304在军事基地时，混合现实安全程序14可以对由HMD设备42显示的全息对象施加一组基于政府的限制，其添加了附加的显示限制。
[0067]在另一示例中，第一用户304可以进入银行来进行存款。出于安全原因，银行可以对由在银行内使用的HMD设备进行的全息对象的显示强加限制。计算设备22可以接收来自银行的显示限制。因此，当第一用户304在银行中时，混合现实安全程序14可以对由HMD设备42显示的全息对象施加一组基于银行的限制，其添加了附加的显示限制。
[0068]还将意识到，在其他示例中，可以使用各种物理环境数据70来选择并向全息对象施加一组安全规则，相比于基于这样的物理环境数据而施加的一组更具保护性的安全规则来说，这组安全规则提供了更具许可性的显示限制等级。此外，在一些示例中，可以使用物理环境数据70的两个或更多个不同实例来选择和施加一组安全规则。
[0069]在其他示例中，还可以使用用户动作数据68来选择和施加一组安全规则。用户动作数据68可以包括但不限于眼睛跟踪信息、麦克风信息、光学传感器信息、位置传感器信息和生物测定信息。使用用户动作数据68，混合现实安全程序14可以通过使用例如试探法、动作推断表和计划性规则中的一个或多个来确定当前用户动作。然后，混合现实安全程序14可以基于当前用户动作来选择和施加一组安全规则。
[0070]在一个示例中并且参考图3，第一用户304可以正在告示牌324处扫视街道312。混合现实安全程序14可以使用从HMD设备42的眼睛跟踪传感器系统54接收的眼睛跟踪信息来确定第一用户304正在盯着告示牌324。利用此眼睛跟踪信息以及与第一用户304的先前行为有关的试探法，混合现实安全程序14可以确定第一用户304的注意力目前基本集中在告示牌324上。因此，混合现实安全程序14可以向全息对象施加一组安全规则，相比于当第一用户的注意力并未基本集中在其他对象上时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。例如，混合现实安全程序14可以将全息香蕉332的显示定位从街道312的中心改变成沿着街道的一侧，如图所不O
[0071]在另一示例中，第一用户304可以正在与商业客户谈论重要商业问题。混合现实安全程序14可以使用从HMD设备42的麦克风系统64接收的音频信息来确定第一用户304参与到重要谈话中。利用动作推断表(其使用第一用户的谈话的一些方面来推断该用户参与到重要谈话中)，混合现实安全程序14可以确定第一用户304的注意力基本集中在他与商业客户的谈话上。因此，混合现实安全程序14可以向诸如全息香蕉332之类的全息对象施加一组安全规则，相比于当第一用户304没有参与到重要谈话中时向全息对象施加的一组更具许可性的安全规则来说，这组安全规则提供了更具保护性的显示限制等级。
[0072]在另一示例中，第二用户308可以正在沿着街道312骑自行车。混合现实安全程序14可以使用从HMD设备42的光学传感器系统58接收的图像数据来确定第二用户308正在骑自行车。 基于确定第二用户308正在骑自行车，混合现实安全程序14可以在用户骑自行车的时候施加计划性规则，所述计划性规则向诸如全息香蕉332之类的全息对象施加一组提供更具保护性的显示限制等级的安全规则。例如，这样的计划性规则可以不管指派给全息对象的信任等级如何都禁止显示该对象。
[0073]在另一示例中，第一用户304可以正朝着街道312行走并正在接近街道312。混合现实安全程序14可以使用从HMD设备42的位置传感器系统62接收的定位数据来确定第一用户304正在朝着街道312移动并正接近街道312。基于确定第一用户304正在朝着街道312移动并正接近街道312，混合现实安全程序14可以向诸如全息香蕉332之类的全息对象施加一组安全规则，这组安全规则提供了更具保护性的显示限制等级。这样的限制可以包括例如允许仅仅在位于街道312上方的用户视场中显示全息对象。
[0074]在另一示例中，第一用户304可以正在步行去进行工作面试。第一用户304可能对面试紧张并且可能正在经历相应的应激反应。混合现实安全程序14可以使用从HMD设备42的生物测定传感器系统66接收的生物测定信息(比如第一用户304的心率)来确定第一用户304正在经历应激反应。基于确定第一用户304正在经历应激反应，混合现实安全程序14可以向诸如全息香蕉332之类的全息对象施加一组安全规则，这组安全规则提供了更具保护性的显示限制等级。
[0075]还将意识到，各种其他类型的生物测定信息可以被生物测定传感器系统66检测到，并且被混合现实安全程序14使用来确定用户正在经历各种其他的生物反应。这样的其他类型的生物测定信息可以包括与各种生理过程、功能、测量和/或状态有关的信息。还可以使用这样的生物测定信息来选择和施加一组安全规则。
[0076]在其他示例中，混合现实安全程序14还可以利用用户动作数据68通过使用例如试探法、动作推断表和计划性规则中的一个或多个来确定用户意图。然后，混合现实安全程序14还可以基于所确定的用户意图来选择和施加一组安全规则。
[0077]在一个示例中，用户可以正在用户的家中玩混合现实追逐游戏。游戏牵涉到该用户和全息狗，二者都在追逐并尝试捉住全息松鼠。全息松鼠可以跑跳通过平板玻璃窗。来自位置传感器系统62的位置传感器信息可以显示该用户正在朝着平板玻璃窗移动。在给定该定位信息以及游戏的目标的情况下，混合现实安全程序14可以确定用户打算跟着全息松鼠穿过平板玻璃窗，用户可能看不见该平板玻璃窗。因此，混合现实安全程序14可以向全息松鼠施加一组安全规则，这组安全规则提供了更具保护性的显示限制等级，比如将全息松鼠改变成警告用户停止朝平板玻璃窗移动的紧急全息消息。
[0078]还将意识到，在其他示例中，混合现实安全程序可以利用一个或多个当前用户动作和一个或多个用户意图来选择和向全息对象施加提供显示限制的一组安全规则。
[0079]如以上示例性使用情况所例示的，混合现实调节系统10可以选择性地调整全息对象的显示，以便管理用户对于该对象的感知，包括:改变该对象的定位、该对象如何相对于物理环境中的物理对象来被感知以及该对象如何与其他全息对象交互。有利地，通过按照这种方式管理全息对象的显示以便调节混合现实环境，混合现实调节系统10可以提供更令人愉快且令人满意的混合现实体验。
[0080]图4A、4B和4C图示了根据本公开内容的实施例的显示全息对象以便对包括物理环境的混合现实环境进行调节的方法400的流程图。参考以上描述的并在图1至图3中示出的混合现实调节系统10的软件和硬件组件，提供了对方法400的以下描述。将意识到，还可以使用其他合适的硬件和软件组件在其他上下文中执行方法400。
[0081]参考图4A，在404，方法400包括提供HMD设备42，所述HMD设备42被配置成由用户穿戴并且可操作地连接到计算设备22。HMD设备42包括多个传感器以及用于呈现全息对象的显示系统48。在408，方法400包括从源接收全息对象44，全息对象44与内容提供商ID 74相关联。
[0082]如在416指示的，全息对象44可以包括具有保护性安全评级的第一全息对象版本。如在420指示的，全息对象44还可以包括具有许可性安全评级的第二全息对象版本。在424，方法400包括基于内容提供商ID 74向全息对象44指派信任等级。在428，方法400包括经由HMD设备42的传感器中的一个或多个从物理环境接收物理环境数据。
[0083]如在432指示的，物理环境数据可以包括一个或多个环境状况、用户位置以及一个或多个基于位置的限制。如在436指示的，一个或多个环境状况可以包括日期、一天中的时间、天气状况、环境光等级以及环境噪声等级。如在440指示的，一个或多个基于位置的限制可以包括基于政府的限制和基于私有实体的限制。
[0084]在444，方法400包括接收用户动作数据。如在448指示的，用户动作数据包括眼睛跟踪信息、麦克风信息、光学传感器信息、位置传感器信息和生物测定信息。在452，方法400包括基于用户动作数据来确定当前用户动作。在一个示例中，可以使用试探法、动作推断表和计划性规则中的一个或多个来确定当前用户动作。在456，方法400包括基于用户动作数据来确定用户意图。在一个示例中，可以使用试探法、动作推断表和计划性规则中的一个或多个来确定用户意图。
[0085]现在参考图4B，在460，方法400包括确定指派给全息对象的信任等级是否小于信任等级阈值T。如果指派给全息对象的信任等级小于信任等级阈值T，则在464，方法400包括向全息对象施加提供了保护性显示限制等级的第一组安全规则。
[0086]在468，方法400可以包括选择包括保护性安全评级的第一全息版本。在472，方法400可以包括基于物理环境数据来选择第一组安全规则。在476，方法400可以包括基于当前用户动作来选择第一组安全规则。在480，方法400可以包括基于用户意图来选择第一组安全规则。在484，方法400包括根据第一组安全规则经由HMD设备42来显示全息对象。然后方法400可以结束。
[0087]返回460，如果指派给全息对象的信任等级大于或等于信任等级阈值T，则在486(参见图4C)，方法400包括施加第二组安全规则，所述第二组安全规则对全息对象提供小于保护性显示限制等级的许可性显示限制等级。在488，方法400可以包括选择包含许可性安全评级的第二全息版本。在490，方法400可以包括基于物理环境数据来选择第二组安全规则。在492，方法400可以包括基于当前用户动作来选择第二组安全规则。在494，方法400可以包括基于用户意图来选择第二组安全规则。在496，方法400然后可以包括根据第二组安全规则经由HMD设备42来显示全息对象。之后方法400可以结束。
[0088]将意识到，方法400是作为示例被提供的，其不意味着限制。因此，要理解，方法400可以包括除了图4A、4B和4C所示的那些步骤之外的附加和/或备选步骤。此外，要理解，方法400可以按照任何合适的次序执行。另外，要理解，在不脱离本公开内容的范围的情况下，可以从方法400中省略一个或多个步骤。
[0089]图5示意性地示出了可以执行上述方法和过程中的一个或多个的计算系统500的非限制性实施例。计算设备22可以采取计算系统500的形式。以简化形式示出了计算系统500。要理解，事实上，在不脱离本公开内容的范围的情况下，可以使用任何计算机体系结构。在不同实施例中，计算系统500可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等形式。如上所述，在一些示例中，可以将计算系统500集成到HMD设备中。
[0090]如图5所示，计算系统500包括逻辑子系统504和存储子系统508。计算系统500可以可选地包括显示子系统512、通信子系统516、传感器子系统520、输入子系统522和/或图5中未示出的其他子系统和组件。计算系统500还可以包括计算机可读介质，所述计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统500还可以可选地包括其他用户输入设备，比如像键盘、鼠标、游戏控制器和/或触摸屏。此外，在一些实施例中，本文描述的方法和过程可以被实现为计算机应用、计算机服务、计算机AP1、计算机库和/或在包括一个或多个计算机的计算系统中的其他计算机程序产品。
[0091]逻辑子系统504可以包括被配置来执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统504可以被配置来执行一个或多个指令，所述一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分。这样的指令可以被实施来执行任务、实现数据类型、转变一个或多个设备的状态或者以别的方式达到所希望的结果。
[0092]逻辑子系统504可以包括被配置来执行软件指令的一个或多个处理器。附加地或备选地，逻辑子系统可以包括被配置来执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核或多核的，并且在其上执行的程序可以被配置成用于并行处理或分布式处理。逻辑子系统可以可选地包括分布在两个或更多个设备中的单独组件，所述单独组件可以位于远程和/或被配置成用于协同处理。逻辑子系统的一个或多个方面可以被虚拟化，并且可以由被配置在云计算配置中的远程可访问联网计算设备来执行。
[0093]存储子系统508可以包括被配置来持有数据和/或指令的一个或多个物理的永久性设备，其中所述数据和/或指令可由逻辑子系统504执行来实施本文所描述的方法和过程。在实施这样的方法和过程时，可以转变存储子系统508的状态(例如，以便持有不同的数据)。
[0094]存储子系统508可以包括可拆卸式介质和/或内置设备。存储子系统508尤其可以包括光学存储设备(例如，⑶、DVD、HD-DVD、蓝光盘等等)、半导体存储设备(例如，RAM、EPROM, EEPROM等等)和/或磁性存储设备(例如，硬盘驱动、软盘驱动、磁带驱动、MRAM等等)。存储子系统508可以包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址以及内容可寻址。
[0095]在一些实施例中，逻辑子系统504和存储子系统508的一些方面可以被集成到一个或多个公共设备中，通过所述一个或多个公共设备可以至少部分地制定本文在功能上所描述的那些。这样的硬件逻辑组件可以包括例如现场可 编程门阵列(FPGA)、特定于程序和应用的集成电路(PASIC/ASIC)、特定于程序和应用的标准产品(PSSP/ASSP)、单片系统(SOC)系统和复杂可编程逻辑器件(CPLD)。
[0096]图5还示出了具有可拆卸式计算机可读存储介质524形式的存储子系统508的一些方面，其可以用于存储可被执行来实施本文描述的方法和过程的数据和/或指令。可拆卸式计算机可读存储介质524尤其可以采取⑶、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
[0097]将意识到，存储子系统508包括一个或多个物理的永久性设备。与此相对比，在一些实施例中，本文描述的指令的一些方面可以通过纯信号(例如，电磁信号、光学信号等等)以瞬态方式传播，所述纯信号在至少有限的持续时间内不被物理设备持有。此外，属于本公开内容的数据和/或其他形式的信息可以通过纯信号经由计算机可读通信介质传播。
[0098]当包括显示子系统512时，显示子系统512可以被使用来呈现由存储子系统508持有的数据的视觉表示。在上述方法和过程改变由存储子系统508持有的数据，且从而转变存储子系统的状态时，显示子系统512的状态同样可以被转变成视觉地表示底层数据的变化。显示子系统512可以包括事实上利用任何类型的技术的一个或多个显示设备。可以将这样的显示设备与逻辑子系统504和/或存储子系统508组合在共用的封装中，或者这样的显不设备可以是外围显不设备。显不子系统512可以包括例如HMD设备42的显不系统48和透明显示器50。
[0099]当包括通信子系统516时，通信子系统516可以被配置成将计算系统500与一个或多个网络和/或一个或多个其他计算设备通信地耦合。通信子系统516可以包括与一个或多个不同通信协议可兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统516可以被配置成用于经由无线电话网络、无线局域网、有线局域网、无线广域网、有线广域网等等来通信。在一些实施例中，通信子系统可以允许计算系统500经由诸如互联网之类的网络向其他设备发送消息和/或从其他设备接收消息。
[0100]传感器子系统520可以包括一个或多个传感器，所述一个或多个传感器被配置来感测不同的物理现象(例如，可见光、红外光、声音、加速度、朝向、定位等等)和/或如上所述的生理过程、功能、测量和/或状态。例如，传感器子系统520可以包括一个或多个眼睛跟踪传感器、图像传感器、麦克风、诸如加速度计之类的运动传感器、罗盘仪、触摸板、触摸屏、心率监视器、脉搏血氧定量计、皮肤电反应传感器、脑电图仪(EEG)监视器和/或任何其他合适的传感器。
[0101]传感器子系统520例如可以被配置成向逻辑子系统504提供物理环境数据70和/或用户动作数据68。如上所述，这样的数据可以包括生物测定信息、眼睛跟踪信息、图像信息、音频信息、环境照明信息、深度信息、定位信息、运动信息、环境状况信息、用户位置信息、基于位置的限制信息和/或任何可以被用于执行上述方法和过程的其他合适的传感器数据。
[0102]在一些实施例中，传感器子系统520可以包括深度摄像机(例如，图2的面向外的传感器216)。深度摄像机例如可以包括立体视觉系统的左摄像机和右摄像机。来自这两个摄像机的时间分辨图像可以被彼此配准，并且被组合来生成深度分辨视频。在其他实施例中，深度摄像机可以是结构光深度摄像机或飞行时间摄像机，正如上面所述的。
[0103]在一些实施例中，传感器子系统520可以包括可见光摄像机，比如数字摄像机。事实上，在不脱离本公开内容的范围的情况下，可以使用任何类型的数字摄像机技术。作为非限制性示例，可见光摄像机可以包括电荷耦合器件图像传感器。
[0104]当包括输入子系统522时，输入子系统522可以包括一个或多个传感器或用户输入设备(比如游戏控制器、姿势输入检测设备、话音识别器、惯性测量单元、键盘、鼠标或触摸屏)或者与所述一个或多个传感器或用户输入设备对接。在一些实施例中，输入子系统522可以包括选定的自然用户输入(NUI)部件或是与选定的自然用户输入(NUI)部件对接。这样的元件部分可以是集成的或外围的，并且可以在板上或离板地操纵对输入动作的转换和/或处理。示例性ΝΠ元件部分可以包括:用于语音和/或话音识别的麦克风；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度摄像机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估脑部活动性的电场感测元件部分。
[0105]术语“程序”可以用于描述被实施来执行一个或多个具体功能的混合现实调节系统10的方面。在一些情况下，可以经由执行由存储子系统508持有的指令的逻辑子系统504来实例化这样的程序。应理解，不同的程序可以从相同的应用、服务、代码块、对象、库、例程、AP1、函数等等来实例化。同样地，相同的程序可以由不同的应用、服务、代码块、对象、例程、AP1、函数等等来实例化。术语“程序”打算涵盖单个的或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等等。
[0106]应理解，本文描述的配置和/或方法实质上是示范性的，并且这些特定的实施例或示例不被认为具有限制意义，因为许多变型是可能的。本文描述的特定例程或方法可以代表任何数目个处理策略中的一个或多个处理策略。这样，所图示的各种动作可以按照图示的顺序执行、按照其他顺序执行、并行地执行、或在某些情况下被省略。同样，上述过程的次序可以被改变。
[0107]本公开内容的主题包括本文所公开的各种过程、系统和配置、以及其他特征、功能、动作和/或属性的所有新颖的且非显而易见的组合和子组合，及其任何和所有的等同物。
【主权项】
1.一种用于显示全息对象以便对包括物理环境的混合现实环境进行调节的方法，包括: 提供头戴式显示设备，所述头戴式显示设备被配置成由用户穿戴并且可操作地连接到计算设备，所述头戴式显示设备包括多个传感器和显示系统； 经由传感器中的一个或多个从物理环境接收物理环境数据； 从源接收全息对象，所述全息对象与内容提供商ID相关联； 基于内容提供商ID向全息对象指派信任等级； 如果信任等级小于信任等级阈值，则: 对全息对象施加提供保护性显示限制等级的第一组安全规则；以及 根据第一组安全规则经由显示系统来显示全息对象； 如果信任等级大于或等于信任等级阈值，则: 对全息对象施加提供许可性显示限制等级的第二组安全规则；以及 根据第二组安全规则经由显示系统来显示全息对象； 其中，所述保护性显示限制等级大于所述许可性显示限制等级。2.根据权利要求1所述的方法，其中，施加第一组安全规则还包括基于物理环境数据来选择第一组安全规则，以及施加第二组安全规则还包括基于物理环境数据来选择第二组安全规则。3.根据权利要求1所述的方法，还包括: 接收用户动作数据，所述用户动作数据是从由眼睛跟踪信息、麦克风信息、光学传感器信息、位置传感器信息和生物测定信息构成的组中选择的；以及 使用试探法、动作推断表和计划性规则中的一个或多个基于用户动作数据来确定当前用户动作。4.根据权利要求3所述的方法，其中，施加第一组安全规则还包括基于当前用户动作来选择第一组安全规则，以及 施加第二组安全规则还包括基于当前用户动作来选择第二组安全规则。5.根据权利要求3所述的方法，还包括基于用户动作数据并且使用试探法、动作推断表和计划性规则中的一个或多个来确定用户意图，以及其中，施加第一组安全规则进一步包括还基于用户意图来选择第一组安全规则，并且施加第二组安全规则进一步包括还基于用户意图来选择第二组安全规则。6.根据权利要求1所述的方法，其中所述全息对象包括第一全息对象版本和第二全息对象版本，所述第一全息对象版本包括保护性安全评级，而所述第二全息对象版本包括与所述保护性安全评级不同的许可性安全评级。7.一种混合现实调节系统，包括: 头戴式显示设备，其被配置成由用户穿戴并且可操作地连接到计算设备，所述头戴式显示设备包括多个传感器和用于呈现全息对象的显示系统；以及 混合现实安全程序，其由计算设备的处理器执行，所述混合现实安全程序被配置成: 经由传感器中的一个或多个从物理环境接收物理环境数据； 从源接收全息对象，所述全息对象与内容提供商ID相关联； 基于内容提供商ID向全息对象指派信任等级； 如果信任等级小于信任等级阈值，则: 对全息对象施加提供保护性显示限制等级的第一组安全规则；以及 根据第一组安全规则经由显示系统来显示全息对象； 如果信任等级大于或等于信任等级阈值，则: 对全息对象施加提供许可性显示限制等级的第二组安全规则；以及 根据第二组安全规则经由显示系统来显示全息对象； 其中，所述保护性显示限制等级大于所述许可性显示限制等级。8.根据权利要求7所述的混合现实调节系统，其中，所述物理环境数据是从由一个或多个环境状况、用户位置以及一个或多个基于位置的限制构成的组中选择的。9.根据权利要求8所述的混合现实调节系统，其中，所述一个或多个环境状况是从由日期、一天中的时间、天气状况、环境光等级以及环境噪声等级构成的组中选择的。10.根据权利要求7所述的混合现实调节系统，其中，所述全息对象包括第一全息对象版本和第二全息对象版本，所述第一全息对象版本包括保护性安全评级，而所述第二全息对象版本包括与所述保护性安全评级不同的许可性安全评级，并且所述混合现实安全程序还被配置成: 基于信任等级选择第一全息对象版本；以及 基于信任等级选择第二全息对象版本。
【专利摘要】提供了一种混合现实调节系统和一些相关方法。在一个示例中，头戴式显示设备包括多个传感器和用于呈现全息对象的显示系统。混合现实安全程序被配置成从源接收全息对象和相关联的内容提供商ID。所述程序基于内容提供商ID向对象指派信任等级。如果信任等级小于阈值，则根据提供保护性显示限制等级的第一组安全规则来显示对象。如果信任等级大于或等于阈值，则根据提供许可性显示限制等级的第二组安全规则来显示对象，其中所述许可性显示限制等级小于所述保护性显示限制等级。
【IPC分类】G02B27/22, G06T19/00, G09G3/00
【公开号】CN104885144
【申请号】CN201480004506
【发明人】S.拉塔, P.T.金纳布鲁
【申请人】微软技术许可有限责任公司
【公开日】2015年9月2日
【申请日】2014年1月10日
【公告号】EP2943947A1, US20140192084, WO2014110302A1
最新回复(0)