头戴式显示器及其控制方法
头戴式显示器及其控制方法
【技术领域】
[0001]本发明涉及头戴式显示器(HMD)及其控制方法相关的系统，并且更具体地，涉及能够检测具有在其中存储的票的外部装置并且将与存储的票相关的增强现实信息显示在与携带外部装置的个人接近的地点(locat1n)中以便检查票的HMD及其控制方法。
【背景技术】
[0002]随着数字装置正变得更加轻重量和更加尺寸小巧，便携式装置的应用和使用范围正在增加。因此，用户可以使用他的(或她的)便携式装置，以便能够更容易地执行无论他(或她)希望在何时和何地想要的操作。例如，用户可以在没有任何时间和空间上的限制的情况下通过使用他的(或她的)便携式装置来使用票务(ticketing)服务。另外，由于可以通过在用户的便携式装置中安装的应用来发放所购买的票，因此用户不需要携带实际的西χΚ ο
[0003]然而，当用户力图通过使用他的(或她的)发放的票进入音乐厅或剧院时，用户需要向检票务代理(agent)(或票务代理)出示他的(或她的)票。因此，用户需要经历必须从他的(或她的)口袋或包中拿出他的(或她的)便携式装置并且向票务代理亲自地出示购买的数字票的不便。
【发明内容】
[0004]技术问题
[0005]因此，本公开涉及基本上消除由于相关技术的局限性和缺点导致的一个或更多个问题的HMD及其控制方法。
[0006]本公开的一个目的在于提供一种能够允许票务代理在不需要用户出示购买的票的情况下检查票的检票系统。
[0007]本公开的另一目的在于提供一种能够检测具有在其中存储的票的外部装置并且将与存储的票相关的增强现实信息显示在与携带外部装置的人接近的地点中的HMD及其控制方法。
[0008]本公开的又一目的在于提供一种基于与票相关的识别信息而不是基于地点或图像而产生的增强现实信息。
[0009]本发明的又一目的在于提供一种能够在人处在与HMD接近的位置时准确地识别携带存储票的便携式装置的人的HMD及其控制方法。
[0010]本公开的另外的优点、目的和特征将部分地在随后的描述中进行阐述并且部分地将对于本领域普通技术人员在查看以下内容时而变得显而易见，或者可以从本公开的实践而得知。可以通过在所撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得本公开的这些目的和其它优点。
[0011]问题的解决方案
[0012]为了实现这些目的和其它优点并且根据本公开的目的，如本文中实现并且广泛地描述的，一种HMD包括:相机单元，其被配置为拍摄(capture)所述HMD的周围区域的图像；显示单元，其被配置为显示与所拍摄的图像关联的增强现实信息；通信单元，其被配置为向外部装置发送数据以及从外部装置接收数据；传感器单元，其被配置为感测所述HMD的位置，并且将所感测的结果传送给处理器；以及所述处理器，其被配置为控制所述相机单元、所述显示单元、所述通信单元和所述传感器单元。本文中，所述处理器可以向外部装置请求票信息，可以根据所述请求从所述外部装置接收包括所述票信息的响应，可以获取与所述票信息关联的所述增强现实信息，可以检测所拍摄的图像中的、与所述外部装置相关的物体，并且可以将与所述票信息关联的所述增强现实信息显示在所检测的物体的周围区域上。
[0013]在本公开的另一方面，一种用于控制HMD的方法包括以下步骤:向外部装置请求票信息；根据所述请求从所述外部装置接收包括所述票信息的响应；获取与所述票信息关联的增强现实信息；拍摄所述HMD的周围区域的图像；检测所拍摄的图像中的、与所述外部装置相关的物体；以及将与所述票信息关联的所述增强现实信息显示在所检测的物体的周围区域上。
[0014]本发明的有益效果
[0015]根据本公开的实施方式，由于用户不需要取出在他的(或她的)外部装置中存储的票以向票务代理亲自出示所购买的票，因此用户能够具有他的(或她的)更方便地被检查的票。另外，根据本公开的另一实施方式，由于票务代理配备有HMD，因此票务代理能够通过参考增强现实信息来检查票，该增强现实信息在携带具有在其中存储的相应的票的便携式外部装置的人附近的位置处显示。
[0016]此外，根据本公开的又一实施方式，通过提供基于与购买的票关联的识别信息而产生的增强现实信息，只要能够验证票信息，就可以通过使用增强现实信息在任何地方执行检票程序。
[0017]最后，根据本公开的另外的实施方式，当人彼此靠近紧密地挤在一起时，由于根据本公开的HMD能够准确地识别真正携带具有在其中存储的购买的票的便携式外部装置的人，因此可以提高增强现实信息的清晰度(clarity)。
[0018]将在下文中描述更详细的有益效果。
[0019]将要理解的是，前述一般描述和以下详细描述二者是示例性和说明性的，并且旨在提供对所要求保护的本公开的进一步解释。
【附图说明】
[0020]附图被包括进来以提供本公开的进一步理解，并且被并入本申请且构成本申请的一部分，附图示出了本公开的实施方式，并且与本说明书一起用来解释本发明的原理。在附图中:
[0021]图1例示了根据本公开的示例性实施方式的头戴式显示器(HMD)的框图；
[0022]图2例示了根据本公开的示例性实施方式的向HMD和外部装置发送数据以及从HMD和外部装置接收数据的示例；
[0023]图3例示了根据本公开的示例性实施方式的使HMD检测外部装置的地点的示例；
[0024]图4例示了根据本公开的示例性实施方式的使HMD从所拍摄的图像检测与外部装置相关的物体的示例；
[0025]图5例示了根据本公开的示例性实施方式的使HMD根据所拍摄的图像识别物体的示例；
[0026]图6a至图6c分别例示了根据本公开的示例性实施方式的使HMD从所拍摄的图像提取物体并且确定识别区域的示例；
[0027]图7a至图7c分别例示了根据本公开的示例性实施方式的在基于识别区域在图6a至图6c中决定的与外部装置相关的物体的周围区域中显示增强现实信息的示例；
[0028]图8例示了根据本公开的示例性实施方式的与票的识别信息匹配的示例性增强现实信息；
[0029]图9例示了根据本公开的示例性实施方式的显示接收的认证信息的外部装置；
[0030]图10例示了根据本公开的另一示例性实施方式的显示接收的认证信息的外部装置；
[0031]图11例示了根据本公开的示例性实施方式的票务系统的结构的框图；
[0032]图12例示了根据本公开的示例性实施方式的由配置票务系统的元件处理的数据的流；以及
[0033]图13例示了根据本公开的示例性实施方式的示出用于控制HMD的方法的处理步骤的流程图。
【具体实施方式】
[0034]尽管在本公开中使用的术语是从通常已知和使用的术语中选择，然而在本文中使用的术语可以根据任何本领域技术人员的意图或实践或者随着新技术的出现而改变或修改。另选地，在一些特定情况下，在本公开的描述中提到的术语中的一些可能由本申请人根据他或她的判断来选择，其详细含义在本文中的说明书的相关部分中进行描述。此外，要求不能简单地通过所使用的实际术语而是通过每个术语中蕴含的含义来理解本公开。
[0035]此外，现在将详细地参考本公开的优选实施方式，在附图中例示了本公开的这些优选实施方式的示例。然而，本公开的描述将不仅限于本文中提供的示例性实施方式。
[0036]图1例示了根据本公开的示例性实施方式的头戴式显示器(HMD)的框图。然而，图1仅是示例性的。并且，因此，将显而易见的是，可以去除配置模块中的一些或者可以按照任何本领域技术人员的要求将新的配置模块添加到HMD中。
[0037]如图1中所示，根据本公开的实施方式的头戴式显示器(HMD) 100可以包括相机单元110、显示单元120、通信单元130、传感器单元140和处理器150。
[0038]首先，相机单元110可以拍摄HMD 100的周围的图像。例如，相机单元110可以拍摄在与穿戴HMD 100的用户的视野(eyesight)对应的预定区域(以下被称为“视角区域”)内的图像。此后，相机单元110可以将所拍摄的图像提供到处理器150。
[0039]另外，相机单元110可以包括立体相机。例如，相机单元110可以包括至少两个透镜，所述至少两个透镜被配置为彼此分隔开预定距离并且同时拍摄(film)相同的物体。本文中，所述至少两个透镜的聚焦调整、曝光调整和快门操作可以彼此互相联系。因此，在HMD100中，由相机单元110拍摄的图像可以包括立体图像(例如，三维(3D)图像)。
[0040]在这一点上，处理器150可以产生或存储包括在所拍摄的图像中的至少一个物体的深度信息作为对应图像的附加信息。此外，处理器150可以基于通过相机单元110而获取的图像来检测包括票信息的外部装置。在这一点上，处理器150可以使用深度信息。然而，这将在后面进行更详细的描述。
[0041]此外，相机单元110可以作为与传感器单元140分离的单元而包括在HMD 100中，这将在后面进行详细描述。然而，相机单元110也可以与传感器单元140集成，从而被包括在 HMD 100 中。
[0042]显示单元120可以将图像输出在显示屏幕上。在这一点上，显示单元120可以基于由处理器150执行的内容或者基于处理器150的控制命令来输出图像。
[0043]此外，当相机单元110包括立体相机时，显示单元120可以包括显示立体图像的结构，使得穿戴HMD 100的用户能够观看对应的立体图像。
[0044]此外，显示单元120可以显示与从相机单元110获取的图像相关的增强现实信息。增强现实信息可以从外部服务器接收，并且可以预先存储在HMD 100中。将参照图7在后面更详细地描述增强现实信息。
[0045]通信单元130可以通过使用各种协议来与外部装置进行通信，以便向外部装置发送数据以及从外部装置接收数据。另外，通信单元130可以经由有线或无线通信来接入网络，由此能够发送和接收数字数据(诸如票信息、增强现实信息等)。
[0046]因此，通信单元130可以向外部装置发送票信息以及从外部装置接收票信息，该外部装置对应于发放相应的票的便携式装置或服务器。
[0047]此外，传感器单元140可以使用在HMD 100中装备的至少一个传感器，以便感测HMD 100的周围环境并且将所感测的信息以信号的形式传送到处理器150。此外，传感器单元140可以感测用户输入，并且可以根据所感测的结果向处理器150传送输入信号。
[0048]因此，传感器单元140可以包括至少一个感测装置。根据本公开的实施方式，所述至少一个感测装置可以包括以下项中的至少一个:重力传感器、地磁(或地磁学)传感器、运动传感器、陀螺仪传感器、加速度传感器、红外线传感器、倾斜传感器、亮度传感器、高度传感器、气味传感器、温度传感器(或热传感器)、深度传感器、压力传感器、条带(banding)传感器、音频传感器、视频传感器、全球定位系统(GPS)传感器、触摸传感器等。
[0049]此外，当传感器单元140感测HMD 100的位置或方向时，处理器150可以检测HMD100的位置信息或方向信息。这将参照图3进行更加详细的描述。
[0050]此外，传感器单元140集总地表示上述各种传感装置。本文中，在感测到用户的各种输入之后并且通过感测HDM 100的环境，感测单元140可以传送可以传送所感测的结果，使得处理器150能够执行相应的操作 。
[0051]上述传感器可以作为单独的元件包括在HMD 100中，上述传感器可以被集成到至少一个元件，由此包括在HMD 100中。
[0052]此外，处理器150可以处理处理器150内的数据。另外，通过控制上述HMD 100的各个单元，处理器150可以控制这些单元之间的数据发送和接收。
[0053]此外，可以通过总线发送和接收单元之间的包括数据或控制信号的各种信号。
[0054]此外，虽然未在图1中示出，但是HMD 100可以配备有存储单元、音频输入/输出单元或电力单元。
[0055]存储单元(未示出)可以存储各种数字数据(诸如音频数据、静止图像、运动图片图像、应用等)。本文中，存储单元表示各种类型的数字数据存储空间(诸如闪速存储器、随机存取存储器(RAM)、固态驱动器(SSD)等)。
[0056]此外，存储单元可以暂时地存储从外部装置通过通信单元130接收的数据。在这一点上，存储单元可以被用来执行缓冲，以使得HMD 100能够输出从外部装置接收的数据。本文中，可以在HMD 100中可选地装备存储单元。
[0057]音频输出单元(未示出)可以包括音频输出装置(诸如扬声器、耳机等)。另外，音频输出单元可以基于由处理器150执行的内容或者基于接收处理器150的控制命令来输出音频(或声音)。在这一点上，音频输出单元可以选择性地装备在HMD 100中。
[0058]电力单元对应于连接到内部(或嵌入式)电池的电源或外部电力单元。本文中，电力单元可以将电力提供给HMD 100。
[0059]此外，当图1对应于根据本公开的实施方式的HMD 100的框图时，图1中示出的分别的块分别表示在逻辑上彼此区分的装置的元件。因此，根据装置的设计，上述装置的元件可以共同地安装(或装配)为单个芯片，或者可以分别地安装(或装配)为多个芯片。
[0060]图2例示了根据本公开的示例性实施方式的向HMD和外部装置发送数据以及从HMD和外部装置接收数据的示例。
[0061]HMD 100可以向外部装置请求票信息，以便使得穿戴HMD 100的用户能够检查(或验证)存储在该外部装置中的票信息。然而，在这一点上，因为难以识别具有在其中存储的被请求的票信息的外部装置，所以HMD 100可以通过使用广播方式来请求票信息。
[0062]因此，当HMD 100请求票信息时，HMD 100可以同时发送要检查(或验证)的票信息。例如，当票务代理力图在剧院、剧院或音乐厅中验证并检查票时，要验证的票信息可以包括以下信息中的至少一者:关于要检查的票的影院或音乐厅的信息、关于电影或演出的时间的信息、关于电影或演出的名称的信息、以及关于电影中的主要演员或者在演出中表演的表演者或演员的信息。
[0063]此外，当票务代理力图验证和检查用于登上飞机、公共汽车、火车等的登机票(boarding ticket)时，票信息可以包括以下项中的至少一个:飞机、公共汽车或火车的货运信息(例如，飞机的航班号、公共汽车编号、车次等)、出发时间、到达时间以及关于出发地和目的地的信息。
[0064]在这一点上，存储与所请求的票信息相关的票的外部装置可以根据从HMD 100发送的请求发送响应。另外，响应可以包括以下项中的至少一个的票信息:座位信息、登机信息和付款信息。
[0065]换句话说，广播方式对应于使一个发送方将数据发送到相同的子网络中的所有接收方的方式。因此，作为发送方，HMD 100可以向相同的子网络内的所有外部装置请求票信息。因此，如图2中所示，HMD 100可以通过使用广播方式将请求票信息发送到所有存在于相同的子网络中的外部装置210、220、230、240、250和260。
[0066]在接收所发送的针对票信息10a的请求的外部装置210、220、230、240、250和260当中，真正存储有所请求的票信息的外部装置230和260可以将包括所请求的票信息的响应200b发送给HMD 100。根据本公开的示例性实施方式的外部装置210、220、230、240、250和260可以各自包括能够由用户在处于移动状态下的同时携带并使用的便携式装置。
[0067]当仅通过座位信息(诸如剧院或音乐厅中的座位信息、火车或飞机上的座位信息)来区分戴着HMD 100的票务代理力图验证和检查的票，而不需要关于已经预订相应座位的个体的任何个人信息时，相应的票尤其有利和有用。在这种情况下，由于穿戴HMD 100的票务代理仅需要验证在相应的票上指示的座位信息或付款信息，因此可以在短的时间段内执行并完成检票程序。
[0068]此外，通过使根据本公开的示例性实施方式的HMD 100根据从外部装置接收到的票信息来显示增强现实信息(外部装置已经将包括所请求的票信息的响应发送到HMD100)，穿戴HMD 100的票务代理能够更容易且更方便地检查票。相应地，由于携带外部装置的用户不需要取出他的(或她的)外部装置以向穿戴HMD 100的票务代理出示存储在其中的票，因此用户还可以更方便地进入剧院、音乐厅或者飞机、火车等的检票门。
[0069]为了做到这一点，根据本公开的实施方式的HMD 100可以拍摄与穿戴HMD 100的票务代理的视角对应的图像。此后，HMD 100可以从所拍摄的图像检测与外部装置相关的物体。然后，HMD 100可以根据票信息显示相应的增强现实信息。
[0070]因此，在已响应于HMD 100的外部装置230和260当中，HMD 100需要检测存在于视角区域20(S卩，与穿戴HMD 100的票务代理的视角对应的区域)内并且可以由相机单元拍摄其图像的外部装置230。
[0071]因此，HMD 100可以获取已响应于HMD 100的外部装置230和260的位置信息。在这一点上，HMD 100可以根据全球定位系统(GPS)从相应的外部装置230和260接收位置信息。
[0072]然而，当GPS信号不能到达HMD 100时，或者当需要更精确和详细的位置信息时，HMD 100可以使用关于相应的外部装置230和260的无线LAN信号的信息以及关于HMD所在的地址的信息，以便获取相应的外部装置230和260的位置信息。
[0073]在使用GPS信号的情况下，缺点在于，当室内半径等于或大于500m或700m时，难以确定外部装置的精确位置。因此，当票务代理在室内检查票时，可以通过使用在室内被收集的无线LAN信号信息并且通过使用票务代理力图执行检票程序的地方的地址信息来获知每个外部装置的位置信息。换句话说，即使在GPS信号不能达到的地方，HMD 100也可以能够通过使用安装在室内的无线LAN信号中继器来找到外部装置230和260的唯一的接入地址(AP)。
[0074]如上所述，当HMD 100使用无线LAN信号信息以及与HMD 100所处的地方对应的地址信息时，由于HMD 100显示1m的差值范围内的准确度水平，因此这将对在室内检查票更有利和有用。此外，HMD 110可以使用外部装置230和260的位置信息，以便检测外部装置230和260是否位于视角区域20内。这将参照图3进行更详细的描述。
[0075]图3例示了根据本公开的示例性实施方式的使HMD检测外部装置的地点的示例。
[0076]根据本公开的HMD 300可以从所拍摄的图像检测与已响应于HMD 300的外部装置相关的物体，然后，HMD 300可以将与票信息关联的增强现实信息显示在所检测的物体的周围。为了做到这一点，HMD 300可以朝HMD 300的方向拍摄图像，使得穿戴HMD 30的票务代理能够在参考与票信息关联的增强现实信息之后检查票。
[0077]因此，HMD 300的方向R对应于HMD 300观看并且拍摄图像的方向。例如，HMD 300的方向可以对应于穿戴HMD 300的票务代理的观看方向并且面向前方(即，向前方向)。相应地，HMD 300可以基于外部装置的位置信息来产生相应的外部装置的方向信息Θ。相应的外部装置的方向信息Θ是指指示外部装置距离HMD 30的R方向多远的信息。本文中，相应的外部装置的方向信息Θ被用于确定外部装置是否位于HMD 300的视角区域30内。
[0078]HMD 300可以感测HMD 300的位置信息。因此，HMD 300可以使用HMD 300的位置信息、HMD 300的方向R信息和外部装置的位置信息，以便确定外部装置的方向信息Θ指示外部装置位于沿着HMD 300的方向R距离HMD 300多远(即，外部装置和HMD 300沿着方向R之间的距离)。
[0079]更具体地，HMD 300可以使用外部装置的方向信息Θ，以便从响应于HMD 300的外部装置230和260 (即，外部装置230和260)识别位于视角区域30内的外部装置230。
[0080]另外，当HMD 300检测到外部装置230存在于HMD 300的视角区域30内时，HMD300可以朝HMD 300的方向拍摄图像。因此，HMD 300可以从所拍摄的图像检测与外部装置230相关的物体，由此能够显示与票信息关联的增强现实信息。
[0081]如上所述，为了检测外部装置230和260是否位于HMD 300的视角区域30内，或者为了从朝HMD 300的R方向所拍摄的图像检测与外部装置相关的物体，HMD300可以提取位于HMD 300的视角区域30内的外部装置的位置信息，其中，所提取的位置信息对应于外部装置和HMD 300之间的相对位置信息。这将参照图4进行更详细的描述。
[0082]图4例示了根据本公开的示例性实施方式的使HMD从所拍摄的图像检测与外部装置相关的物体的示例。
[0083]首先，将假定HMD 400获取位于视角区域内的第一外部装置和第二外部装置的位置信息Pl和P2。基于所获取的第一外部装置和第二外部装置的位置信息Pl和P2，HMD 400可以提取以下项中的至少一个:外部装置相对于HMD 400的位置(或地点)的距离信息、方向信息和高度信息。
[0084]换句话说，HMD 400可以使用GPS信息、使用传感器(诸如陀螺仪传感器等)的重力信息，以便确定HMD 400的方向和HMD 400的当前位置信息。另选地，HMD400可以使用HMD 400的无线LAN信号信息以及检票事件将要发生的位置(或地点)的地址信息，以便通知HMD 400的位置信息。因此，HMD 400可以使用HMD 400的位置信息以及所获取的外部装置的绝对位置信息Pl和P2，由此能够提取第一外部装置和第二外部装置相对于HMD 400的相对位置信息。
[0085]例如，HMD 400可以提取HMD 400和第一外部装置之间的距离信息Rl以及沿着HMD 400的方向R与HMD 400分隔开的方向信息Θ I。另外，HMD 400可以提取HMD 400和第二外部装置之间的距离信息R2以及沿着HMD 400的方向R与HMD400分隔开的方向信息Θ2。此外，虽然没有在图4中示出，但是HMD 400还可以根据HMD 400、第一外部装置和第二外部装置之间的高度上的差来提取高度信息。
[0086]此外，HMD 400可以检测与所提取的外部装置的相对位置信息对应的主体(subject)，并且HMD 400还可以利用与所检测的主体对应的所拍摄的图像来检测物体。例如，所检测的物体可以对应于所拍摄的图像内的外部装置、人、手提包或手提袋等。
[0087]换句话说，HMD 400可以检测与外部装置的相对位置信息对应的主体。并且，然后，HMD 400可以检测与所检测的主体对应的所拍摄的图像内的物体。因此，HMD400能够确定与外 部装置相关的物体。因此，HMD 400可以提取主体的位置信息，并且可以将所述主体与所拍摄的图像的物体匹配。这将在后面进行更详细的描述。
[0088]首先，当HMD 400通过使用红外光射线、超声波等来确定距离时，由于红外光射线、超声波等的方向对应于特定主体的方向，因此HMD 400也能够确定特定主体的方向。此夕卜，当需要时，HMD 400可以设置基准方向，然后，HMD 400可以使用HMD 400的方向位移信息(或方向变化信息)，以便获取特定主体的方向。
[0089]随后，HMD 400可以获取所拍摄的图像作为立体图像。在这一点上，HMD 400可以提取在立体图像中包括的至少一个物体的深度信息。此外，HMD 400还可以使用所获取的深度信息，以便确定在立体图像中包括的物体之间的相对距离。
[0090]因此，HMD 400可以使用HMD 400和特定主体之间的距离(其通过使用红外光射线、超声波等而获取)以及在立体图像中包括的物体之间的相对距离(例如，深度信息)，以便获取HMD 400和图像中的所拍摄的所有主体之间的距离。
[0091]例如，HMD 400可以设置HMD 400和第一物体之间的距离作为基本距离。还可以使用除了使用红外光射线、超声波等的上述方法以外的各种方法作为用于获取基本距离的方法。HMD 400可以使用与第一主体对应的第一物体410的深度信息和与第二主体对应的第二物体420的深度信息之间的差异以及基本距离，以便获取HMD 400和第二主体之间的距离。
[0092]如上所述，HMD 400能够确定主体相对于HMD 400的位置的相对位置信息。因此，通过将主体的位置信息和外部装置的HMD的位置信息进行比较，HMD 400可以检测与外部装置的相对位置信息对应的主体。此后，HMD 400可以检测与所检测的主体对应的物体作为与外部装置相关的物体。在这一点上，当主体的位置信息被包括在预定范围内时，针对外部装置的位置信息，HMD 400可以确定主体的位置信息与外部装置的位置信息相同。
[0093]如图4中所示，第一主体是指与第一外部装置的相对位置信息对应的主体，并且第二主体是指与第二外部装置的相对位置信息对应的主体。因此，HMD 400可以使用外部装置的相对位置信息、HMD 400和主体之间的距离以及物体的深度信息，以便检测与第一外部物体相关的物体410和与第二外部物体相关的物体420。
[0094]总之，HMD 400可以设置HMD 400和特定主体之间的距离作为基本距离，然后，HMD400可以根据物体的深度信息来获取HMD 400和剩余的物体之间的距离。另外，当HMD 400检测与外部装置的相对位置信息对应的主体时，HMD 400可以决定与主体对应的物体作为与外部装置相关的物体。
[0095]更具体地，HMD 400可以使用外部装置的相对位置信息(S卩，距离信息、方向信息和高度信息)中的至少一个以及在所拍摄的图像中包括的物体中的至少一个的深度信息，以便与外部装置相关的物体匹配。
[0096]此外，除了上述方法以外，HMD还可以使用用于将外部装置的位置与在所拍摄的图像中包括的物体匹配的各种方法。
[0097]本文中，所拍摄的图像可以包括各种主体(诸如建筑物、人、物体等)。然而，为了有效地提取与外部装置相关的物体，HMD可以集中提取与人相关的物体，以便执行所提取的物体作为与外部装置相关的物体的匹配。因此，为了集中提取与人相关的物体，HMD可以事先地存储与人相关的物体图像的样本。此外，通过使用用于使用预先存储的样本来处理图像的方法，HMD能够从所拍摄的图像提取与人相关的物体。
[0098]在下文中，将详细地描述根据本公开的示例性实施方式的由HMD使用的、用于根据所拍摄的图像识别物体的方法。
[0099]首先，图5例示了根据本公开的示例性实施方式的使HMD根据所拍摄的图像识别物体的示例。
[0100]根据本公开的示例性实施方式，HMD可以拍摄图像，如图5的(a)中所示，并且HMD可以提取所拍摄的图像的边界线，如图5的(b)中所示。此后，HMD可以基于来自所提取的边界线的环形曲线(或封闭曲线)来识别物体。
[0101]另外，HDM可以将所拍摄的图像的格式转换为灰色模式。然后，HDM可以在经转换的图像上使用各种算法(诸如索贝尔(Sobel)掩码、罗伯茨(Roberts)掩码等)，以便提取边界线，如图5的(b)中所示。此外，HMD可以根据所提取的边界线识别物体。
[0102]HDM还可以通过使用其它方法来从拍摄的图像识别物体。例如，HMD可以使用形态基础(诸如接近性、相似性、连续性等)，以便对在所拍摄的图像中包括的物体进行分组。更具体地，通过使用感知方法和图像的观看层内的向下反馈，HMD可以将多种异类视觉形式实现为单个视觉形式。
[0103]如上所述，将物体进行分组的优点可能在于，当HDM检测拿着手提包的人时，虽然人和手提包是单独的物体，但是由于人和手提包彼此相关，因此这两个物体可以是共同地识别为单个物体。因此，HMD可以容易地设置要显示增强现实信息的位置。
[0104]然而，当携带具有在其中存储的票的外部装置的人在与另一个人手牵手或者挽着另一个人的手臂的同时进入音乐厅、剧院、登机口等时，HMD可能难以将与票信息相关的增强现实信息准确地显示在真正携带该外部装置的人的周围。此外，当手提包放置有具有在其中存储的票的外部装置时，HMD可能难以将相应的增强现实信息准确地显示在携带该外部装置的人的周围。
[0105]因此，根据本公开的示例性实施方式的HMD可以使用外部装置的相对位置信息(例如，HMD和外部装置之间的距离信息、方向信息和高度信息中的至少一个)，以便产生与所拍摄的图像内的外部装置的位置对应的识别区域。此外，HMD可以使用所提取的边界线，以便包括所产生的识别区域或者以检测与识别区域相邻的物体，由此能够决定与要显示的增强现实信息对应的物体。因此，通过将与票信息相关的增强现实信息显示在真实背景内的携带外部装置的人的周围，HMD可以使得穿戴HMD的票务代理能够容易地检查票。
[0106]这将在下文参照图6和图7进行详细描述。
[0107]图6a至图6c分别例示了根据本公开的示例性实施方式的使HMD从所拍摄的图像提取物体并且确定识别区域的示例。并且，图7a至图7c分别例示了基于本公开的示例性实施方式的识别区域将增强现实信息显示在与在图6a至图6c决定的外部装置相关的物体的周围区域中的示例。
[0108]HMD事先存储(或预先存储)人的边界线，然后，使用从所拍摄的图像提取的边界线，以便提取与人对应的物体。因此，如图6a中所示，HMD可以从所拍摄的图像提取边界线，以便提取与人对应的物体610和620。
[0109]此外，HDM可以通过使用红外光射线或超声波来确定HMD和主体之间的距离。并且，通过使用用于配置从相机单元获取的立体图像或3D图像的左图像和右图像，HMD能够提取在相应的图像中包括的物体的深度信息。
[0110]因此，HMD可以使用外部装置的相对位置信息，以便检测所拍摄的图像内的外部装置的位置，由此确定(或设置)识别区域611。
[0111]在这一点上，为了将与票相关的增强现实信息显示在更准确的位置上，如图中6a所示，HMD可以将包括识别区域611的物体610决定为与外部装置相关的物体。
[0112]如上所述，HMD可以HMD可以基于来自所提取的边界线的环形曲线(或封闭曲线)来识别物体。在这一点上，通过使用从人的各种边界线提取环形曲线的样本，HMD能够针对环形曲线从各种物体识别与人相关的物体。
[0113]因此，如图7a中所示，一旦HMD决定了与外部装置相关的物体，HMD就可以将与票信息相关的增强现实信息711显示在与外部装置相关的物体710的区域周围区域上。因此，票务代理一看到物体，票务代理就可以容易地检查票。由于穿戴HMD的票务代理能够顺着票务代理的实际视角朝物体确实看到与票信息关联的增强现实信息。
[0114]更具体地，根据本公开的示例性实施方式，HMD可以依据外部装置的移动来改变(或重新定位)显示增强现实信息的位置。因此，根据本公开的示例性实施方式的HMD的优点在于，即使当外部装置移动(或重新定位)，HMD也能够将与票信息相关的增强现实信息显示在准确位置上。
[0115]图6a例不了用户用手拿着外部装置的不例性情况。相反地，图6b例不了用户正将外部装置携带在她的手提包(或手提袋)中的示例性情况。在这种情况下，根据图6b中所示的实施方式，HMD检测携带外部装置的用户作为与该外部装置相关的物体。
[0116]如图6b中所示，HMD可以从所拍摄的图像提取边界线，然后可以提取与人对应的物体630和640。另外，通过使用外部装置的相对位置信息，HMD可以检测所拍摄的图像内的外部装置的位置，从而确定识别区域631。
[0117]为了做到这一点，假定HMD知道HMD和与在所拍摄的图像中包括的物体对应的实际主体之间的距离，并且还知道所拍摄的图像内的物体的深度信息。因此，HMD可以使用外部装置的相对位置信息，以便确定识别区域631。在这一点上，当不存在与包括识别区域631的人相关的物体时，可以将与识别区域631最接近的物体630检测为与外部装置相关的物体。
[0118]因此，一旦HMD决定了与外部装置相关的物体，如图7b中所示，HMD就可以将与票信息关联的增强现实信息721显示在与外部装置相关的物体720的周围区域上。
[0119]如上所述，即使携带票的用户不取出他的(或她的)具有在其中存储的相应的票的外部装置以使得票务代理能够检查他的(或她的)票，穿戴HMD的票务代理也能够通过使用相应的增强现实信息来验证相应的票。因此，优点在于，用户能够在不必从他的(或她的)口袋取出外部装置的情况下使他的(或她的)票被验证和检查，并且在没有任何不便的情况下进入音乐厅、剧院或登机口。
[0120]然而，在一些特定情况下，诸如当携带票的用户正握住另一个用户的手臂或手时，两个或更多个用户可以作为单个主体移动。在这种情况下，可能难以在沿着相同的方向移动的用户的群当中识别出真正携带票的用户。然而，根据本公开的示例性实施方式的HMD可以准确地检测出携带票的特定用户，然后可以显示与票信息关联的增强现实信息。
[0121]如图6c中所示，当携带外部装置的人随着具有另一个人的紧密拥挤的群到处移动时，根据本公开的实施方式的HMD可以从所拍摄的图像提取边缘，然后可以提取与人对应的物体650和660。
[0122]另外，通过使用外部装置的相对位置信息，HMD可以检测所拍摄的图像内的外部装置的位置，由此确定所检测的位置作为识别区域661。另外，通过使用外部装置的无线LAN信号以获取精确的位置信息，HMD能够更准确地确定多个相邻的物体当中的哪个特定物体包括识别区域661或者最接近于识别区域661。
[0123]更具体地，如图6c中所示，当存在包括识别区域661的物体660和邻近于识别661的物体650 二者时，相比邻近于识别区域661的物体650，HMD可以优先将包括识别区域661的物体660决定为与外部装置相关的物体。
[0124]因此，当HMD检测与外部装置相关的物体时，如图7c中所示，HMD可以将与票信息关联的增强现实信息731显示在与外部装置相关的物体730的周围区域中。
[0125]换句话说，如图6c中所示，当用户在他的口袋中携带他的外部装置并且随着具有另一个人的拥挤的群进入音乐厅、剧院或登机口时，根据本公开的示例性实施方式的HMD可以准 确地检测出真正携带票的人，然后可以显示与票信息关联的增强现实信息。
[0126]此外，根据本公开的示例性实施方式可以从已发放相应的票的服务器获取与票信息关联的增强现实信息。增强现实信息包括关于由相应的用户购买的票的详细信息。本文中，HMD可以接收详细的信息，并且可以在真实背景上，并且更具体地，在已购买相应的票的用户的周围区域上显示所接收的详细信息。因此，穿戴HMD的用户可以使用增强现实信息，以便验证和检查相应的票。
[0127]与票信息关联的增强现实信息可以包括票信息或相应的票的购买历史记录。此夕卜，票信息可以包括有效时间信息、地点信息、用于将该票与由其它用户携带的票进行区分的识别?目息。
[0128]图8例示了根据本公开的示例性实施方式的与票的识别信息匹配的示例性增强现实信息。如图8中所示，根据本公开的增强现实信息820可以与票信息识别信息810匹配。票信息的识别信息810是为了将该票与其它票进行区分，诸如已发放的票的ID、条形码等。
[0129]当用户通过使用HMD中包括的相机单元来对准(或瞄准)特定街道或建筑物时，通过GPS接收器获取的当前位置信息可以被暂时地存储在HMD中。HMD可以通过互联网将该位置信息发送到位置信息系统。因此，位置信息系统可以通过数据库搜索与所发送的位置信息关联的详细信息。此后，位置信息系统可以将所搜索的结果作为增强现实信息的形式发送到HMD。在接收到所发送的搜索结果之后，HMD将与所接收的信息与当前地图信息进行匹配，并且可以通过实时显示屏幕来显示结果。
[0130]然而，如上所述，除了位置或图像以外，还基于相应的票的识别信息来显示根据本公开的实施方式的增强现实信息。因此，根据本公开的实施方式的增强现实信息不仅显示在特定位置处。相反，当具有在其中存储的相应的票信息的外部装置移动时，也可以改变显示与票信息关联的增强现实信息的位置。
[0131]更具体地，在电影票的情况下，在剧院中检查发放的票。本文中，即使在剧院的营业场所内(即，在室内)执行检票处理，如果不存在具有向其发放的相应的票的外部装置，则可能没有与相应的票关联的增强现实信息显示到HMD。此后，当检测到外部装置在剧院内时，然后可以将与票信息关联的增强现实信息显示到HMD。
[0132]此外，当HMD未被指派有权力以检查和验证相应的票时，即使检测到相应的外部装置存在于剧院中，也不向HMD显示相应的票信息。更具体地，这是因为HMD需要向外部装置请求信息，并且还因为只有在接收到对所发送的请求的响应之后才能够显示与票信息关联的增强现实信息。
[0133]此外，当HMD显示与票信息关联的增强现实信息时，穿戴HMD的票务代理可以验证相应的票是否是有效的票。当确定票实际上有效时，HMD可以将认证信息发送到外部装置。
[0134]因此，当HMD接收到预定用户的输入时，HMD可以将相应的票确定为有效的票，然后HMD可以将认证信息发送到外部装置。另选地，当HMD检测集中在显示的增强现实信息的用户的视野时，HMD可以将认证信息发送到外部装置。另选地，当HMD接收预定用户的输入时，或者当HMD检测用户的视野时，HMD可以将从外部装置接收的票信息发送到已发放相应的票的服务器，然后，服务器可以验证相应票的有效性。
[0135]根据本公开的示例性实施方式，在用户在他的(或她的)口袋或手提包(或手提袋)中携带具有在其中存储的相应的票信息的外部装置的同时，用户可以方便地使他的(或她的)发放的票被检查并验证。然而，当用户登上飞机、火车或公共汽车时，或者当用户进入音乐厅或剧院时，用户可能希望验证对他的(或她的)票是否已经被正确地验证并检查。因此，通过发送认证信息，HMD可以使得已购买相应的票的用户能够在他(或她)希望时核实他的(或她的)票是否已经被正确地验证并检查。
[0136]图9例示了根据本公开的示例性实施方式的显示接收的认证信息的外部装置。通过将指示相应的票有效以及检票处理完成的消息910以SMS的形式发送到外部装置900，可以提尚用户的便利性。
[0137]图10例示了根据本公开的另一示例性实施方式的显示接收的认证信息的外部装置。根据本公开的实施方式，已购买票的用户可以使票务代理在不必取出他的(或她的)具有在其中存储的购买的票的外部装置的情况下检查他的(或她的)票。然后，在已验证并检查票时，用户可以进入音乐厅、剧院或登机口。因此，如以上参照图9描述的，当将认证信息直接发送到外部装置时，对他的(或她的)票的检查状态好奇的用户可能最后会经历必须取出他的(或她的)外部装置以便核实发送的认证信息的不便。因此，HMD可以将认证信息1000显示在安装在检票处理正在发生的地点(诸如戏剧的入口、登机口等)附近的显示装置上。因此，用户可以核实他的(或她的)票已经在不必取出他的(或她的)外部装置的情况下通过安装在入口处的显示装置而安全地且正确地验证并检查。
[0138]另外，如图10中所示，在所显示的认证信息中不包括用户的个人信息。因此，仅真正携带相应的票的用户能够核实他的(或她的)票已被检查。如上所述，本公开的优点在于，用户能够在不必担心他的(或她的)个人信息的任何曝光的情况下仅核实他的(或她的)票的批准。
[0139]此外，上面已经根据本公开的示例性实施方式描述了这样的示例:在该示例中，穿戴HMD的票务代理检测具有在其中存储的票信息的外部装置，并且HMD显示与票信息相关的增强现实信息，使得票务代理能够验证并检查相应的票。然而，HMD可以与发放的票服务器和从服务器接收已发放的票的外部装置连接，以便配置系统。因此，要由HMD执行的在上面已描述的功能可以与相应系统的其它元件协作来执行。这将在下文参照图11和图12进行详细描述。
[0140]图11例示了根据本公开的示例性实施方式的票务系统的结构的框图。
[0141]如图11中所示，票务系统可以包括被配置为发放票的服务器1110、被配置为存储已发放的票的外部装置1130、以及被配置为验证并检查已发放的票的HMD 1120。此外，月艮务器1110、HMD 1120和外部装置1130可以通过无线网络和/或有线网络来彼此发送和接收数据。
[0142]此外，在票务系统中可以存在存储已发放的票的多个外部装置1130以及验证并检查已发放的票的多个HMD 1120。因此，检查并验证的票的地方可以对应于多个地方，并且多个HMD可以在特定地方检查存储在多个外部装置中的票。在下文中，将参照图12来详细地描述由配置票务系统的元件处理的数据的流。
[0143]图12例示了根据本公开的示例性实施方式的由配置票务系统的元件处理的数据的流。
[0144]当服务器1110从外部装置1130接收针对发放票的请求(S1200)时，服务器1110可以发放票(S1210)。此外，在发放票时，服务器1110可以将相应的票信息发送到外部装置1130(S1220)。因此，外部装置1130可以使用接收的票信息，以便使票务代理检查票。
[0145]此外，票将不仅限于特定类型的票。并且，因此，能够保证用户享受特定权限的权利的任何类型的票(诸如用于登上交通工具的票、或用于进入特定地方(诸如剧院)的票)可以通过本公开来验证并检查。服务器1110存储关于已发放的票的信息，使得票务代理能够在必要时验证并检查存储的票。本文中，票信息可以包括有效时间信息、地点信息和识别信息，使得相应的票能够与其它票区分。并且，识别信息可以包括被唯一地指派给每张票的票ID或条码号。
[0146]此外，服务器1110可以与增强现实(AR)信息一起存储票信息，该AR信息与相应的票的识别信息匹配。增强现实信息对应于从票务代理穿戴(或装备)的HMD1120显示的信息。本文中，增强现实信息可以包括票信息或购票历史。
[0147]除了基于位置和图像显示的特性以外，可以基于数据(诸如票的识别信息)显示根据本公开的增强现实信息。更具体地，替代按照特定位置和特定图像进行显示，可以在当请求或验证票的识别信息时的时间点显示增强现实信息。因此，显示增强现实信息的时间以及显示增强现实信息的位置(或地点)可以根据请求票的识别信息的时间和地点而改变。
[0148]此外，票务代理可以穿戴HMD 1120，以便通过使用与通过HMD 1120显示的票信息关联的增强现实信息来执行检票任务。因此，HMD 1120可以向定位在其周围的至少一个外部装置1120请求关于要检查的票的信息(S1230)。在这一点上，如以上参照图2描述的，HMD 1120可以通过使用广播方式来请求票信息。
[0149]在接收到针对票信息的请求之后，外部装置1130可以将请求的票信息发送到HMD1120(S1240)o因此，在接收到针对票信息的请求之后，外部装置1130可以将所请求的票信息发送给HMD 1120。随后，仅具有权限检查相应的票的HMD 1120可以从外部装置接收已发送的票信息1130。所以，票信息不会不必要地发送到另一不相关的HMD或另一不相关的装置。
[0150]此外，HMD 1120可以向服务器1110请求与从外部装置1130接收的票信息关联的增强现实信息(S1250)。显然，HMD 1120可以根据其设置或配置方法存储与票信息关联的增强现实信息。然而，当HMD 1120在每次需要相应的信息时向服务器1110发送请求时，可以有效地使用HMD 1120的系统资源。在这一点上，发放票的服务器可以与存储与票信息关联的增强现实信息的服务器不同。
[0151]基于从HMD 1120接收的票信息，服务器1110可以搜索票信息的识别信息，并且可以将与搜索到的识别信息匹配的增强现实信息发送到HMD 1120(S1260)。
[0152]此外，为了确定要显示从服务器1110接收的增强现实信息的位置，当HMD 1120向外部装置1130请求位置信息(S1270)时，外部装置1130可以通过使用GPS信号、无线LAN信号等将位置信息发送到HMD 1120 (S1280)。在检票处理在室内执行的情况下，如果在难以接收任何GPS信号的地方执行检票处理，则可以通过使用定位无线LAN信号和HMD1120的位置的地址信息来减小外部装置1130的位置差。
[0153]此外，HMD 1120可以在不向外部装置1130请求各自的位置信息的情况下获取外部装置1130的位置信息。例如，如果具有在其中安装的票务应用的外部装置1130进入HMD1120检查票的区域时，可以通过安装的票务应用将外部装置1130的位置信息自动地发送到 HMD 1120ο
[0154]此外，如以上参照图4至图6描述的，当HMD 1120获取外部装置1130的位置信息时，HMD 1120可以拍摄图像，并且HMD 1120可以检测在所拍摄的图像中包括的外部装置相关的物体(S1290)。
[0155]在这一点上，基于外部装置1130的位置信息，当确定外部装置1130位于HMD1120的视角区域内时，HMD 1120可以拍摄图像。此外，HMD 1120可以拍摄图像，并且将关于所拍摄的图像的位置和方向的信息与外部装置1130的位置信息进行比较，以便确定外部装置1130是否位于HMD 1120的视角区域内。为了做到这一点，HMD 1120可以使用从外部装置1130接收到的外部装置1130的绝对位置信息，以便提取包括外部装置相对于HMD 400的位置(或地点)的距离信息、方向信息和高度信息中的至少一个的相对位置信息。
[0156]此外，如以上参照图6描述的，HMD 1120可以将所拍摄的图像转换为灰色格式，并且可以从经转换的图像中提取边界线，以便基于所提取的边界线识别物体。更具体地，HMD 1120可以参照所提取的边界线中的弯曲环来识别目标，然后，HMD 1120可以提取与人的形状相关的物体。此外，HMD可以产生与所拍摄的图像内的外部装置的相对位置信息对应的识别区域，以便检测包括识别区域的物体或者以便检测与识别区域相邻的物体，由此将所检测的物体决定为与外部装置1130相关的物体。基于设置，相比与识别区域相邻的物体，HMD可以优先将包括识别区域的物体决定为与外部装置相关的物体。
[0157]此外，HMD 1120可以将与票信息关联的增强现实信息显示在所检测的物体的周围区域上(S1300)。因此，穿戴(或配备有)HMD 1120的票务代理可以通过参考所显示的增强现实?目息来执行检票任务。
[0158]当需要时，当HMD 1120检测到票务代理完成检票处理时，HMD 1120可以将认证信息发送到外部装置1130，或者HMD 1120可以将认证信息显示到另一相邻的显示装置。此夕卜，当HMD 1120将票信息发送到服务器以请求增强现实信息时，HMDl 120还可以发送请求以确定票的有效性。换句话说，HMD 1120可以仅显示与票信息关联的增强现实信息，并且可以由服务器1110执行检票处理。然后，HMD 1120可以仅接收检票处理的结果。因此，基于从服务器1110接收的检票结果，穿戴HMD 1120的用户能够检测未携带(或存储)所购买的票的外部装置或者携带无效的票的外部装置。
[0159]图13例示了根据本公开的示例性实施方式的示出用于控制HMD的方法的处理步骤的流程图。如上所述，即使描述了 HMD执行特定功能，也可以与在票务系统中包括的另外的元件协作地执行该特定功能。
[0160]首先，如以上参照图2描述的，HDM可以向至少一个外部装置请求关于要检查的票的信息(S1310)。HMD可以通过使用广播方式来请求票信息。
[0161]在接收针对票信息的请求的至少一个外部装置当中，包括所请求的票信息的外部装置可以对HMD的请求作出响应。在这一点上，外部装置可以安装用于票务的应用。因此，具有在其中安装的票务应用的外部装置可以从HMD接收请求，并且然后可以将相应的响应发送给HMD。因此，HMD可以从外部装置接收包括所请求的票信息的响应(S1320)。
[0162]此外，HMD可以获取与票信息关联的增强现实信息(S1330)。本文中，增强现实信息可以包括票信息和购票历史记录。此外，如以上参照图8描述的，增强现实信息可以与在票信息中包括的、票的识别信息匹配。因此，HMD可以使用票信息来向已发放票的服务器请求与该票信息关联的增强现实信息，或者HMD可以将增强现实信息存储在存储单元中。
[0163]此外，HMD可以按照视角区域拍摄图像(S1340)。为了将票信息显示为增强现实信息，HMD应显示关于与包括票信息的外部装置相关的物体的增强现实信息。因此，为了决定要显示增强现实信息的位置，HMD可以检测与外部装置相关的物体，其中，所述物体包括在所拍摄的图像中(S1350)。在这一点上，所拍摄的图像可以对应于立体图像(例如，3D图像)，并且HMD可以存储与所拍摄的图像关联的深度信息。
[0164]如以上参照图5和图6描述的，HMD可以从所拍摄的图像提取边界线，并且可以基于形成环形曲线(或封闭曲线)的边界线来识别物体。
[0165]此外，如以上参照图7描述的，HMD可以将与票信息关联的增强现实信息显示在所检测的物体的周围区域上(S1360)。另外，如以上参照图9描述的，当HMD检测到票务代理完成检票程序时，HMD可以将认证信息发送到外部装置。在这一点上，当HMD检测集中于显示的增强现实信息的票务代理的视野时，HMD可以确定检票程序完成。
[0166]此外，如以上在图10中描述的，当HMD检测到穿戴HMD的票务代理完成检票程序时，通过将认证信息显示在安装在票务代理附近的显示装置上，外部装置的用户能够容易地核实检票结果。
[0167]此外，尽管已经将附图进行区分并划分以利于本公开的描述，然而本公开可以被设计为通过组合本公开的上述实施方式中的一些来形成新的实施方式。此外，任何本领域技术人员在无论何时需要时，本公开的范围包括设计由计算机可读的记录介质，该计算机具有用于执行在其中记录的本公开的上述实施方式的程序。
[0168]根据本公开的HMD及其控制方法可以不仅限于根据本公开的示例性实施方式的上述配置和方法。因此，本公开的示例性实施方式的变型可以通过选择性地组合本公开的每个示例性实施方式而全部地或部分地配置。
[0169]此外，根据本公开的用于控制HMD的方法可以被实现为能够由处理器读取的记录介质中的、能够由设置在图像显示装置中的处理器读取的代码。能够由处理器读取的记录介质包括存储能够由处理器读取的数据的所有类型的记录装置。能够由处理器读取的记录介质的示例可以包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。此外，还可以包括以的载波形式(诸如经由因特网的传输)实现的示例性记录介质。另外，能够由处理器读取的记录介质可以分散在通过网络连接的计算机系统内。此外，能够由处理器读取的代码可以通过使用分散(或散射)方法来存储和执行。
[0170]对于本领域技术人员将显而易见的是，能够在不脱离本公开的精神或范围的情况下对本公开进行各种修改和变型。因此，本发明旨在涵盖本发明的落入在所附权利要求及其等同物的范围内的修改和变型。还显而易见的是，本公开的这些变型不应根据本公开的技术范围或精神而单独地或独立地理解。
[0171]此外，装置和用于控制该装置的方法都在本公开的本说明书中进行了描述。因此，在需要时，可以增补地应用公开的描述。
[0172]本发明的模式
[0173]已经在用于执行本公开的最佳模式下描述了各种实施方式。
[0174]工业实用性
[0175]虽然已经在本文中参照本发明的优选实施方式描述和例示了本发明，但是对于本领域技术人员将显而易见的是，能够在不脱离本发明的精神或范围的情况下在本文中做出各种修改和变型。因此，本发明旨在涵盖本发明的落入在所附权利要求及其等同物的范围内的修改和变型。
【主权项】
1.一种头戴式显示器HMD，所述HMD包括: 相机单元，其被配置为拍摄所述HMD的周围区域的图像； 显示单元，其被配置为显示与所拍摄的图像关联的增强现实信息； 通信单元，其被配置为向外部装置发送数据以及从外部装置接收数据； 传感器单元，其被配置为感测所述HMD的位置，并且将所感测的结果传送给处理器；以及 所述处理器，其被配置为控制所述相机单元、所述显示单元、所述通信单元和所述传感器单元， 其中，所述处理器执行以下操作: 向外部装置请求票信息， 根据所述请求从所述外部装置接收包括所述票信息的响应， 获取与所述票信息关联的所述增强现实信息， 检测所拍摄的图像中的与所述外部装置相关的物体，以及 将与所述票信息关联的所述增强现实信息显示在所检测的物体的周围区域上。2.根据权利要求1所述的HMD，其中，所述处理器获取所述外部装置的位置信息，并且 其中，所述处理器从所获取的所述外部装置的位置信息提取以下项中的至少一个:所述外部装置相对于所述HMD的位置的距离信息、方向信息和高度信息。3.根据权利要求2所述的HMD，其中，所述处理器根据全球定位系统(GPS)从所述外部装置接收所述位置信息，或者通过使用所述外部装置的无线LAN信号信息和定位所述HMD的地址信息来获取所述位置信息。4.根据权利要求2所述的HMD，其中，当所述处理器根据所述外部装置的所述位置信息检测到所述外部装置位于所述HMD的视角区域的角度内时，所述处理器拍摄图像。5.根据权利要求2所述的HMD，其中，所述处理器通过使用以下项中的至少一个来检测所拍摄的图像中的、与所述外部装置相关的物体:所述外部装置的距离信息、方向信息和高度信息。6.根据权利要求2所述的HMD，其中，所拍摄的图像包括三维(3D)图像，并且其中，所述处理器提取在所拍摄的图像中包括的至少一个物体的深度信息。7.根据权利要求6所述的HMD，其中，所述处理器通过使用以下项中的至少一个和所述深度信息来检测所拍摄的图像中的、与所述外部装置相关的物体:所述外部装置的所述距离信息、所述方向信息和所述高度信息。8.根据权利要求2所述的HMD，其中，所述处理器通过使用所述外部装置的所述距离信息、所述方向信息和所述高度信息中的至少一个来在所拍摄的图像内产生与所述外部装置的位置对应的识别区域，并且其中，所述处理器检测包括所述识别区域的物体或邻近所述识别区域的物体。9.根据权利要求1所述的HMD，其中，所述处理器将所拍摄的图像的格式转换为灰色模式，从经转换的图像提取边界线，并且基于所提取的边界线识别物体。10.根据权利要求9所述的HMD，其中，所述处理器基于来自所提取的边界线的环形曲线识别物体。11.根据权利要求1所述的HMD，其中，所述处理器通过使用广播方式向至少一个外部物体请求票信息。12.根据权利要求1所述的HMD，其中，所述票信息包括票的有效时间信息、所述票的放置信息以及用于将所述票与其它票进行区分的识别信息，并且 其中，所述增强现实信息与所述标识信息匹配。13.根据权利要求1所述的HMD，所述增强现实信息包括所述票信息或票购买历史。14.根据权利要求1所述的HMD，其中，所述处理器从已发放票的服务器获取所述增强现实信息。15.根据权利要求1所述的HMD，其中，当从所述外部装置接收的所述票信息有效时，所述处理器获取与所述票信息关联的所述增强现实信息。16.根据权利要求1所述的HMD，其中，当所述票信息有效时，所述处理器将认证信息发送到所述外部装置。17.根据权利要求16所述的HMD，其中，如果所述处理器检测到集中在所显示的增强现实信息上的用户的视野，则所述处理器发送所述认证信息。18.—种用于控制头戴式显示器(HMD)的方法，所述方法包括以下步骤: 向外部装置请求票信息； 根据所述请求从所述外部装置接收包括所述票信息的响应； 获取与所述票信息关联的增强现实信息； 拍摄所述HMD的周围区域的图像； 检测所拍摄的图像中的、与所述外部装置相关的物体；以及 将与所述票信息关联的所述增强现实信息显示在所检测的物体的周围区域上。19.根据权利要求18所述的方法，所述方法还包括以下步骤: 获取所述外部装置的位置信息；以及 基于所获取的所述外部装置的位置信息，提取以下项中的至少一个:所述外部装置相对于所述HMD的位置的距离信息、方向信息和高度信息。20.根据权利要求18所述的方法，其中，检测物体的步骤包括: 将所拍摄的图像的格式转换为灰色模式； 从经转换的图像提取边界线； 基于来自所提取的边界线的环形曲线识别物体； 通过使用所述外部装置的距离信息、方向信息和高度信息中的至少一个来检测所拍摄的图像内的与所述外部装置的位置对应的识别区域；以及； 检测包括所述识别区域的物体或邻近所述识别区域的物体。
【专利摘要】公开了一种头戴式显示器HMD及其控制方法。更具体地，该HMD及其控制方法可以检测具有在其中存储的票的外部装置，并且将与存储的票相关的增强现实信息显示在与携带外部装置的个人接近的地点中以便检查票。
【IPC分类】G02B27/02, G02B27/04
【公开号】CN104903775
【申请号】CN201380069398
【发明人】金智贤
【申请人】Lg电子株式会社
【公开日】2015年9月9日
【申请日】2013年8月16日
【公告号】EP2941664A1, US9147290, US20140192085, WO2014106977A1
【技术领域】
[0001]本发明涉及头戴式显示器(HMD)及其控制方法相关的系统，并且更具体地，涉及能够检测具有在其中存储的票的外部装置并且将与存储的票相关的增强现实信息显示在与携带外部装置的个人接近的地点(locat1n)中以便检查票的HMD及其控制方法。
【背景技术】
[0002]随着数字装置正变得更加轻重量和更加尺寸小巧，便携式装置的应用和使用范围正在增加。因此，用户可以使用他的(或她的)便携式装置，以便能够更容易地执行无论他(或她)希望在何时和何地想要的操作。例如，用户可以在没有任何时间和空间上的限制的情况下通过使用他的(或她的)便携式装置来使用票务(ticketing)服务。另外，由于可以通过在用户的便携式装置中安装的应用来发放所购买的票，因此用户不需要携带实际的西χΚ ο
[0003]然而，当用户力图通过使用他的(或她的)发放的票进入音乐厅或剧院时，用户需要向检票务代理(agent)(或票务代理)出示他的(或她的)票。因此，用户需要经历必须从他的(或她的)口袋或包中拿出他的(或她的)便携式装置并且向票务代理亲自地出示购买的数字票的不便。
【发明内容】
[0004]技术问题
[0005]因此，本公开涉及基本上消除由于相关技术的局限性和缺点导致的一个或更多个问题的HMD及其控制方法。
[0006]本公开的一个目的在于提供一种能够允许票务代理在不需要用户出示购买的票的情况下检查票的检票系统。
[0007]本公开的另一目的在于提供一种能够检测具有在其中存储的票的外部装置并且将与存储的票相关的增强现实信息显示在与携带外部装置的人接近的地点中的HMD及其控制方法。
[0008]本公开的又一目的在于提供一种基于与票相关的识别信息而不是基于地点或图像而产生的增强现实信息。
[0009]本发明的又一目的在于提供一种能够在人处在与HMD接近的位置时准确地识别携带存储票的便携式装置的人的HMD及其控制方法。
[0010]本公开的另外的优点、目的和特征将部分地在随后的描述中进行阐述并且部分地将对于本领域普通技术人员在查看以下内容时而变得显而易见，或者可以从本公开的实践而得知。可以通过在所撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得本公开的这些目的和其它优点。
[0011]问题的解决方案
[0012]为了实现这些目的和其它优点并且根据本公开的目的，如本文中实现并且广泛地描述的，一种HMD包括:相机单元，其被配置为拍摄(capture)所述HMD的周围区域的图像；显示单元，其被配置为显示与所拍摄的图像关联的增强现实信息；通信单元，其被配置为向外部装置发送数据以及从外部装置接收数据；传感器单元，其被配置为感测所述HMD的位置，并且将所感测的结果传送给处理器；以及所述处理器，其被配置为控制所述相机单元、所述显示单元、所述通信单元和所述传感器单元。本文中，所述处理器可以向外部装置请求票信息，可以根据所述请求从所述外部装置接收包括所述票信息的响应，可以获取与所述票信息关联的所述增强现实信息，可以检测所拍摄的图像中的、与所述外部装置相关的物体，并且可以将与所述票信息关联的所述增强现实信息显示在所检测的物体的周围区域上。
[0013]在本公开的另一方面，一种用于控制HMD的方法包括以下步骤:向外部装置请求票信息；根据所述请求从所述外部装置接收包括所述票信息的响应；获取与所述票信息关联的增强现实信息；拍摄所述HMD的周围区域的图像；检测所拍摄的图像中的、与所述外部装置相关的物体；以及将与所述票信息关联的所述增强现实信息显示在所检测的物体的周围区域上。
[0014]本发明的有益效果
[0015]根据本公开的实施方式，由于用户不需要取出在他的(或她的)外部装置中存储的票以向票务代理亲自出示所购买的票，因此用户能够具有他的(或她的)更方便地被检查的票。另外，根据本公开的另一实施方式，由于票务代理配备有HMD，因此票务代理能够通过参考增强现实信息来检查票，该增强现实信息在携带具有在其中存储的相应的票的便携式外部装置的人附近的位置处显示。
[0016]此外，根据本公开的又一实施方式，通过提供基于与购买的票关联的识别信息而产生的增强现实信息，只要能够验证票信息，就可以通过使用增强现实信息在任何地方执行检票程序。
[0017]最后，根据本公开的另外的实施方式，当人彼此靠近紧密地挤在一起时，由于根据本公开的HMD能够准确地识别真正携带具有在其中存储的购买的票的便携式外部装置的人，因此可以提高增强现实信息的清晰度(clarity)。
[0018]将在下文中描述更详细的有益效果。
[0019]将要理解的是，前述一般描述和以下详细描述二者是示例性和说明性的，并且旨在提供对所要求保护的本公开的进一步解释。
【附图说明】
[0020]附图被包括进来以提供本公开的进一步理解，并且被并入本申请且构成本申请的一部分，附图示出了本公开的实施方式，并且与本说明书一起用来解释本发明的原理。在附图中:
[0021]图1例示了根据本公开的示例性实施方式的头戴式显示器(HMD)的框图；
[0022]图2例示了根据本公开的示例性实施方式的向HMD和外部装置发送数据以及从HMD和外部装置接收数据的示例；
[0023]图3例示了根据本公开的示例性实施方式的使HMD检测外部装置的地点的示例；
[0024]图4例示了根据本公开的示例性实施方式的使HMD从所拍摄的图像检测与外部装置相关的物体的示例；
[0025]图5例示了根据本公开的示例性实施方式的使HMD根据所拍摄的图像识别物体的示例；
[0026]图6a至图6c分别例示了根据本公开的示例性实施方式的使HMD从所拍摄的图像提取物体并且确定识别区域的示例；
[0027]图7a至图7c分别例示了根据本公开的示例性实施方式的在基于识别区域在图6a至图6c中决定的与外部装置相关的物体的周围区域中显示增强现实信息的示例；
[0028]图8例示了根据本公开的示例性实施方式的与票的识别信息匹配的示例性增强现实信息；
[0029]图9例示了根据本公开的示例性实施方式的显示接收的认证信息的外部装置；
[0030]图10例示了根据本公开的另一示例性实施方式的显示接收的认证信息的外部装置；
[0031]图11例示了根据本公开的示例性实施方式的票务系统的结构的框图；
[0032]图12例示了根据本公开的示例性实施方式的由配置票务系统的元件处理的数据的流；以及
[0033]图13例示了根据本公开的示例性实施方式的示出用于控制HMD的方法的处理步骤的流程图。
【具体实施方式】
[0034]尽管在本公开中使用的术语是从通常已知和使用的术语中选择，然而在本文中使用的术语可以根据任何本领域技术人员的意图或实践或者随着新技术的出现而改变或修改。另选地，在一些特定情况下，在本公开的描述中提到的术语中的一些可能由本申请人根据他或她的判断来选择，其详细含义在本文中的说明书的相关部分中进行描述。此外，要求不能简单地通过所使用的实际术语而是通过每个术语中蕴含的含义来理解本公开。
[0035]此外，现在将详细地参考本公开的优选实施方式，在附图中例示了本公开的这些优选实施方式的示例。然而，本公开的描述将不仅限于本文中提供的示例性实施方式。
[0036]图1例示了根据本公开的示例性实施方式的头戴式显示器(HMD)的框图。然而，图1仅是示例性的。并且，因此，将显而易见的是，可以去除配置模块中的一些或者可以按照任何本领域技术人员的要求将新的配置模块添加到HMD中。
[0037]如图1中所示，根据本公开的实施方式的头戴式显示器(HMD) 100可以包括相机单元110、显示单元120、通信单元130、传感器单元140和处理器150。
[0038]首先，相机单元110可以拍摄HMD 100的周围的图像。例如，相机单元110可以拍摄在与穿戴HMD 100的用户的视野(eyesight)对应的预定区域(以下被称为“视角区域”)内的图像。此后，相机单元110可以将所拍摄的图像提供到处理器150。
[0039]另外，相机单元110可以包括立体相机。例如，相机单元110可以包括至少两个透镜，所述至少两个透镜被配置为彼此分隔开预定距离并且同时拍摄(film)相同的物体。本文中，所述至少两个透镜的聚焦调整、曝光调整和快门操作可以彼此互相联系。因此，在HMD100中，由相机单元110拍摄的图像可以包括立体图像(例如，三维(3D)图像)。
[0040]在这一点上，处理器150可以产生或存储包括在所拍摄的图像中的至少一个物体的深度信息作为对应图像的附加信息。此外，处理器150可以基于通过相机单元110而获取的图像来检测包括票信息的外部装置。在这一点上，处理器150可以使用深度信息。然而，这将在后面进行更详细的描述。
[0041]此外，相机单元110可以作为与传感器单元140分离的单元而包括在HMD 100中，这将在后面进行详细描述。然而，相机单元110也可以与传感器单元140集成，从而被包括在 HMD 100 中。
[0042]显示单元120可以将图像输出在显示屏幕上。在这一点上，显示单元120可以基于由处理器150执行的内容或者基于处理器150的控制命令来输出图像。
[0043]此外，当相机单元110包括立体相机时，显示单元120可以包括显示立体图像的结构，使得穿戴HMD 100的用户能够观看对应的立体图像。
[0044]此外，显示单元120可以显示与从相机单元110获取的图像相关的增强现实信息。增强现实信息可以从外部服务器接收，并且可以预先存储在HMD 100中。将参照图7在后面更详细地描述增强现实信息。
[0045]通信单元130可以通过使用各种协议来与外部装置进行通信，以便向外部装置发送数据以及从外部装置接收数据。另外，通信单元130可以经由有线或无线通信来接入网络，由此能够发送和接收数字数据(诸如票信息、增强现实信息等)。
[0046]因此，通信单元130可以向外部装置发送票信息以及从外部装置接收票信息，该外部装置对应于发放相应的票的便携式装置或服务器。
[0047]此外，传感器单元140可以使用在HMD 100中装备的至少一个传感器，以便感测HMD 100的周围环境并且将所感测的信息以信号的形式传送到处理器150。此外，传感器单元140可以感测用户输入，并且可以根据所感测的结果向处理器150传送输入信号。
[0048]因此，传感器单元140可以包括至少一个感测装置。根据本公开的实施方式，所述至少一个感测装置可以包括以下项中的至少一个:重力传感器、地磁(或地磁学)传感器、运动传感器、陀螺仪传感器、加速度传感器、红外线传感器、倾斜传感器、亮度传感器、高度传感器、气味传感器、温度传感器(或热传感器)、深度传感器、压力传感器、条带(banding)传感器、音频传感器、视频传感器、全球定位系统(GPS)传感器、触摸传感器等。
[0049]此外，当传感器单元140感测HMD 100的位置或方向时，处理器150可以检测HMD100的位置信息或方向信息。这将参照图3进行更加详细的描述。
[0050]此外，传感器单元140集总地表示上述各种传感装置。本文中，在感测到用户的各种输入之后并且通过感测HDM 100的环境，感测单元140可以传送可以传送所感测的结果，使得处理器150能够执行相应的操作 。
[0051]上述传感器可以作为单独的元件包括在HMD 100中，上述传感器可以被集成到至少一个元件，由此包括在HMD 100中。
[0052]此外，处理器150可以处理处理器150内的数据。另外，通过控制上述HMD 100的各个单元，处理器150可以控制这些单元之间的数据发送和接收。
[0053]此外，可以通过总线发送和接收单元之间的包括数据或控制信号的各种信号。
[0054]此外，虽然未在图1中示出，但是HMD 100可以配备有存储单元、音频输入/输出单元或电力单元。
[0055]存储单元(未示出)可以存储各种数字数据(诸如音频数据、静止图像、运动图片图像、应用等)。本文中，存储单元表示各种类型的数字数据存储空间(诸如闪速存储器、随机存取存储器(RAM)、固态驱动器(SSD)等)。
[0056]此外，存储单元可以暂时地存储从外部装置通过通信单元130接收的数据。在这一点上，存储单元可以被用来执行缓冲，以使得HMD 100能够输出从外部装置接收的数据。本文中，可以在HMD 100中可选地装备存储单元。
[0057]音频输出单元(未示出)可以包括音频输出装置(诸如扬声器、耳机等)。另外，音频输出单元可以基于由处理器150执行的内容或者基于接收处理器150的控制命令来输出音频(或声音)。在这一点上，音频输出单元可以选择性地装备在HMD 100中。
[0058]电力单元对应于连接到内部(或嵌入式)电池的电源或外部电力单元。本文中，电力单元可以将电力提供给HMD 100。
[0059]此外，当图1对应于根据本公开的实施方式的HMD 100的框图时，图1中示出的分别的块分别表示在逻辑上彼此区分的装置的元件。因此，根据装置的设计，上述装置的元件可以共同地安装(或装配)为单个芯片，或者可以分别地安装(或装配)为多个芯片。
[0060]图2例示了根据本公开的示例性实施方式的向HMD和外部装置发送数据以及从HMD和外部装置接收数据的示例。
[0061]HMD 100可以向外部装置请求票信息，以便使得穿戴HMD 100的用户能够检查(或验证)存储在该外部装置中的票信息。然而，在这一点上，因为难以识别具有在其中存储的被请求的票信息的外部装置，所以HMD 100可以通过使用广播方式来请求票信息。
[0062]因此，当HMD 100请求票信息时，HMD 100可以同时发送要检查(或验证)的票信息。例如，当票务代理力图在剧院、剧院或音乐厅中验证并检查票时，要验证的票信息可以包括以下信息中的至少一者:关于要检查的票的影院或音乐厅的信息、关于电影或演出的时间的信息、关于电影或演出的名称的信息、以及关于电影中的主要演员或者在演出中表演的表演者或演员的信息。
[0063]此外，当票务代理力图验证和检查用于登上飞机、公共汽车、火车等的登机票(boarding ticket)时，票信息可以包括以下项中的至少一个:飞机、公共汽车或火车的货运信息(例如，飞机的航班号、公共汽车编号、车次等)、出发时间、到达时间以及关于出发地和目的地的信息。
[0064]在这一点上，存储与所请求的票信息相关的票的外部装置可以根据从HMD 100发送的请求发送响应。另外，响应可以包括以下项中的至少一个的票信息:座位信息、登机信息和付款信息。
[0065]换句话说，广播方式对应于使一个发送方将数据发送到相同的子网络中的所有接收方的方式。因此，作为发送方，HMD 100可以向相同的子网络内的所有外部装置请求票信息。因此，如图2中所示，HMD 100可以通过使用广播方式将请求票信息发送到所有存在于相同的子网络中的外部装置210、220、230、240、250和260。
[0066]在接收所发送的针对票信息10a的请求的外部装置210、220、230、240、250和260当中，真正存储有所请求的票信息的外部装置230和260可以将包括所请求的票信息的响应200b发送给HMD 100。根据本公开的示例性实施方式的外部装置210、220、230、240、250和260可以各自包括能够由用户在处于移动状态下的同时携带并使用的便携式装置。
[0067]当仅通过座位信息(诸如剧院或音乐厅中的座位信息、火车或飞机上的座位信息)来区分戴着HMD 100的票务代理力图验证和检查的票，而不需要关于已经预订相应座位的个体的任何个人信息时，相应的票尤其有利和有用。在这种情况下，由于穿戴HMD 100的票务代理仅需要验证在相应的票上指示的座位信息或付款信息，因此可以在短的时间段内执行并完成检票程序。
[0068]此外，通过使根据本公开的示例性实施方式的HMD 100根据从外部装置接收到的票信息来显示增强现实信息(外部装置已经将包括所请求的票信息的响应发送到HMD100)，穿戴HMD 100的票务代理能够更容易且更方便地检查票。相应地，由于携带外部装置的用户不需要取出他的(或她的)外部装置以向穿戴HMD 100的票务代理出示存储在其中的票，因此用户还可以更方便地进入剧院、音乐厅或者飞机、火车等的检票门。
[0069]为了做到这一点，根据本公开的实施方式的HMD 100可以拍摄与穿戴HMD 100的票务代理的视角对应的图像。此后，HMD 100可以从所拍摄的图像检测与外部装置相关的物体。然后，HMD 100可以根据票信息显示相应的增强现实信息。
[0070]因此，在已响应于HMD 100的外部装置230和260当中，HMD 100需要检测存在于视角区域20(S卩，与穿戴HMD 100的票务代理的视角对应的区域)内并且可以由相机单元拍摄其图像的外部装置230。
[0071]因此，HMD 100可以获取已响应于HMD 100的外部装置230和260的位置信息。在这一点上，HMD 100可以根据全球定位系统(GPS)从相应的外部装置230和260接收位置信息。
[0072]然而，当GPS信号不能到达HMD 100时，或者当需要更精确和详细的位置信息时，HMD 100可以使用关于相应的外部装置230和260的无线LAN信号的信息以及关于HMD所在的地址的信息，以便获取相应的外部装置230和260的位置信息。
[0073]在使用GPS信号的情况下，缺点在于，当室内半径等于或大于500m或700m时，难以确定外部装置的精确位置。因此，当票务代理在室内检查票时，可以通过使用在室内被收集的无线LAN信号信息并且通过使用票务代理力图执行检票程序的地方的地址信息来获知每个外部装置的位置信息。换句话说，即使在GPS信号不能达到的地方，HMD 100也可以能够通过使用安装在室内的无线LAN信号中继器来找到外部装置230和260的唯一的接入地址(AP)。
[0074]如上所述，当HMD 100使用无线LAN信号信息以及与HMD 100所处的地方对应的地址信息时，由于HMD 100显示1m的差值范围内的准确度水平，因此这将对在室内检查票更有利和有用。此外，HMD 110可以使用外部装置230和260的位置信息，以便检测外部装置230和260是否位于视角区域20内。这将参照图3进行更详细的描述。
[0075]图3例示了根据本公开的示例性实施方式的使HMD检测外部装置的地点的示例。
[0076]根据本公开的HMD 300可以从所拍摄的图像检测与已响应于HMD 300的外部装置相关的物体，然后，HMD 300可以将与票信息关联的增强现实信息显示在所检测的物体的周围。为了做到这一点，HMD 300可以朝HMD 300的方向拍摄图像，使得穿戴HMD 30的票务代理能够在参考与票信息关联的增强现实信息之后检查票。
[0077]因此，HMD 300的方向R对应于HMD 300观看并且拍摄图像的方向。例如，HMD 300的方向可以对应于穿戴HMD 300的票务代理的观看方向并且面向前方(即，向前方向)。相应地，HMD 300可以基于外部装置的位置信息来产生相应的外部装置的方向信息Θ。相应的外部装置的方向信息Θ是指指示外部装置距离HMD 30的R方向多远的信息。本文中，相应的外部装置的方向信息Θ被用于确定外部装置是否位于HMD 300的视角区域30内。
[0078]HMD 300可以感测HMD 300的位置信息。因此，HMD 300可以使用HMD 300的位置信息、HMD 300的方向R信息和外部装置的位置信息，以便确定外部装置的方向信息Θ指示外部装置位于沿着HMD 300的方向R距离HMD 300多远(即，外部装置和HMD 300沿着方向R之间的距离)。
[0079]更具体地，HMD 300可以使用外部装置的方向信息Θ，以便从响应于HMD 300的外部装置230和260 (即，外部装置230和260)识别位于视角区域30内的外部装置230。
[0080]另外，当HMD 300检测到外部装置230存在于HMD 300的视角区域30内时，HMD300可以朝HMD 300的方向拍摄图像。因此，HMD 300可以从所拍摄的图像检测与外部装置230相关的物体，由此能够显示与票信息关联的增强现实信息。
[0081]如上所述，为了检测外部装置230和260是否位于HMD 300的视角区域30内，或者为了从朝HMD 300的R方向所拍摄的图像检测与外部装置相关的物体，HMD300可以提取位于HMD 300的视角区域30内的外部装置的位置信息，其中，所提取的位置信息对应于外部装置和HMD 300之间的相对位置信息。这将参照图4进行更详细的描述。
[0082]图4例示了根据本公开的示例性实施方式的使HMD从所拍摄的图像检测与外部装置相关的物体的示例。
[0083]首先，将假定HMD 400获取位于视角区域内的第一外部装置和第二外部装置的位置信息Pl和P2。基于所获取的第一外部装置和第二外部装置的位置信息Pl和P2，HMD 400可以提取以下项中的至少一个:外部装置相对于HMD 400的位置(或地点)的距离信息、方向信息和高度信息。
[0084]换句话说，HMD 400可以使用GPS信息、使用传感器(诸如陀螺仪传感器等)的重力信息，以便确定HMD 400的方向和HMD 400的当前位置信息。另选地，HMD400可以使用HMD 400的无线LAN信号信息以及检票事件将要发生的位置(或地点)的地址信息，以便通知HMD 400的位置信息。因此，HMD 400可以使用HMD 400的位置信息以及所获取的外部装置的绝对位置信息Pl和P2，由此能够提取第一外部装置和第二外部装置相对于HMD 400的相对位置信息。
[0085]例如，HMD 400可以提取HMD 400和第一外部装置之间的距离信息Rl以及沿着HMD 400的方向R与HMD 400分隔开的方向信息Θ I。另外，HMD 400可以提取HMD 400和第二外部装置之间的距离信息R2以及沿着HMD 400的方向R与HMD400分隔开的方向信息Θ2。此外，虽然没有在图4中示出，但是HMD 400还可以根据HMD 400、第一外部装置和第二外部装置之间的高度上的差来提取高度信息。
[0086]此外，HMD 400可以检测与所提取的外部装置的相对位置信息对应的主体(subject)，并且HMD 400还可以利用与所检测的主体对应的所拍摄的图像来检测物体。例如，所检测的物体可以对应于所拍摄的图像内的外部装置、人、手提包或手提袋等。
[0087]换句话说，HMD 400可以检测与外部装置的相对位置信息对应的主体。并且，然后，HMD 400可以检测与所检测的主体对应的所拍摄的图像内的物体。因此，HMD400能够确定与外 部装置相关的物体。因此，HMD 400可以提取主体的位置信息，并且可以将所述主体与所拍摄的图像的物体匹配。这将在后面进行更详细的描述。
[0088]首先，当HMD 400通过使用红外光射线、超声波等来确定距离时，由于红外光射线、超声波等的方向对应于特定主体的方向，因此HMD 400也能够确定特定主体的方向。此夕卜，当需要时，HMD 400可以设置基准方向，然后，HMD 400可以使用HMD 400的方向位移信息(或方向变化信息)，以便获取特定主体的方向。
[0089]随后，HMD 400可以获取所拍摄的图像作为立体图像。在这一点上，HMD 400可以提取在立体图像中包括的至少一个物体的深度信息。此外，HMD 400还可以使用所获取的深度信息，以便确定在立体图像中包括的物体之间的相对距离。
[0090]因此，HMD 400可以使用HMD 400和特定主体之间的距离(其通过使用红外光射线、超声波等而获取)以及在立体图像中包括的物体之间的相对距离(例如，深度信息)，以便获取HMD 400和图像中的所拍摄的所有主体之间的距离。
[0091]例如，HMD 400可以设置HMD 400和第一物体之间的距离作为基本距离。还可以使用除了使用红外光射线、超声波等的上述方法以外的各种方法作为用于获取基本距离的方法。HMD 400可以使用与第一主体对应的第一物体410的深度信息和与第二主体对应的第二物体420的深度信息之间的差异以及基本距离，以便获取HMD 400和第二主体之间的距离。
[0092]如上所述，HMD 400能够确定主体相对于HMD 400的位置的相对位置信息。因此，通过将主体的位置信息和外部装置的HMD的位置信息进行比较，HMD 400可以检测与外部装置的相对位置信息对应的主体。此后，HMD 400可以检测与所检测的主体对应的物体作为与外部装置相关的物体。在这一点上，当主体的位置信息被包括在预定范围内时，针对外部装置的位置信息，HMD 400可以确定主体的位置信息与外部装置的位置信息相同。
[0093]如图4中所示，第一主体是指与第一外部装置的相对位置信息对应的主体，并且第二主体是指与第二外部装置的相对位置信息对应的主体。因此，HMD 400可以使用外部装置的相对位置信息、HMD 400和主体之间的距离以及物体的深度信息，以便检测与第一外部物体相关的物体410和与第二外部物体相关的物体420。
[0094]总之，HMD 400可以设置HMD 400和特定主体之间的距离作为基本距离，然后，HMD400可以根据物体的深度信息来获取HMD 400和剩余的物体之间的距离。另外，当HMD 400检测与外部装置的相对位置信息对应的主体时，HMD 400可以决定与主体对应的物体作为与外部装置相关的物体。
[0095]更具体地，HMD 400可以使用外部装置的相对位置信息(S卩，距离信息、方向信息和高度信息)中的至少一个以及在所拍摄的图像中包括的物体中的至少一个的深度信息，以便与外部装置相关的物体匹配。
[0096]此外，除了上述方法以外，HMD还可以使用用于将外部装置的位置与在所拍摄的图像中包括的物体匹配的各种方法。
[0097]本文中，所拍摄的图像可以包括各种主体(诸如建筑物、人、物体等)。然而，为了有效地提取与外部装置相关的物体，HMD可以集中提取与人相关的物体，以便执行所提取的物体作为与外部装置相关的物体的匹配。因此，为了集中提取与人相关的物体，HMD可以事先地存储与人相关的物体图像的样本。此外，通过使用用于使用预先存储的样本来处理图像的方法，HMD能够从所拍摄的图像提取与人相关的物体。
[0098]在下文中，将详细地描述根据本公开的示例性实施方式的由HMD使用的、用于根据所拍摄的图像识别物体的方法。
[0099]首先，图5例示了根据本公开的示例性实施方式的使HMD根据所拍摄的图像识别物体的示例。
[0100]根据本公开的示例性实施方式，HMD可以拍摄图像，如图5的(a)中所示，并且HMD可以提取所拍摄的图像的边界线，如图5的(b)中所示。此后，HMD可以基于来自所提取的边界线的环形曲线(或封闭曲线)来识别物体。
[0101]另外，HDM可以将所拍摄的图像的格式转换为灰色模式。然后，HDM可以在经转换的图像上使用各种算法(诸如索贝尔(Sobel)掩码、罗伯茨(Roberts)掩码等)，以便提取边界线，如图5的(b)中所示。此外，HMD可以根据所提取的边界线识别物体。
[0102]HDM还可以通过使用其它方法来从拍摄的图像识别物体。例如，HMD可以使用形态基础(诸如接近性、相似性、连续性等)，以便对在所拍摄的图像中包括的物体进行分组。更具体地，通过使用感知方法和图像的观看层内的向下反馈，HMD可以将多种异类视觉形式实现为单个视觉形式。
[0103]如上所述，将物体进行分组的优点可能在于，当HDM检测拿着手提包的人时，虽然人和手提包是单独的物体，但是由于人和手提包彼此相关，因此这两个物体可以是共同地识别为单个物体。因此，HMD可以容易地设置要显示增强现实信息的位置。
[0104]然而，当携带具有在其中存储的票的外部装置的人在与另一个人手牵手或者挽着另一个人的手臂的同时进入音乐厅、剧院、登机口等时，HMD可能难以将与票信息相关的增强现实信息准确地显示在真正携带该外部装置的人的周围。此外，当手提包放置有具有在其中存储的票的外部装置时，HMD可能难以将相应的增强现实信息准确地显示在携带该外部装置的人的周围。
[0105]因此，根据本公开的示例性实施方式的HMD可以使用外部装置的相对位置信息(例如，HMD和外部装置之间的距离信息、方向信息和高度信息中的至少一个)，以便产生与所拍摄的图像内的外部装置的位置对应的识别区域。此外，HMD可以使用所提取的边界线，以便包括所产生的识别区域或者以检测与识别区域相邻的物体，由此能够决定与要显示的增强现实信息对应的物体。因此，通过将与票信息相关的增强现实信息显示在真实背景内的携带外部装置的人的周围，HMD可以使得穿戴HMD的票务代理能够容易地检查票。
[0106]这将在下文参照图6和图7进行详细描述。
[0107]图6a至图6c分别例示了根据本公开的示例性实施方式的使HMD从所拍摄的图像提取物体并且确定识别区域的示例。并且，图7a至图7c分别例示了基于本公开的示例性实施方式的识别区域将增强现实信息显示在与在图6a至图6c决定的外部装置相关的物体的周围区域中的示例。
[0108]HMD事先存储(或预先存储)人的边界线，然后，使用从所拍摄的图像提取的边界线，以便提取与人对应的物体。因此，如图6a中所示，HMD可以从所拍摄的图像提取边界线，以便提取与人对应的物体610和620。
[0109]此外，HDM可以通过使用红外光射线或超声波来确定HMD和主体之间的距离。并且，通过使用用于配置从相机单元获取的立体图像或3D图像的左图像和右图像，HMD能够提取在相应的图像中包括的物体的深度信息。
[0110]因此，HMD可以使用外部装置的相对位置信息，以便检测所拍摄的图像内的外部装置的位置，由此确定(或设置)识别区域611。
[0111]在这一点上，为了将与票相关的增强现实信息显示在更准确的位置上，如图中6a所示，HMD可以将包括识别区域611的物体610决定为与外部装置相关的物体。
[0112]如上所述，HMD可以HMD可以基于来自所提取的边界线的环形曲线(或封闭曲线)来识别物体。在这一点上，通过使用从人的各种边界线提取环形曲线的样本，HMD能够针对环形曲线从各种物体识别与人相关的物体。
[0113]因此，如图7a中所示，一旦HMD决定了与外部装置相关的物体，HMD就可以将与票信息相关的增强现实信息711显示在与外部装置相关的物体710的区域周围区域上。因此，票务代理一看到物体，票务代理就可以容易地检查票。由于穿戴HMD的票务代理能够顺着票务代理的实际视角朝物体确实看到与票信息关联的增强现实信息。
[0114]更具体地，根据本公开的示例性实施方式，HMD可以依据外部装置的移动来改变(或重新定位)显示增强现实信息的位置。因此，根据本公开的示例性实施方式的HMD的优点在于，即使当外部装置移动(或重新定位)，HMD也能够将与票信息相关的增强现实信息显示在准确位置上。
[0115]图6a例不了用户用手拿着外部装置的不例性情况。相反地，图6b例不了用户正将外部装置携带在她的手提包(或手提袋)中的示例性情况。在这种情况下，根据图6b中所示的实施方式，HMD检测携带外部装置的用户作为与该外部装置相关的物体。
[0116]如图6b中所示，HMD可以从所拍摄的图像提取边界线，然后可以提取与人对应的物体630和640。另外，通过使用外部装置的相对位置信息，HMD可以检测所拍摄的图像内的外部装置的位置，从而确定识别区域631。
[0117]为了做到这一点，假定HMD知道HMD和与在所拍摄的图像中包括的物体对应的实际主体之间的距离，并且还知道所拍摄的图像内的物体的深度信息。因此，HMD可以使用外部装置的相对位置信息，以便确定识别区域631。在这一点上，当不存在与包括识别区域631的人相关的物体时，可以将与识别区域631最接近的物体630检测为与外部装置相关的物体。
[0118]因此，一旦HMD决定了与外部装置相关的物体，如图7b中所示，HMD就可以将与票信息关联的增强现实信息721显示在与外部装置相关的物体720的周围区域上。
[0119]如上所述，即使携带票的用户不取出他的(或她的)具有在其中存储的相应的票的外部装置以使得票务代理能够检查他的(或她的)票，穿戴HMD的票务代理也能够通过使用相应的增强现实信息来验证相应的票。因此，优点在于，用户能够在不必从他的(或她的)口袋取出外部装置的情况下使他的(或她的)票被验证和检查，并且在没有任何不便的情况下进入音乐厅、剧院或登机口。
[0120]然而，在一些特定情况下，诸如当携带票的用户正握住另一个用户的手臂或手时，两个或更多个用户可以作为单个主体移动。在这种情况下，可能难以在沿着相同的方向移动的用户的群当中识别出真正携带票的用户。然而，根据本公开的示例性实施方式的HMD可以准确地检测出携带票的特定用户，然后可以显示与票信息关联的增强现实信息。
[0121]如图6c中所示，当携带外部装置的人随着具有另一个人的紧密拥挤的群到处移动时，根据本公开的实施方式的HMD可以从所拍摄的图像提取边缘，然后可以提取与人对应的物体650和660。
[0122]另外，通过使用外部装置的相对位置信息，HMD可以检测所拍摄的图像内的外部装置的位置，由此确定所检测的位置作为识别区域661。另外，通过使用外部装置的无线LAN信号以获取精确的位置信息，HMD能够更准确地确定多个相邻的物体当中的哪个特定物体包括识别区域661或者最接近于识别区域661。
[0123]更具体地，如图6c中所示，当存在包括识别区域661的物体660和邻近于识别661的物体650 二者时，相比邻近于识别区域661的物体650，HMD可以优先将包括识别区域661的物体660决定为与外部装置相关的物体。
[0124]因此，当HMD检测与外部装置相关的物体时，如图7c中所示，HMD可以将与票信息关联的增强现实信息731显示在与外部装置相关的物体730的周围区域中。
[0125]换句话说，如图6c中所示，当用户在他的口袋中携带他的外部装置并且随着具有另一个人的拥挤的群进入音乐厅、剧院或登机口时，根据本公开的示例性实施方式的HMD可以准 确地检测出真正携带票的人，然后可以显示与票信息关联的增强现实信息。
[0126]此外，根据本公开的示例性实施方式可以从已发放相应的票的服务器获取与票信息关联的增强现实信息。增强现实信息包括关于由相应的用户购买的票的详细信息。本文中，HMD可以接收详细的信息，并且可以在真实背景上，并且更具体地，在已购买相应的票的用户的周围区域上显示所接收的详细信息。因此，穿戴HMD的用户可以使用增强现实信息，以便验证和检查相应的票。
[0127]与票信息关联的增强现实信息可以包括票信息或相应的票的购买历史记录。此夕卜，票信息可以包括有效时间信息、地点信息、用于将该票与由其它用户携带的票进行区分的识别?目息。
[0128]图8例示了根据本公开的示例性实施方式的与票的识别信息匹配的示例性增强现实信息。如图8中所示，根据本公开的增强现实信息820可以与票信息识别信息810匹配。票信息的识别信息810是为了将该票与其它票进行区分，诸如已发放的票的ID、条形码等。
[0129]当用户通过使用HMD中包括的相机单元来对准(或瞄准)特定街道或建筑物时，通过GPS接收器获取的当前位置信息可以被暂时地存储在HMD中。HMD可以通过互联网将该位置信息发送到位置信息系统。因此，位置信息系统可以通过数据库搜索与所发送的位置信息关联的详细信息。此后，位置信息系统可以将所搜索的结果作为增强现实信息的形式发送到HMD。在接收到所发送的搜索结果之后，HMD将与所接收的信息与当前地图信息进行匹配，并且可以通过实时显示屏幕来显示结果。
[0130]然而，如上所述，除了位置或图像以外，还基于相应的票的识别信息来显示根据本公开的实施方式的增强现实信息。因此，根据本公开的实施方式的增强现实信息不仅显示在特定位置处。相反，当具有在其中存储的相应的票信息的外部装置移动时，也可以改变显示与票信息关联的增强现实信息的位置。
[0131]更具体地，在电影票的情况下，在剧院中检查发放的票。本文中，即使在剧院的营业场所内(即，在室内)执行检票处理，如果不存在具有向其发放的相应的票的外部装置，则可能没有与相应的票关联的增强现实信息显示到HMD。此后，当检测到外部装置在剧院内时，然后可以将与票信息关联的增强现实信息显示到HMD。
[0132]此外，当HMD未被指派有权力以检查和验证相应的票时，即使检测到相应的外部装置存在于剧院中，也不向HMD显示相应的票信息。更具体地，这是因为HMD需要向外部装置请求信息，并且还因为只有在接收到对所发送的请求的响应之后才能够显示与票信息关联的增强现实信息。
[0133]此外，当HMD显示与票信息关联的增强现实信息时，穿戴HMD的票务代理可以验证相应的票是否是有效的票。当确定票实际上有效时，HMD可以将认证信息发送到外部装置。
[0134]因此，当HMD接收到预定用户的输入时，HMD可以将相应的票确定为有效的票，然后HMD可以将认证信息发送到外部装置。另选地，当HMD检测集中在显示的增强现实信息的用户的视野时，HMD可以将认证信息发送到外部装置。另选地，当HMD接收预定用户的输入时，或者当HMD检测用户的视野时，HMD可以将从外部装置接收的票信息发送到已发放相应的票的服务器，然后，服务器可以验证相应票的有效性。
[0135]根据本公开的示例性实施方式，在用户在他的(或她的)口袋或手提包(或手提袋)中携带具有在其中存储的相应的票信息的外部装置的同时，用户可以方便地使他的(或她的)发放的票被检查并验证。然而，当用户登上飞机、火车或公共汽车时，或者当用户进入音乐厅或剧院时，用户可能希望验证对他的(或她的)票是否已经被正确地验证并检查。因此，通过发送认证信息，HMD可以使得已购买相应的票的用户能够在他(或她)希望时核实他的(或她的)票是否已经被正确地验证并检查。
[0136]图9例示了根据本公开的示例性实施方式的显示接收的认证信息的外部装置。通过将指示相应的票有效以及检票处理完成的消息910以SMS的形式发送到外部装置900，可以提尚用户的便利性。
[0137]图10例示了根据本公开的另一示例性实施方式的显示接收的认证信息的外部装置。根据本公开的实施方式，已购买票的用户可以使票务代理在不必取出他的(或她的)具有在其中存储的购买的票的外部装置的情况下检查他的(或她的)票。然后，在已验证并检查票时，用户可以进入音乐厅、剧院或登机口。因此，如以上参照图9描述的，当将认证信息直接发送到外部装置时，对他的(或她的)票的检查状态好奇的用户可能最后会经历必须取出他的(或她的)外部装置以便核实发送的认证信息的不便。因此，HMD可以将认证信息1000显示在安装在检票处理正在发生的地点(诸如戏剧的入口、登机口等)附近的显示装置上。因此，用户可以核实他的(或她的)票已经在不必取出他的(或她的)外部装置的情况下通过安装在入口处的显示装置而安全地且正确地验证并检查。
[0138]另外，如图10中所示，在所显示的认证信息中不包括用户的个人信息。因此，仅真正携带相应的票的用户能够核实他的(或她的)票已被检查。如上所述，本公开的优点在于，用户能够在不必担心他的(或她的)个人信息的任何曝光的情况下仅核实他的(或她的)票的批准。
[0139]此外，上面已经根据本公开的示例性实施方式描述了这样的示例:在该示例中，穿戴HMD的票务代理检测具有在其中存储的票信息的外部装置，并且HMD显示与票信息相关的增强现实信息，使得票务代理能够验证并检查相应的票。然而，HMD可以与发放的票服务器和从服务器接收已发放的票的外部装置连接，以便配置系统。因此，要由HMD执行的在上面已描述的功能可以与相应系统的其它元件协作来执行。这将在下文参照图11和图12进行详细描述。
[0140]图11例示了根据本公开的示例性实施方式的票务系统的结构的框图。
[0141]如图11中所示，票务系统可以包括被配置为发放票的服务器1110、被配置为存储已发放的票的外部装置1130、以及被配置为验证并检查已发放的票的HMD 1120。此外，月艮务器1110、HMD 1120和外部装置1130可以通过无线网络和/或有线网络来彼此发送和接收数据。
[0142]此外，在票务系统中可以存在存储已发放的票的多个外部装置1130以及验证并检查已发放的票的多个HMD 1120。因此，检查并验证的票的地方可以对应于多个地方，并且多个HMD可以在特定地方检查存储在多个外部装置中的票。在下文中，将参照图12来详细地描述由配置票务系统的元件处理的数据的流。
[0143]图12例示了根据本公开的示例性实施方式的由配置票务系统的元件处理的数据的流。
[0144]当服务器1110从外部装置1130接收针对发放票的请求(S1200)时，服务器1110可以发放票(S1210)。此外，在发放票时，服务器1110可以将相应的票信息发送到外部装置1130(S1220)。因此，外部装置1130可以使用接收的票信息，以便使票务代理检查票。
[0145]此外，票将不仅限于特定类型的票。并且，因此，能够保证用户享受特定权限的权利的任何类型的票(诸如用于登上交通工具的票、或用于进入特定地方(诸如剧院)的票)可以通过本公开来验证并检查。服务器1110存储关于已发放的票的信息，使得票务代理能够在必要时验证并检查存储的票。本文中，票信息可以包括有效时间信息、地点信息和识别信息，使得相应的票能够与其它票区分。并且，识别信息可以包括被唯一地指派给每张票的票ID或条码号。
[0146]此外，服务器1110可以与增强现实(AR)信息一起存储票信息，该AR信息与相应的票的识别信息匹配。增强现实信息对应于从票务代理穿戴(或装备)的HMD1120显示的信息。本文中，增强现实信息可以包括票信息或购票历史。
[0147]除了基于位置和图像显示的特性以外，可以基于数据(诸如票的识别信息)显示根据本公开的增强现实信息。更具体地，替代按照特定位置和特定图像进行显示，可以在当请求或验证票的识别信息时的时间点显示增强现实信息。因此，显示增强现实信息的时间以及显示增强现实信息的位置(或地点)可以根据请求票的识别信息的时间和地点而改变。
[0148]此外，票务代理可以穿戴HMD 1120，以便通过使用与通过HMD 1120显示的票信息关联的增强现实信息来执行检票任务。因此，HMD 1120可以向定位在其周围的至少一个外部装置1120请求关于要检查的票的信息(S1230)。在这一点上，如以上参照图2描述的，HMD 1120可以通过使用广播方式来请求票信息。
[0149]在接收到针对票信息的请求之后，外部装置1130可以将请求的票信息发送到HMD1120(S1240)o因此，在接收到针对票信息的请求之后，外部装置1130可以将所请求的票信息发送给HMD 1120。随后，仅具有权限检查相应的票的HMD 1120可以从外部装置接收已发送的票信息1130。所以，票信息不会不必要地发送到另一不相关的HMD或另一不相关的装置。
[0150]此外，HMD 1120可以向服务器1110请求与从外部装置1130接收的票信息关联的增强现实信息(S1250)。显然，HMD 1120可以根据其设置或配置方法存储与票信息关联的增强现实信息。然而，当HMD 1120在每次需要相应的信息时向服务器1110发送请求时，可以有效地使用HMD 1120的系统资源。在这一点上，发放票的服务器可以与存储与票信息关联的增强现实信息的服务器不同。
[0151]基于从HMD 1120接收的票信息，服务器1110可以搜索票信息的识别信息，并且可以将与搜索到的识别信息匹配的增强现实信息发送到HMD 1120(S1260)。
[0152]此外，为了确定要显示从服务器1110接收的增强现实信息的位置，当HMD 1120向外部装置1130请求位置信息(S1270)时，外部装置1130可以通过使用GPS信号、无线LAN信号等将位置信息发送到HMD 1120 (S1280)。在检票处理在室内执行的情况下，如果在难以接收任何GPS信号的地方执行检票处理，则可以通过使用定位无线LAN信号和HMD1120的位置的地址信息来减小外部装置1130的位置差。
[0153]此外，HMD 1120可以在不向外部装置1130请求各自的位置信息的情况下获取外部装置1130的位置信息。例如，如果具有在其中安装的票务应用的外部装置1130进入HMD1120检查票的区域时，可以通过安装的票务应用将外部装置1130的位置信息自动地发送到 HMD 1120ο
[0154]此外，如以上参照图4至图6描述的，当HMD 1120获取外部装置1130的位置信息时，HMD 1120可以拍摄图像，并且HMD 1120可以检测在所拍摄的图像中包括的外部装置相关的物体(S1290)。
[0155]在这一点上，基于外部装置1130的位置信息，当确定外部装置1130位于HMD1120的视角区域内时，HMD 1120可以拍摄图像。此外，HMD 1120可以拍摄图像，并且将关于所拍摄的图像的位置和方向的信息与外部装置1130的位置信息进行比较，以便确定外部装置1130是否位于HMD 1120的视角区域内。为了做到这一点，HMD 1120可以使用从外部装置1130接收到的外部装置1130的绝对位置信息，以便提取包括外部装置相对于HMD 400的位置(或地点)的距离信息、方向信息和高度信息中的至少一个的相对位置信息。
[0156]此外，如以上参照图6描述的，HMD 1120可以将所拍摄的图像转换为灰色格式，并且可以从经转换的图像中提取边界线，以便基于所提取的边界线识别物体。更具体地，HMD 1120可以参照所提取的边界线中的弯曲环来识别目标，然后，HMD 1120可以提取与人的形状相关的物体。此外，HMD可以产生与所拍摄的图像内的外部装置的相对位置信息对应的识别区域，以便检测包括识别区域的物体或者以便检测与识别区域相邻的物体，由此将所检测的物体决定为与外部装置1130相关的物体。基于设置，相比与识别区域相邻的物体，HMD可以优先将包括识别区域的物体决定为与外部装置相关的物体。
[0157]此外，HMD 1120可以将与票信息关联的增强现实信息显示在所检测的物体的周围区域上(S1300)。因此，穿戴(或配备有)HMD 1120的票务代理可以通过参考所显示的增强现实?目息来执行检票任务。
[0158]当需要时，当HMD 1120检测到票务代理完成检票处理时，HMD 1120可以将认证信息发送到外部装置1130，或者HMD 1120可以将认证信息显示到另一相邻的显示装置。此夕卜，当HMD 1120将票信息发送到服务器以请求增强现实信息时，HMDl 120还可以发送请求以确定票的有效性。换句话说，HMD 1120可以仅显示与票信息关联的增强现实信息，并且可以由服务器1110执行检票处理。然后，HMD 1120可以仅接收检票处理的结果。因此，基于从服务器1110接收的检票结果，穿戴HMD 1120的用户能够检测未携带(或存储)所购买的票的外部装置或者携带无效的票的外部装置。
[0159]图13例示了根据本公开的示例性实施方式的示出用于控制HMD的方法的处理步骤的流程图。如上所述，即使描述了 HMD执行特定功能，也可以与在票务系统中包括的另外的元件协作地执行该特定功能。
[0160]首先，如以上参照图2描述的，HDM可以向至少一个外部装置请求关于要检查的票的信息(S1310)。HMD可以通过使用广播方式来请求票信息。
[0161]在接收针对票信息的请求的至少一个外部装置当中，包括所请求的票信息的外部装置可以对HMD的请求作出响应。在这一点上，外部装置可以安装用于票务的应用。因此，具有在其中安装的票务应用的外部装置可以从HMD接收请求，并且然后可以将相应的响应发送给HMD。因此，HMD可以从外部装置接收包括所请求的票信息的响应(S1320)。
[0162]此外，HMD可以获取与票信息关联的增强现实信息(S1330)。本文中，增强现实信息可以包括票信息和购票历史记录。此外，如以上参照图8描述的，增强现实信息可以与在票信息中包括的、票的识别信息匹配。因此，HMD可以使用票信息来向已发放票的服务器请求与该票信息关联的增强现实信息，或者HMD可以将增强现实信息存储在存储单元中。
[0163]此外，HMD可以按照视角区域拍摄图像(S1340)。为了将票信息显示为增强现实信息，HMD应显示关于与包括票信息的外部装置相关的物体的增强现实信息。因此，为了决定要显示增强现实信息的位置，HMD可以检测与外部装置相关的物体，其中，所述物体包括在所拍摄的图像中(S1350)。在这一点上，所拍摄的图像可以对应于立体图像(例如，3D图像)，并且HMD可以存储与所拍摄的图像关联的深度信息。
[0164]如以上参照图5和图6描述的，HMD可以从所拍摄的图像提取边界线，并且可以基于形成环形曲线(或封闭曲线)的边界线来识别物体。
[0165]此外，如以上参照图7描述的，HMD可以将与票信息关联的增强现实信息显示在所检测的物体的周围区域上(S1360)。另外，如以上参照图9描述的，当HMD检测到票务代理完成检票程序时，HMD可以将认证信息发送到外部装置。在这一点上，当HMD检测集中于显示的增强现实信息的票务代理的视野时，HMD可以确定检票程序完成。
[0166]此外，如以上在图10中描述的，当HMD检测到穿戴HMD的票务代理完成检票程序时，通过将认证信息显示在安装在票务代理附近的显示装置上，外部装置的用户能够容易地核实检票结果。
[0167]此外，尽管已经将附图进行区分并划分以利于本公开的描述，然而本公开可以被设计为通过组合本公开的上述实施方式中的一些来形成新的实施方式。此外，任何本领域技术人员在无论何时需要时，本公开的范围包括设计由计算机可读的记录介质，该计算机具有用于执行在其中记录的本公开的上述实施方式的程序。
[0168]根据本公开的HMD及其控制方法可以不仅限于根据本公开的示例性实施方式的上述配置和方法。因此，本公开的示例性实施方式的变型可以通过选择性地组合本公开的每个示例性实施方式而全部地或部分地配置。
[0169]此外，根据本公开的用于控制HMD的方法可以被实现为能够由处理器读取的记录介质中的、能够由设置在图像显示装置中的处理器读取的代码。能够由处理器读取的记录介质包括存储能够由处理器读取的数据的所有类型的记录装置。能够由处理器读取的记录介质的示例可以包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。此外，还可以包括以的载波形式(诸如经由因特网的传输)实现的示例性记录介质。另外，能够由处理器读取的记录介质可以分散在通过网络连接的计算机系统内。此外，能够由处理器读取的代码可以通过使用分散(或散射)方法来存储和执行。
[0170]对于本领域技术人员将显而易见的是，能够在不脱离本公开的精神或范围的情况下对本公开进行各种修改和变型。因此，本发明旨在涵盖本发明的落入在所附权利要求及其等同物的范围内的修改和变型。还显而易见的是，本公开的这些变型不应根据本公开的技术范围或精神而单独地或独立地理解。
[0171]此外，装置和用于控制该装置的方法都在本公开的本说明书中进行了描述。因此，在需要时，可以增补地应用公开的描述。
[0172]本发明的模式
[0173]已经在用于执行本公开的最佳模式下描述了各种实施方式。
[0174]工业实用性
[0175]虽然已经在本文中参照本发明的优选实施方式描述和例示了本发明，但是对于本领域技术人员将显而易见的是，能够在不脱离本发明的精神或范围的情况下在本文中做出各种修改和变型。因此，本发明旨在涵盖本发明的落入在所附权利要求及其等同物的范围内的修改和变型。
【主权项】
1.一种头戴式显示器HMD，所述HMD包括: 相机单元，其被配置为拍摄所述HMD的周围区域的图像； 显示单元，其被配置为显示与所拍摄的图像关联的增强现实信息； 通信单元，其被配置为向外部装置发送数据以及从外部装置接收数据； 传感器单元，其被配置为感测所述HMD的位置，并且将所感测的结果传送给处理器；以及 所述处理器，其被配置为控制所述相机单元、所述显示单元、所述通信单元和所述传感器单元， 其中，所述处理器执行以下操作: 向外部装置请求票信息， 根据所述请求从所述外部装置接收包括所述票信息的响应， 获取与所述票信息关联的所述增强现实信息， 检测所拍摄的图像中的与所述外部装置相关的物体，以及 将与所述票信息关联的所述增强现实信息显示在所检测的物体的周围区域上。2.根据权利要求1所述的HMD，其中，所述处理器获取所述外部装置的位置信息，并且 其中，所述处理器从所获取的所述外部装置的位置信息提取以下项中的至少一个:所述外部装置相对于所述HMD的位置的距离信息、方向信息和高度信息。3.根据权利要求2所述的HMD，其中，所述处理器根据全球定位系统(GPS)从所述外部装置接收所述位置信息，或者通过使用所述外部装置的无线LAN信号信息和定位所述HMD的地址信息来获取所述位置信息。4.根据权利要求2所述的HMD，其中，当所述处理器根据所述外部装置的所述位置信息检测到所述外部装置位于所述HMD的视角区域的角度内时，所述处理器拍摄图像。5.根据权利要求2所述的HMD，其中，所述处理器通过使用以下项中的至少一个来检测所拍摄的图像中的、与所述外部装置相关的物体:所述外部装置的距离信息、方向信息和高度信息。6.根据权利要求2所述的HMD，其中，所拍摄的图像包括三维(3D)图像，并且其中，所述处理器提取在所拍摄的图像中包括的至少一个物体的深度信息。7.根据权利要求6所述的HMD，其中，所述处理器通过使用以下项中的至少一个和所述深度信息来检测所拍摄的图像中的、与所述外部装置相关的物体:所述外部装置的所述距离信息、所述方向信息和所述高度信息。8.根据权利要求2所述的HMD，其中，所述处理器通过使用所述外部装置的所述距离信息、所述方向信息和所述高度信息中的至少一个来在所拍摄的图像内产生与所述外部装置的位置对应的识别区域，并且其中，所述处理器检测包括所述识别区域的物体或邻近所述识别区域的物体。9.根据权利要求1所述的HMD，其中，所述处理器将所拍摄的图像的格式转换为灰色模式，从经转换的图像提取边界线，并且基于所提取的边界线识别物体。10.根据权利要求9所述的HMD，其中，所述处理器基于来自所提取的边界线的环形曲线识别物体。11.根据权利要求1所述的HMD，其中，所述处理器通过使用广播方式向至少一个外部物体请求票信息。12.根据权利要求1所述的HMD，其中，所述票信息包括票的有效时间信息、所述票的放置信息以及用于将所述票与其它票进行区分的识别信息，并且 其中，所述增强现实信息与所述标识信息匹配。13.根据权利要求1所述的HMD，所述增强现实信息包括所述票信息或票购买历史。14.根据权利要求1所述的HMD，其中，所述处理器从已发放票的服务器获取所述增强现实信息。15.根据权利要求1所述的HMD，其中，当从所述外部装置接收的所述票信息有效时，所述处理器获取与所述票信息关联的所述增强现实信息。16.根据权利要求1所述的HMD，其中，当所述票信息有效时，所述处理器将认证信息发送到所述外部装置。17.根据权利要求16所述的HMD，其中，如果所述处理器检测到集中在所显示的增强现实信息上的用户的视野，则所述处理器发送所述认证信息。18.—种用于控制头戴式显示器(HMD)的方法，所述方法包括以下步骤: 向外部装置请求票信息； 根据所述请求从所述外部装置接收包括所述票信息的响应； 获取与所述票信息关联的增强现实信息； 拍摄所述HMD的周围区域的图像； 检测所拍摄的图像中的、与所述外部装置相关的物体；以及 将与所述票信息关联的所述增强现实信息显示在所检测的物体的周围区域上。19.根据权利要求18所述的方法，所述方法还包括以下步骤: 获取所述外部装置的位置信息；以及 基于所获取的所述外部装置的位置信息，提取以下项中的至少一个:所述外部装置相对于所述HMD的位置的距离信息、方向信息和高度信息。20.根据权利要求18所述的方法，其中，检测物体的步骤包括: 将所拍摄的图像的格式转换为灰色模式； 从经转换的图像提取边界线； 基于来自所提取的边界线的环形曲线识别物体； 通过使用所述外部装置的距离信息、方向信息和高度信息中的至少一个来检测所拍摄的图像内的与所述外部装置的位置对应的识别区域；以及； 检测包括所述识别区域的物体或邻近所述识别区域的物体。
【专利摘要】公开了一种头戴式显示器HMD及其控制方法。更具体地，该HMD及其控制方法可以检测具有在其中存储的票的外部装置，并且将与存储的票相关的增强现实信息显示在与携带外部装置的个人接近的地点中以便检查票。
【IPC分类】G02B27/02, G02B27/04
【公开号】CN104903775
【申请号】CN201380069398
【发明人】金智贤
【申请人】Lg电子株式会社
【公开日】2015年9月9日
【申请日】2013年8月16日
【公告号】EP2941664A1, US9147290, US20140192085, WO2014106977A1
最新回复(0)