信息处理设备、地图更新方法、程序以及信息处理系统的制作方法
专利名称：信息处理设备、地图更新方法、程序以及信息处理系统的制作方法
技术领域：
本发明涉及信息处理设备、地图更新方法、程序以及信息处理系统。
背景技术：
用于多个用户通过网络来共享表示物理物体在实际空间中的位置的地图的各种应用得到实际使用。作为示例，存在如下应用其允许用户将诸如注释或照片的信息与地图上的给定位置相关联，并且与其他用户共享信息或地图(参照日本专利申请早期公开第 2006-209784 号禾口 “GoogleMaps” (因特网 URL :http"maps, google, com/))。此外，存在如下应用其将虚拟标签与地图上的给定位置相关联，并且显示使用终端的照相机功能捕获的、叠加有标签的图像(参照〃 Sekai Camera Support Center"(因特网URL :http// support, sekaicamera. com/en))。
发明内容
然而，在现有的地图共享应用中，虽然可以由用户随意地更新与地图相关联的信息，但是地图本身除了服务提供商更新它时之外不会改变。因此，即使当用户识别物理物体在实际空间中的位置的变化，也难以迅速地反映地图上的变化并且与其他用户共享该变化。此外，在服务提供商没有提供详细地图的私人空间中，难以在用户当中共享地图或与该地图相关联的信息。根据上述，期望提供一种新颖且改进的信息处理设备、地图更新方法、程序以及信息处理系统，其使得迅速地在用户当中共享物理物体在实际空间中的位置的变化。根据本发明的实施例，提供了一种信息处理设备，其包括全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。信息处理设备还可包括计算单元，其基于全局地图中所包括的物体的位置数据和局部地图中所包括的物体的位置数据，计算局部地图相对于全局地图的相对位置；以及转换单元，其根据局部地图的相对位置，执行从局部地图中所包括的物体的位置数据到全局地图的坐标系的数据的坐标转换，其中，更新单元通过使用在由转换单元进行的坐标转换之后的局部地图中所包括的物体的位置数据，更新全局地图。信息处理设备可以是由一个用户持有的终端设备。全局地图获取单元可从存储全局地图的服务器设备获取全局地图的至少一部分， 并且更新单元可通过将物体的位置数据传送至服务器设备来更新服务器设备的全局地图。全局地图获取单元可获取全局地图中与包含终端设备在实际空间中的位置的局部区域相对应的部分。全局地图获取单元可获取全局地图中表示位于极接近于终端设备之处的预定数量的物体的位置的部分。
局部地图生成单元可基于通过使用成像设备来对实际空间进行成像而获得的输入图像和表示一个或多个物体的外观的特征的特征数据，生成局部地图。计算单元可基于全局地图和局部地图中所共同包括的不移动物体的位置数据，计算局部地图的相对位置。计算单元可计算局部地图的相对位置，使得当将局部地图中所包括的物体的位置数据转换成全局地图的坐标系的数据时，转换之后的数据与全局地图中所包括的物体的位置数据之间的差总体上较小。全局地图可包括实际空间中的每个物体在全局地图的坐标系中的位置数据和与该位置数据有关的时间戳。信息处理设备还可包括显示控制单元，其响应于来自用户的指令，至少部分地使全局地图可视化在屏幕上。根据本发明的另一实施例，提供了一种由信息处理设备执行的地图更新方法，该方法用于更新表示物体在多个用户活动的实际空间中的位置的全局地图，该方法包括以下步骤获取全局地图的至少一部分；生成表示能够由信息处理设备检测到的周围物体的位置的局部地图；以及基于局部地图中所包括的物体的位置数据来更新全局地图。根据本发明的另一实施例，提供了一种程序，该程序用于使得用于控制信息处理设备的计算机起如下作用全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。根据本发明的另一实施例，提供了一种信息处理系统，其包括服务器设备，其使用存储介质来存储表示物体在多个用户活动的实际空间中的位置的全局地图；以及由多个用户当中的一个用户持有的信息处理设备，其中，该信息处理设备包括全局地图获取单元，其从服务器设备获取全局地图的至少一部分；局部地图生成单元，其生成表示能够由该信息处理设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。根据上述本发明的实施例，可以提供如下信息处理设备、地图更新方法、程序以及信息处理系统其使得迅速地在用户当中共享物理物体在实际空间中的位置的变化。
图1是用于说明根据实施例的系统的概要的示意图；图2是用于说明全局地图和局部地图中所包括的物体的位置数据的示意图；图3是示出根据实施例的服务器的配置示例的框图；图4是用于说明部分全局地图的说明图；图5是示出根据实施例的终端设备的配置示例的框图；图6A是用于说明部分全局地图获取处理的第一示例的说明图；图6B是用于说明部分全局地图获取处理的第二示例的说明图；图6C是用于说明部分全局地图获取处理的第三示例的说明图；图7是示出根据实施例的局部地图生成单元的详细配置的示例的框图8是示出根据实施例的自身位置(self-position)检测处理的流程的示例的流程图；图9是用于说明在物体上所设置的特征点的说明图；图10是用于说明特征点的添加的说明图；图11是用于说明预测模型的示例的说明图；图12是用于说明特征数据的配置示例的说明图；图13是示出根据实施例的物体识别处理的流程的示例的流程图；图14A是用于说明由根据实施例的计算单元进行的地图匹配处理的示例的说明图；图14B是用于说明由根据实施例的计算单元进行的地图匹配处理的另一示例的说明图；图15A是用于说明根据实施例的全局地图更新处理的示例的说明图；图15B是用于说明根据实施例的全局地图更新处理的另一示例的说明图；图16是示出根据实施例的地图管理服务器与终端设备之间的地图更新处理的流程的示例的流程图；图17是示出根据实施例的超级客户端(super client)的配置示例的框图；以及图18是示出附加信息的共享的应用的示例的示意图。
具体实施例方式在下文中，将参照附图详细描述本发明的优选实施例。注意，在该说明书和附图中，具有基本相同的功能和结构的结构元件以相同的附图标记表示，并且省略对这些结构元件的重复说明。在下文中，将按以下顺序描述本发明的优选实施例。1.系统的概述1-1.系统配置的示例1-2.位置数据的示例2.根据实施例的地图管理服务器的配置3.根据实施例的终端设备的配置3--1.通信接口
3--2.成像单元
3--3.初始化单元
3--4.全局地图获取单元
3--5.局部地图生成单元
3--6.计算单元
3--7.转换单元
3--8.更新单元
3--9.显示控制单元
4.处理的流程
5.可选示例
5-1.超级客户端5-2.附加信息的共享6.总结<系统的概述>[1-1.系统配置的示例]首先将参照图1和图2描述根据本发明的实施例的系统的概要。图1是说明根据本发明的实施例的信息处理系统1的概要的示意图。参照图1，根据实施例的信息处理系统 1包括地图管理服务器10、终端设备IOOa以及终端设备100b。地图管理服务器10是信息处理设备，其提供用于允许在多个用户当中共享地图和与该地图相关联的信息的地图共享服务。地图管理服务器10在内部或者在外部具有数据库并且在该数据库中存储稍后描述的全局地图。通常通过使用诸如个人计算机(PC)或工作站的通用信息处理设备来实现地图管理服务器10。在该说明书中，将由地图管理服务器10管理的地图称为全局地图。全局地图是表示物理物体在地图共享服务的整个服务区域Ae的实际空间中的位置的地图。终端设备IOOa是由用户Ua持有的信息处理设备。终端设备IOOb是由用户Ub持有的信息处理设备。在该说明书中，当不特别需要区分终端设备IOOa和终端设备IOOb时， 通过去除附于附图标记的字母文字，将它们统称为终端设备100。终端设备100可以通过有线或无线的通信连接，与地图管理服务器10通信。终端设备100通常可以是任何类型的信息处理设备，诸如PC、智能电话、个人数字助理(PDA)、便携式音乐播放器或者游戏终端。终端设备100具有能够检测周围物体的位置的传感器功能。然后，终端设备100 使用该传感器功能，生成表示物体在其自身设备附近(例如，在区域Ah或区域Au3中)的位置的局部地图。在该实施例中，描述了如下情况使用同时定位与地图创建(SLAM)技术作为传感器功能的示例，其中，同时定位与地图创建技术可以使用单目照相机来同时估计照相机的位置和姿势、以及出现在输入图像中的物体的特征点的位置。此外，终端设备100具有使用所生成的局部地图来更新由地图管理服务器10管理的全局地图的更新功能以及显示最新的全局地图(或过去特定时间点处的全局地图)的显示功能。具体地，例如，用户fe可以在终端设备IOOa的屏幕上查看由用户Ub持有的终端设备IOOb更新的全局地图。此外，例如，用户Ub可以在终端设备IOOb的屏幕上查看由用户Ua持有的终端设备IOOa更新的全局地图。[1-2.位置数据的示例]图2是用于说明全局地图和局部地图中所包括的物体的位置数据的示意图。图2示出了在实际空间中存在的四个物理物体Bl至B4。物体Bl是桌子。物体 B2是咖啡杯。物体B3是笔记本PC。物体B4是窗户。物体B4的位置通常不移动。在该说明书中，将不移动的物体称为不移动物体或者陆标。图2还示出了各物体的位置数据Rl至 R4。位置数据Rl至R4分别包括物体ID “Objl”至“0bj4”、位置“XI”至“X4”、姿势“ Ω 1” 至“ Ω4”以及表示生成位置数据的时间点的时间戳“YYYYMMDDhhmmss”。全局地图是如下数据集其包括存在于整个服务区域Ae的实际空间中的物理物体的、如图2所示的位置数据。例如，当一个整体建筑物是服务区域Ae时，全局地图可以不但包括在图2中示出的一个房间中的物体的位置数据，而且包括其它房间中的物体的位置数据。以固定方式将全局地图的位置数据的坐标系事先设置为全局坐标系。另一方面，局部地图是如下数据集其包括存在于终端设备100的附近的实际空间中的物理物体的、如图2所示的位置数据。例如，局部地图可以包括在图2中示出的物体 Bl至B4的位置数据。局部地图的坐标系的原点的位置和坐标轴的方向取决于终端设备100 的照相机的位置和姿势。因此，局部地图的坐标系通常不同于全局坐标系。注意，位置可以由全局地图或局部地图表示的物体不限于图2中示出的示例。例如，可以在全局地图或局部地图中包括诸如位于室外的建筑物或车的物体、而不是位于室内的物体的位置数据。在这种情况下，建筑物可以用作陆标。<2.根据实施例的地图管理服务器的配置〉图3是示出根据实施例的地图管理服务器10的配置示例的框图。参照图3，地图管理服务器10包括通信接口 20、全局地图存储单元30、部分全局地图提取单元40、更新单元50、以及全局地图传递单元60。通信接口 20是用作地图管理服务器10与终端设备100之间的通信连接的中介的接口。通信接口 20可以是无线通信接口或者有线通信接口。全局地图存储单元30与使用诸如硬盘或半导体存储器的存储介质构造的数据库相对应，并且存储表示物理物体在多个用户活动的实际空间中的位置的上述全局地图。然后，全局地图存储单元30响应于来自部分全局地图提取单元40的请求，输出作为全局地图的子集的部分全局地图。此外，由更新单元50更新存储在全局地图存储单元30中的全局地图。此外，全局地图存储单元30响应于来自全局地图传递单元60的请求，输出全局地图的全部或者所请求的部分。部分全局地图提取单元40通过通信接口 20接收与终端设备100的位置有关的信息，并且根据该信息来提取部分全局地图。然后，部分全局地图提取单元40通过通信接口 20将所提取出的部分全局地图传送至终端设备100。部分全局地图是全局地图的子集。部分全局地图表示位于终端设备100的位置附近的局部区域中的物理物体在全局坐标系内的位置。图4是用于说明部分全局地图的说明图。在图4的左侧处示出了包含具有物体 ID “Objl”至“0bjl9”的19个物体的位置数据的全局地图Me。这19个物体分散在图4的右侧处示出的服务区域Ae中。与由用户fe持有的终端设备IOOa的位置的距离是阈值D以下的物体是Bl至B9。在这种情况下，例如，物体Bl至B9的位置数据构成用户Ua的部分全局地图Me(Ua)。此外，与由用户证持有的终端设备IOOb的位置的距离是阈值D以下的物体是物体Bll至B19。在这种情况下，例如，物体Bll至B19的位置数据构成用户Ub的部分全局地图礼(证)。预先适当地设置阈值D，使得在部分全局地图中包括稍后描述的局部地图的范围中的大部分。注意，稍后进一步描述关于提取部分全局地图的其它示例。更新单元50基于通过通信接口 20从终端设备100接收到的物体的位置数据，更新存储在全局地图存储单元30中的全局地图。由此，在全局地图上迅速反映物体在实际空间中的位置的变化。稍后进一步描述通过更新单元50进行的全局地图更新处理。全局地图传递单元60响应于来自终端设备100的请求，将存储在全局地图存储单元30中的全局地图传递至终端设备100。通过终端设备100的显示功能，在终端设备100 的屏幕上使从全局地图传递单元60传递的全局地图可视化。由此，用户可以查看最新的全局地图(或者过去特定时间点处的全局地图)。<3.根据实施例的终端设备的配置〉图5是示出根据实施例的终端设备100的配置示例的框图。参照图5，终端设备 100包括通信接口 102、成像单元110、初始化单元120、全局地图获取单元130、存储单元 132、局部地图生成单元140、计算单元160、转换单元170、更新单元180以及显示控制单元 190。[3-1.通信接口]通信接口 102是用作终端设备100与地图管理服务器10之间的通信连接的中介的接口。通信接口 102可以是无线通信接口或者有线通信接口。[3-2.成像单元]例如，成像单元110可被实现为具有成像元件(诸如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOQ)的照相机。成像单元110可以在外部被安装到终端设备100。 成像单元110将通过对如图2所示的、存在物理物体的实际空间进行成像而获得的图像作为输入图像输出至初始化单元120和地图生成单元140。[3-3.初始化单元]初始化单元120通过使用从成像单元110输入的输入图像，定位终端设备100在全局坐标系中的大致位置。例如，可根据在日本专利申请早期公开第2008-185417号中公开的技术，执行基于输入图像对终端设备100的位置的定位。在这种情况下，初始化单元 120将输入图像与预先存储在存储单元132中的参考图像进行匹配，并且为具有高度匹配的参考图像设置高分数。然后，初始化单元120基于该分数来计算终端设备100的位置的候选的概率分布，并且基于所计算出的概率分布来定位终端设备100的可能位置(假定概率分布中具有最高概率值的位置)。然后，初始化单元120将所定位的终端设备100的位置输出至全局地图获取单元130。注意，初始化单元120可通过使用全局定位系统(GPQ功能而不是上述技术来定位终端设备100的位置。此外，初始化单元120例如可通过使用能够基于来自附近无线访问点的场强度信息来测量当前位置的诸如PlaceEngine的技术，定位终端设备100的位置。[3-4.全局地图获取单元]全局地图获取单元130通过通信接口 102将与终端设备100的位置有关的信息传送至地图管理服务器10，并且获取由地图管理服务器10的部分全局地图提取单元40提取的上述部分全局地图。然后，全局地图获取单元130将所获取的部分全局地图存储到存储单元132中。图6A是用于说明部分全局地图获取处理的第一示例的说明图。参照图6A，终端设备100的全局地图获取单元130将终端设备100在全局坐标系的位置坐标传送至地图管理服务器10。然后，地图管理服务器10的部分全局地图提取单元40例如提取由位于距该位置坐标半径D[m]内的物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。由此，全局地图获取单元130可以获取与具有预定宽度的局部区域相对应的部分全局地图。局部区域例如可以是如下区域其具有能够由终端设备100的成像单元110直接观测的宽度。这使得与获取整个全局地图的情况相比，能够降低终端设备100的通信成本和处理成本。
图6B是用于说明部分全局地图获取处理的第二示例的说明图。参照图6B，终端设备100的全局地图获取单元130将终端设备100在全局坐标系中的位置坐标传送至地图管理服务器10。然后，地图管理服务器10的部分全局地图提取单元40例如提取由按与该位置坐标的距离的升序排列的η个物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。由此，全局地图获取单元130可以获取与包含预定数量的数据的局部区域相对应的部分全局地图。通常，随着预先定义的数据的数量η越大，可以以更高的准确度通过稍后要描述的计算单元160进行部分全局地图与局部地图的匹配。 考虑匹配的准确度与通信成本和处理成本之间的平衡来确定η的值(例如，η的值可以是η =100)。图6C是用于说明部分全局地图获取处理的第三示例的说明图。参照图6C，终端设备100的全局地图获取单元130将用于标识终端设备100所位于的区域的标识符(在下文中称为区域标识符)传送至地图管理服务器10。区域标识符例如可以是终端设备100可以访问的无线访问点的访问点标识符。此外，当一个整体建筑物是服务区域Ae时，区域标识符可以是标识终端设备100所位于的层或房间的号码。接收到区域标识符，地图管理服务器 10的部分全局地图提取单元40提取由以区域标识符表示的区域中所包含的物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。另外，在这种情况下，与获取整体全局地图的情况相比，可以降低终端设备100的通信成本和处理成本。[3-5.局部地图生成单元]局部地图生成单元140基于从成像单元110输入的输入图像和存储在存储单元 132中的、稍后描述的特征数据，生成表示能够由终端设备100检测的周围物体的位置的上述局部地图。图7是示出根据实施例的局部地图生成单元140的详细配置的示例的框图。 参照图7，局部地图生成单元140包括自身位置检测单元142、图像识别单元144以及局部地图构建单元146。(1)自身位置检测单元自身位置检测单元142基于从成像单元110输入的输入图像和存储在存储单元132中的特征数据，动态地检测拍摄输入图像的照相机的位置。例如，即使在成像单元110的照相机是单目照相机时，自身位置检测单元142也可通过应用在“Real-Time Simultaneous Localization and Mappingwith a Single Camera，，(Andrew J. Davison, Proceedings of the 9th IEEEInternational Conference on Computer Vision Volume 2，2003，pp. 1403-1410)中公开的SLAM技术，对于每帧动态地确定照相机的位置和姿势、以及照相机的成像面上的特征点的位置。首先，参照图8描述通过使用SLAM技术的自身位置检测单元142进行的自身位置检测处理的整体流程。接下来，参照图9至图11详细描述自身位置检测处理。图8是示出通过使用SLAM技术的自身位置检测单元142进行的自身位置检测处理的流程示例的流程图。在图8中，当自身位置检测处理开始时，自身位置检测单元142首先对状态变量进行初始化(步骤S102)。在该实施例中，状态变量是如下矢量其包括作为元素的照相机的位置和姿势(旋转角)、照相机的移动速度和角速度以及一个或多个特征点的位置。然后，自身位置检测单元142顺次地从成像单元110获得输入图像(步骤S112)。可针对每个输入图像(也就是说，每帧)重复从步骤S112至S118的处理。在步骤S114处，自身位置检测单元142跟踪在输入图像中出现的特征点。例如， 自身位置检测单元142从输入图像中检测预先存储在存储单元132中的每个特征点的片 (patch)(例如，特征点周围3x3 = 9个像素的小图像)。稍后当更新状态变量时，使用这里所检测到的片的位置，也就是说，特征点的位置。在步骤S116处，自身位置检测单元142基于例如预定的预测模型，生成下一帧的状态变量的预测值。另外，在步骤S118处，自身位置检测单元142使用在步骤S116处所生成的状态变量的预测值和根据在步骤S114处所检测到的特征点的位置的观测值，更新状态变量。自身位置检测单元142基于扩展卡尔曼滤波器的原理，执行在步骤S116和S118 处的处理。作为这样处理的结果，输出针对每帧更新的状态变量的值。在下文中更具体地描述跟踪特征点(步骤S114)、预测状态变量(步骤S116)以及更新状态变量(步骤S118)的每个处理的配置。(1-1)跟踪特征点在该实施例中，存储单元132预先存储表示与可存在于实际空间中的物理物体相对应的物体的特征的特征数据。特征数据例如包括小图像，也就是说，关于一个或多个特征点的片，每个特征点表示每个物体的外观的特征。片例如可以是由特征点周围的3x3 = 9 个像素构成的小图像。图9示出了物体的两个示例、以及在每个物体上所设置的特征点(FP)和片的示例。图9中的左侧物体是表示PC的物体(参照图9a)。在该物体上设置包括特征点FPl的多个特征点。此外，与特征点FPl相关地定义片Pthl。另一方面，图9中的右侧物体是表示日历的物体(参照图％)。在该物体上设置包括特征点FP2的多个特征点。此外，与特征点 FP2相关地定义片Pth2。在获得来自成像单元110的输入图像时，自身位置检测单元142将输入图像中所包括的部分图像与预先存储在存储单元132中的图9中示出的每个特征点的片进行匹配。 然后，自身位置检测单元142指定输入图像中所包括的每个特征点的位置(例如，所检测到的片的中心像素的位置)作为匹配结果。应该注意的是，为了跟踪特征点(图8中的步骤S114)，不一定预先将关于要跟踪的全部特征点的数据存储在存储单元132中。例如，在图10所示的示例中，在时刻T = t-1 处，在输入图像中检测到四个特征点(参照图10a)。接下来，当在时刻T = t处照相机的位置或姿势变化时，在输入图像中仅出现在时刻T = t-Ι处在输入图像中出现的四个特征点中的两个特征点。在这种情况下，自身位置检测单元142可在输入图像的特征像素图样 (pattern)存在的位置处重新设置特征点，并且在用于随后帧的自身位置检测处理中使用新特征点。例如，在图10所示的示例中，在时刻T = t处，在物体上设置三个新特征点(参照图IOb)。这是SLAM技术的特征，并且根据该技术，可以降低预先设置全部特征点的成本， 并且可以使用增加数量的特征点提高处理的准确度。(1-2)状态变量的预测在该实施例中，自身位置检测单元142使用在下面等式中表达的状态变量X作为应用于扩展卡尔曼滤波器的状态变量。
[等式 1] X
权利要求
1.一种信息处理设备，其包括全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由所述多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。
2.根据权利要求1所述的信息处理设备，还包括计算单元，其基于所述全局地图中所包括的物体的位置数据和所述局部地图中所包括的物体的位置数据，计算所述局部地图相对于所述全局地图的相对位置；以及转换单元，其根据所述局部地图的所述相对位置，执行从所述局部地图中所包括的物体的位置数据到所述全局地图的坐标系的数据的坐标转换，其中，所述更新单元通过使用在由所述转换单元进行的坐标转换之后的所述局部地图中所包括的物体的位置数据，更新所述全局地图。
3.根据权利要求1所述的信息处理设备，其中所述信息处理设备是由所述一个用户持有的终端设备。
4.根据权利要求3所述的信息处理设备，其中所述全局地图获取单元从存储所述全局地图的服务器设备获取所述全局地图的至少一部分，并且所述更新单元通过将物体的位置数据传送至所述服务器设备来更新所述服务器设备的所述全局地图。
5.根据权利要求4所述的信息处理设备，其中所述全局地图获取单元获取所述全局地图中与包含所述终端设备在实际空间中的位置的局部区域相对应的部分。
6.根据权利要求4所述的信息处理设备，其中所述全局地图获取单元获取所述全局地图中表示位于极接近于所述终端设备之处的预定数量的物体的位置的部分。
7.根据权利要求1所述的信息处理设备，其中所述局部地图生成单元基于通过使用成像设备来对实际空间进行成像而获得的输入图像和表示一个或多个物体的外观的特征的特征数据，生成所述局部地图。
8.根据权利要求2所述的信息处理设备，其中所述计算单元基于所述全局地图和所述局部地图中所共同包括的不移动物体的位置数据，计算所述局部地图的所述相对位置。
9.根据权利要求2所述的信息处理设备，其中所述计算单元计算所述局部地图的所述相对位置，使得当将所述局部地图中所包括的物体的位置数据转换成所述全局地图的坐标系的数据时，转换之后的数据与所述全局地图中所包括的物体的位置数据之间的差总体上较小。
10.根据权利要求1所述的信息处理设备，其中所述全局地图包括实际空间中的每个物体在所述全局地图的坐标系中的位置数据和与该位置数据有关的时间戳。
11.根据权利要求1所述的信息处理设备，还包括显示控制单元，其响应于来自用户的指令，至少部分地使所述全局地图可视化在屏幕上。
12.—种由信息处理设备执行的地图更新方法，所述方法用于更新表示物体在多个用户活动的实际空间中的位置的全局地图，所述方法包括以下步骤获得所述全局地图的至少一部分；生成表示能够由所述信息处理设备检测到的周围物体的位置的局部地图；以及基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。
13.一种程序，其用于使得用于控制信息处理设备的计算机起如下作用全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由所述多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。
14.一种信息处理系统，其包括服务器设备，其使用存储介质来存储表示物体在多个用户活动的实际空间中的位置的全局地图；以及由所述多个用户当中的一个用户持有的信息处理设备，所述信息处理设备包括 全局地图获取单元，其从所述服务器设备获取所述全局地图的至少一部分； 局部地图生成单元，其生成表示能够由所述信息处理设备检测到的周围物体的位置的局部地图；以及更新单元，其基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。
全文摘要
本发明提供了一种信息处理设备、地图更新方法、程序以及信息处理系统，其中，该信息处理设备包括全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。
文档编号G09B29/10GK102194367SQ201110051888
公开日2011年9月21日 申请日期2011年3月2日 优先权日2010年3月9日
发明者多井坚一郎, 松田晃一, 王全, 芦原隆之 申请人:索尼公司
技术领域：
本发明涉及信息处理设备、地图更新方法、程序以及信息处理系统。
背景技术：
用于多个用户通过网络来共享表示物理物体在实际空间中的位置的地图的各种应用得到实际使用。作为示例，存在如下应用其允许用户将诸如注释或照片的信息与地图上的给定位置相关联，并且与其他用户共享信息或地图(参照日本专利申请早期公开第 2006-209784 号禾口 “GoogleMaps” (因特网 URL :http"maps, google, com/))。此外，存在如下应用其将虚拟标签与地图上的给定位置相关联，并且显示使用终端的照相机功能捕获的、叠加有标签的图像(参照〃 Sekai Camera Support Center"(因特网URL :http// support, sekaicamera. com/en))。
发明内容
然而，在现有的地图共享应用中，虽然可以由用户随意地更新与地图相关联的信息，但是地图本身除了服务提供商更新它时之外不会改变。因此，即使当用户识别物理物体在实际空间中的位置的变化，也难以迅速地反映地图上的变化并且与其他用户共享该变化。此外，在服务提供商没有提供详细地图的私人空间中，难以在用户当中共享地图或与该地图相关联的信息。根据上述，期望提供一种新颖且改进的信息处理设备、地图更新方法、程序以及信息处理系统，其使得迅速地在用户当中共享物理物体在实际空间中的位置的变化。根据本发明的实施例，提供了一种信息处理设备，其包括全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。信息处理设备还可包括计算单元，其基于全局地图中所包括的物体的位置数据和局部地图中所包括的物体的位置数据，计算局部地图相对于全局地图的相对位置；以及转换单元，其根据局部地图的相对位置，执行从局部地图中所包括的物体的位置数据到全局地图的坐标系的数据的坐标转换，其中，更新单元通过使用在由转换单元进行的坐标转换之后的局部地图中所包括的物体的位置数据，更新全局地图。信息处理设备可以是由一个用户持有的终端设备。全局地图获取单元可从存储全局地图的服务器设备获取全局地图的至少一部分， 并且更新单元可通过将物体的位置数据传送至服务器设备来更新服务器设备的全局地图。全局地图获取单元可获取全局地图中与包含终端设备在实际空间中的位置的局部区域相对应的部分。全局地图获取单元可获取全局地图中表示位于极接近于终端设备之处的预定数量的物体的位置的部分。
局部地图生成单元可基于通过使用成像设备来对实际空间进行成像而获得的输入图像和表示一个或多个物体的外观的特征的特征数据，生成局部地图。计算单元可基于全局地图和局部地图中所共同包括的不移动物体的位置数据，计算局部地图的相对位置。计算单元可计算局部地图的相对位置，使得当将局部地图中所包括的物体的位置数据转换成全局地图的坐标系的数据时，转换之后的数据与全局地图中所包括的物体的位置数据之间的差总体上较小。全局地图可包括实际空间中的每个物体在全局地图的坐标系中的位置数据和与该位置数据有关的时间戳。信息处理设备还可包括显示控制单元，其响应于来自用户的指令，至少部分地使全局地图可视化在屏幕上。根据本发明的另一实施例，提供了一种由信息处理设备执行的地图更新方法，该方法用于更新表示物体在多个用户活动的实际空间中的位置的全局地图，该方法包括以下步骤获取全局地图的至少一部分；生成表示能够由信息处理设备检测到的周围物体的位置的局部地图；以及基于局部地图中所包括的物体的位置数据来更新全局地图。根据本发明的另一实施例，提供了一种程序，该程序用于使得用于控制信息处理设备的计算机起如下作用全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。根据本发明的另一实施例，提供了一种信息处理系统，其包括服务器设备，其使用存储介质来存储表示物体在多个用户活动的实际空间中的位置的全局地图；以及由多个用户当中的一个用户持有的信息处理设备，其中，该信息处理设备包括全局地图获取单元，其从服务器设备获取全局地图的至少一部分；局部地图生成单元，其生成表示能够由该信息处理设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。根据上述本发明的实施例，可以提供如下信息处理设备、地图更新方法、程序以及信息处理系统其使得迅速地在用户当中共享物理物体在实际空间中的位置的变化。
图1是用于说明根据实施例的系统的概要的示意图；图2是用于说明全局地图和局部地图中所包括的物体的位置数据的示意图；图3是示出根据实施例的服务器的配置示例的框图；图4是用于说明部分全局地图的说明图；图5是示出根据实施例的终端设备的配置示例的框图；图6A是用于说明部分全局地图获取处理的第一示例的说明图；图6B是用于说明部分全局地图获取处理的第二示例的说明图；图6C是用于说明部分全局地图获取处理的第三示例的说明图；图7是示出根据实施例的局部地图生成单元的详细配置的示例的框图8是示出根据实施例的自身位置(self-position)检测处理的流程的示例的流程图；图9是用于说明在物体上所设置的特征点的说明图；图10是用于说明特征点的添加的说明图；图11是用于说明预测模型的示例的说明图；图12是用于说明特征数据的配置示例的说明图；图13是示出根据实施例的物体识别处理的流程的示例的流程图；图14A是用于说明由根据实施例的计算单元进行的地图匹配处理的示例的说明图；图14B是用于说明由根据实施例的计算单元进行的地图匹配处理的另一示例的说明图；图15A是用于说明根据实施例的全局地图更新处理的示例的说明图；图15B是用于说明根据实施例的全局地图更新处理的另一示例的说明图；图16是示出根据实施例的地图管理服务器与终端设备之间的地图更新处理的流程的示例的流程图；图17是示出根据实施例的超级客户端(super client)的配置示例的框图；以及图18是示出附加信息的共享的应用的示例的示意图。
具体实施例方式在下文中，将参照附图详细描述本发明的优选实施例。注意，在该说明书和附图中，具有基本相同的功能和结构的结构元件以相同的附图标记表示，并且省略对这些结构元件的重复说明。在下文中，将按以下顺序描述本发明的优选实施例。1.系统的概述1-1.系统配置的示例1-2.位置数据的示例2.根据实施例的地图管理服务器的配置3.根据实施例的终端设备的配置3--1.通信接口
3--2.成像单元
3--3.初始化单元
3--4.全局地图获取单元
3--5.局部地图生成单元
3--6.计算单元
3--7.转换单元
3--8.更新单元
3--9.显示控制单元
4.处理的流程
5.可选示例
5-1.超级客户端5-2.附加信息的共享6.总结<系统的概述>[1-1.系统配置的示例]首先将参照图1和图2描述根据本发明的实施例的系统的概要。图1是说明根据本发明的实施例的信息处理系统1的概要的示意图。参照图1，根据实施例的信息处理系统 1包括地图管理服务器10、终端设备IOOa以及终端设备100b。地图管理服务器10是信息处理设备，其提供用于允许在多个用户当中共享地图和与该地图相关联的信息的地图共享服务。地图管理服务器10在内部或者在外部具有数据库并且在该数据库中存储稍后描述的全局地图。通常通过使用诸如个人计算机(PC)或工作站的通用信息处理设备来实现地图管理服务器10。在该说明书中，将由地图管理服务器10管理的地图称为全局地图。全局地图是表示物理物体在地图共享服务的整个服务区域Ae的实际空间中的位置的地图。终端设备IOOa是由用户Ua持有的信息处理设备。终端设备IOOb是由用户Ub持有的信息处理设备。在该说明书中，当不特别需要区分终端设备IOOa和终端设备IOOb时， 通过去除附于附图标记的字母文字，将它们统称为终端设备100。终端设备100可以通过有线或无线的通信连接，与地图管理服务器10通信。终端设备100通常可以是任何类型的信息处理设备，诸如PC、智能电话、个人数字助理(PDA)、便携式音乐播放器或者游戏终端。终端设备100具有能够检测周围物体的位置的传感器功能。然后，终端设备100 使用该传感器功能，生成表示物体在其自身设备附近(例如，在区域Ah或区域Au3中)的位置的局部地图。在该实施例中，描述了如下情况使用同时定位与地图创建(SLAM)技术作为传感器功能的示例，其中，同时定位与地图创建技术可以使用单目照相机来同时估计照相机的位置和姿势、以及出现在输入图像中的物体的特征点的位置。此外，终端设备100具有使用所生成的局部地图来更新由地图管理服务器10管理的全局地图的更新功能以及显示最新的全局地图(或过去特定时间点处的全局地图)的显示功能。具体地，例如，用户fe可以在终端设备IOOa的屏幕上查看由用户Ub持有的终端设备IOOb更新的全局地图。此外，例如，用户Ub可以在终端设备IOOb的屏幕上查看由用户Ua持有的终端设备IOOa更新的全局地图。[1-2.位置数据的示例]图2是用于说明全局地图和局部地图中所包括的物体的位置数据的示意图。图2示出了在实际空间中存在的四个物理物体Bl至B4。物体Bl是桌子。物体 B2是咖啡杯。物体B3是笔记本PC。物体B4是窗户。物体B4的位置通常不移动。在该说明书中，将不移动的物体称为不移动物体或者陆标。图2还示出了各物体的位置数据Rl至 R4。位置数据Rl至R4分别包括物体ID “Objl”至“0bj4”、位置“XI”至“X4”、姿势“ Ω 1” 至“ Ω4”以及表示生成位置数据的时间点的时间戳“YYYYMMDDhhmmss”。全局地图是如下数据集其包括存在于整个服务区域Ae的实际空间中的物理物体的、如图2所示的位置数据。例如，当一个整体建筑物是服务区域Ae时，全局地图可以不但包括在图2中示出的一个房间中的物体的位置数据，而且包括其它房间中的物体的位置数据。以固定方式将全局地图的位置数据的坐标系事先设置为全局坐标系。另一方面，局部地图是如下数据集其包括存在于终端设备100的附近的实际空间中的物理物体的、如图2所示的位置数据。例如，局部地图可以包括在图2中示出的物体 Bl至B4的位置数据。局部地图的坐标系的原点的位置和坐标轴的方向取决于终端设备100 的照相机的位置和姿势。因此，局部地图的坐标系通常不同于全局坐标系。注意，位置可以由全局地图或局部地图表示的物体不限于图2中示出的示例。例如，可以在全局地图或局部地图中包括诸如位于室外的建筑物或车的物体、而不是位于室内的物体的位置数据。在这种情况下，建筑物可以用作陆标。<2.根据实施例的地图管理服务器的配置〉图3是示出根据实施例的地图管理服务器10的配置示例的框图。参照图3，地图管理服务器10包括通信接口 20、全局地图存储单元30、部分全局地图提取单元40、更新单元50、以及全局地图传递单元60。通信接口 20是用作地图管理服务器10与终端设备100之间的通信连接的中介的接口。通信接口 20可以是无线通信接口或者有线通信接口。全局地图存储单元30与使用诸如硬盘或半导体存储器的存储介质构造的数据库相对应，并且存储表示物理物体在多个用户活动的实际空间中的位置的上述全局地图。然后，全局地图存储单元30响应于来自部分全局地图提取单元40的请求，输出作为全局地图的子集的部分全局地图。此外，由更新单元50更新存储在全局地图存储单元30中的全局地图。此外，全局地图存储单元30响应于来自全局地图传递单元60的请求，输出全局地图的全部或者所请求的部分。部分全局地图提取单元40通过通信接口 20接收与终端设备100的位置有关的信息，并且根据该信息来提取部分全局地图。然后，部分全局地图提取单元40通过通信接口 20将所提取出的部分全局地图传送至终端设备100。部分全局地图是全局地图的子集。部分全局地图表示位于终端设备100的位置附近的局部区域中的物理物体在全局坐标系内的位置。图4是用于说明部分全局地图的说明图。在图4的左侧处示出了包含具有物体 ID “Objl”至“0bjl9”的19个物体的位置数据的全局地图Me。这19个物体分散在图4的右侧处示出的服务区域Ae中。与由用户fe持有的终端设备IOOa的位置的距离是阈值D以下的物体是Bl至B9。在这种情况下，例如，物体Bl至B9的位置数据构成用户Ua的部分全局地图Me(Ua)。此外，与由用户证持有的终端设备IOOb的位置的距离是阈值D以下的物体是物体Bll至B19。在这种情况下，例如，物体Bll至B19的位置数据构成用户Ub的部分全局地图礼(证)。预先适当地设置阈值D，使得在部分全局地图中包括稍后描述的局部地图的范围中的大部分。注意，稍后进一步描述关于提取部分全局地图的其它示例。更新单元50基于通过通信接口 20从终端设备100接收到的物体的位置数据，更新存储在全局地图存储单元30中的全局地图。由此，在全局地图上迅速反映物体在实际空间中的位置的变化。稍后进一步描述通过更新单元50进行的全局地图更新处理。全局地图传递单元60响应于来自终端设备100的请求，将存储在全局地图存储单元30中的全局地图传递至终端设备100。通过终端设备100的显示功能，在终端设备100 的屏幕上使从全局地图传递单元60传递的全局地图可视化。由此，用户可以查看最新的全局地图(或者过去特定时间点处的全局地图)。<3.根据实施例的终端设备的配置〉图5是示出根据实施例的终端设备100的配置示例的框图。参照图5，终端设备 100包括通信接口 102、成像单元110、初始化单元120、全局地图获取单元130、存储单元 132、局部地图生成单元140、计算单元160、转换单元170、更新单元180以及显示控制单元 190。[3-1.通信接口]通信接口 102是用作终端设备100与地图管理服务器10之间的通信连接的中介的接口。通信接口 102可以是无线通信接口或者有线通信接口。[3-2.成像单元]例如，成像单元110可被实现为具有成像元件(诸如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOQ)的照相机。成像单元110可以在外部被安装到终端设备100。 成像单元110将通过对如图2所示的、存在物理物体的实际空间进行成像而获得的图像作为输入图像输出至初始化单元120和地图生成单元140。[3-3.初始化单元]初始化单元120通过使用从成像单元110输入的输入图像，定位终端设备100在全局坐标系中的大致位置。例如，可根据在日本专利申请早期公开第2008-185417号中公开的技术，执行基于输入图像对终端设备100的位置的定位。在这种情况下，初始化单元 120将输入图像与预先存储在存储单元132中的参考图像进行匹配，并且为具有高度匹配的参考图像设置高分数。然后，初始化单元120基于该分数来计算终端设备100的位置的候选的概率分布，并且基于所计算出的概率分布来定位终端设备100的可能位置(假定概率分布中具有最高概率值的位置)。然后，初始化单元120将所定位的终端设备100的位置输出至全局地图获取单元130。注意，初始化单元120可通过使用全局定位系统(GPQ功能而不是上述技术来定位终端设备100的位置。此外，初始化单元120例如可通过使用能够基于来自附近无线访问点的场强度信息来测量当前位置的诸如PlaceEngine的技术，定位终端设备100的位置。[3-4.全局地图获取单元]全局地图获取单元130通过通信接口 102将与终端设备100的位置有关的信息传送至地图管理服务器10，并且获取由地图管理服务器10的部分全局地图提取单元40提取的上述部分全局地图。然后，全局地图获取单元130将所获取的部分全局地图存储到存储单元132中。图6A是用于说明部分全局地图获取处理的第一示例的说明图。参照图6A，终端设备100的全局地图获取单元130将终端设备100在全局坐标系的位置坐标传送至地图管理服务器10。然后，地图管理服务器10的部分全局地图提取单元40例如提取由位于距该位置坐标半径D[m]内的物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。由此，全局地图获取单元130可以获取与具有预定宽度的局部区域相对应的部分全局地图。局部区域例如可以是如下区域其具有能够由终端设备100的成像单元110直接观测的宽度。这使得与获取整个全局地图的情况相比，能够降低终端设备100的通信成本和处理成本。
图6B是用于说明部分全局地图获取处理的第二示例的说明图。参照图6B，终端设备100的全局地图获取单元130将终端设备100在全局坐标系中的位置坐标传送至地图管理服务器10。然后，地图管理服务器10的部分全局地图提取单元40例如提取由按与该位置坐标的距离的升序排列的η个物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。由此，全局地图获取单元130可以获取与包含预定数量的数据的局部区域相对应的部分全局地图。通常，随着预先定义的数据的数量η越大，可以以更高的准确度通过稍后要描述的计算单元160进行部分全局地图与局部地图的匹配。 考虑匹配的准确度与通信成本和处理成本之间的平衡来确定η的值(例如，η的值可以是η =100)。图6C是用于说明部分全局地图获取处理的第三示例的说明图。参照图6C，终端设备100的全局地图获取单元130将用于标识终端设备100所位于的区域的标识符(在下文中称为区域标识符)传送至地图管理服务器10。区域标识符例如可以是终端设备100可以访问的无线访问点的访问点标识符。此外，当一个整体建筑物是服务区域Ae时，区域标识符可以是标识终端设备100所位于的层或房间的号码。接收到区域标识符，地图管理服务器 10的部分全局地图提取单元40提取由以区域标识符表示的区域中所包含的物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。另外，在这种情况下，与获取整体全局地图的情况相比，可以降低终端设备100的通信成本和处理成本。[3-5.局部地图生成单元]局部地图生成单元140基于从成像单元110输入的输入图像和存储在存储单元 132中的、稍后描述的特征数据，生成表示能够由终端设备100检测的周围物体的位置的上述局部地图。图7是示出根据实施例的局部地图生成单元140的详细配置的示例的框图。 参照图7，局部地图生成单元140包括自身位置检测单元142、图像识别单元144以及局部地图构建单元146。(1)自身位置检测单元自身位置检测单元142基于从成像单元110输入的输入图像和存储在存储单元132中的特征数据，动态地检测拍摄输入图像的照相机的位置。例如，即使在成像单元110的照相机是单目照相机时，自身位置检测单元142也可通过应用在“Real-Time Simultaneous Localization and Mappingwith a Single Camera，，(Andrew J. Davison, Proceedings of the 9th IEEEInternational Conference on Computer Vision Volume 2，2003，pp. 1403-1410)中公开的SLAM技术，对于每帧动态地确定照相机的位置和姿势、以及照相机的成像面上的特征点的位置。首先，参照图8描述通过使用SLAM技术的自身位置检测单元142进行的自身位置检测处理的整体流程。接下来，参照图9至图11详细描述自身位置检测处理。图8是示出通过使用SLAM技术的自身位置检测单元142进行的自身位置检测处理的流程示例的流程图。在图8中，当自身位置检测处理开始时，自身位置检测单元142首先对状态变量进行初始化(步骤S102)。在该实施例中，状态变量是如下矢量其包括作为元素的照相机的位置和姿势(旋转角)、照相机的移动速度和角速度以及一个或多个特征点的位置。然后，自身位置检测单元142顺次地从成像单元110获得输入图像(步骤S112)。可针对每个输入图像(也就是说，每帧)重复从步骤S112至S118的处理。在步骤S114处，自身位置检测单元142跟踪在输入图像中出现的特征点。例如， 自身位置检测单元142从输入图像中检测预先存储在存储单元132中的每个特征点的片 (patch)(例如，特征点周围3x3 = 9个像素的小图像)。稍后当更新状态变量时，使用这里所检测到的片的位置，也就是说，特征点的位置。在步骤S116处，自身位置检测单元142基于例如预定的预测模型，生成下一帧的状态变量的预测值。另外，在步骤S118处，自身位置检测单元142使用在步骤S116处所生成的状态变量的预测值和根据在步骤S114处所检测到的特征点的位置的观测值，更新状态变量。自身位置检测单元142基于扩展卡尔曼滤波器的原理，执行在步骤S116和S118 处的处理。作为这样处理的结果，输出针对每帧更新的状态变量的值。在下文中更具体地描述跟踪特征点(步骤S114)、预测状态变量(步骤S116)以及更新状态变量(步骤S118)的每个处理的配置。(1-1)跟踪特征点在该实施例中，存储单元132预先存储表示与可存在于实际空间中的物理物体相对应的物体的特征的特征数据。特征数据例如包括小图像，也就是说，关于一个或多个特征点的片，每个特征点表示每个物体的外观的特征。片例如可以是由特征点周围的3x3 = 9 个像素构成的小图像。图9示出了物体的两个示例、以及在每个物体上所设置的特征点(FP)和片的示例。图9中的左侧物体是表示PC的物体(参照图9a)。在该物体上设置包括特征点FPl的多个特征点。此外，与特征点FPl相关地定义片Pthl。另一方面，图9中的右侧物体是表示日历的物体(参照图％)。在该物体上设置包括特征点FP2的多个特征点。此外，与特征点 FP2相关地定义片Pth2。在获得来自成像单元110的输入图像时，自身位置检测单元142将输入图像中所包括的部分图像与预先存储在存储单元132中的图9中示出的每个特征点的片进行匹配。 然后，自身位置检测单元142指定输入图像中所包括的每个特征点的位置(例如，所检测到的片的中心像素的位置)作为匹配结果。应该注意的是，为了跟踪特征点(图8中的步骤S114)，不一定预先将关于要跟踪的全部特征点的数据存储在存储单元132中。例如，在图10所示的示例中，在时刻T = t-1 处，在输入图像中检测到四个特征点(参照图10a)。接下来，当在时刻T = t处照相机的位置或姿势变化时，在输入图像中仅出现在时刻T = t-Ι处在输入图像中出现的四个特征点中的两个特征点。在这种情况下，自身位置检测单元142可在输入图像的特征像素图样 (pattern)存在的位置处重新设置特征点，并且在用于随后帧的自身位置检测处理中使用新特征点。例如，在图10所示的示例中，在时刻T = t处，在物体上设置三个新特征点(参照图IOb)。这是SLAM技术的特征，并且根据该技术，可以降低预先设置全部特征点的成本， 并且可以使用增加数量的特征点提高处理的准确度。(1-2)状态变量的预测在该实施例中，自身位置检测单元142使用在下面等式中表达的状态变量X作为应用于扩展卡尔曼滤波器的状态变量。
[等式 1] X
权利要求
1.一种信息处理设备，其包括全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由所述多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。
2.根据权利要求1所述的信息处理设备，还包括计算单元，其基于所述全局地图中所包括的物体的位置数据和所述局部地图中所包括的物体的位置数据，计算所述局部地图相对于所述全局地图的相对位置；以及转换单元，其根据所述局部地图的所述相对位置，执行从所述局部地图中所包括的物体的位置数据到所述全局地图的坐标系的数据的坐标转换，其中，所述更新单元通过使用在由所述转换单元进行的坐标转换之后的所述局部地图中所包括的物体的位置数据，更新所述全局地图。
3.根据权利要求1所述的信息处理设备，其中所述信息处理设备是由所述一个用户持有的终端设备。
4.根据权利要求3所述的信息处理设备，其中所述全局地图获取单元从存储所述全局地图的服务器设备获取所述全局地图的至少一部分，并且所述更新单元通过将物体的位置数据传送至所述服务器设备来更新所述服务器设备的所述全局地图。
5.根据权利要求4所述的信息处理设备，其中所述全局地图获取单元获取所述全局地图中与包含所述终端设备在实际空间中的位置的局部区域相对应的部分。
6.根据权利要求4所述的信息处理设备，其中所述全局地图获取单元获取所述全局地图中表示位于极接近于所述终端设备之处的预定数量的物体的位置的部分。
7.根据权利要求1所述的信息处理设备，其中所述局部地图生成单元基于通过使用成像设备来对实际空间进行成像而获得的输入图像和表示一个或多个物体的外观的特征的特征数据，生成所述局部地图。
8.根据权利要求2所述的信息处理设备，其中所述计算单元基于所述全局地图和所述局部地图中所共同包括的不移动物体的位置数据，计算所述局部地图的所述相对位置。
9.根据权利要求2所述的信息处理设备，其中所述计算单元计算所述局部地图的所述相对位置，使得当将所述局部地图中所包括的物体的位置数据转换成所述全局地图的坐标系的数据时，转换之后的数据与所述全局地图中所包括的物体的位置数据之间的差总体上较小。
10.根据权利要求1所述的信息处理设备，其中所述全局地图包括实际空间中的每个物体在所述全局地图的坐标系中的位置数据和与该位置数据有关的时间戳。
11.根据权利要求1所述的信息处理设备，还包括显示控制单元，其响应于来自用户的指令，至少部分地使所述全局地图可视化在屏幕上。
12.—种由信息处理设备执行的地图更新方法，所述方法用于更新表示物体在多个用户活动的实际空间中的位置的全局地图，所述方法包括以下步骤获得所述全局地图的至少一部分；生成表示能够由所述信息处理设备检测到的周围物体的位置的局部地图；以及基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。
13.一种程序，其用于使得用于控制信息处理设备的计算机起如下作用全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由所述多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。
14.一种信息处理系统，其包括服务器设备，其使用存储介质来存储表示物体在多个用户活动的实际空间中的位置的全局地图；以及由所述多个用户当中的一个用户持有的信息处理设备，所述信息处理设备包括 全局地图获取单元，其从所述服务器设备获取所述全局地图的至少一部分； 局部地图生成单元，其生成表示能够由所述信息处理设备检测到的周围物体的位置的局部地图；以及更新单元，其基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。
全文摘要
本发明提供了一种信息处理设备、地图更新方法、程序以及信息处理系统，其中，该信息处理设备包括全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。
文档编号G09B29/10GK102194367SQ201110051888
公开日2011年9月21日 申请日期2011年3月2日 优先权日2010年3月9日
发明者多井坚一郎, 松田晃一, 王全, 芦原隆之 申请人:索尼公司
最新回复(0)