用于管理预定环境中的资产的系统的制作方法

用于管理预定环境中的资产的系统的制作方法
【技术领域】
[0001] 本申请针对用于管理与数据中屯、相关联的基础设施的系统和方法，具体针对具有 显示器的移动电子装置，可W在该显示器上将与数据中屯、环境中的设备的多个物品的操 作、配置、状态W及标识有关的实时信息提供给数据中屯、工作者。更具体地，可W在显示在 平板电脑的显示器上的设备的相关物品之上或邻近处的一个或更多个图像叠加中提供实 时信息。也可W在平板电脑的显示器上提供逐向（化rn-by-化rn)方向来辅助数据中屯、工 作者对数据中屯、环境进行导航W快速定位受影响的设备。
【背景技术】
[0002] 本部分中的陈述仅提供与本公开内容相关的、不一定构成现有技术的背景信息。
[0003] 在数据中屯、应用中，需要能够盘点将要安装在数据中屯、中的新部件，并且在部件 被安装在数据中屯、中后，需要能够快速并且容易地识别可W被安装在设备机架中的部件， 或者甚至可W为独立部件（例如，独立的服务器）的部件。在后一种情况下，当获得关于部 件的状态信息或配置信息时能够可靠地识别安装在数据中屯、中的部件（在机架中或者作 为独立式部件）可能很重要。
[0004] 目前盘点数据中屯、部件的一种方法是手动输入部件信息，例如，使用与计算机相 关联的键盘将标识号、序列号或其他标识符录入数据库。然后，计算机在合适的数据存储中 记录被录入的标识（ID)信息。如果需要获得与正在数据中屯、中使用的特定部件有关的信 息，则通常用户可能需要手动录入ID号W拉出该部件的规格。显然，在该两种情形下，不管 是当生成数据中屯、物品的库存时还是当查找关于某一数据中屯、物品的技术规格时，如果用 户录入不正确的ID号，则可能导致混淆和耗时的故障排除。
[0005] 影响数据中屯、环境的管理的另外因素是现在位于较大或者很大的数据中屯、环境 中的设备的物品的绝对数量。在一些很大规模的环境中，数据中屯、环境可W是具有几百或 更多列设备的房间或房间的集合。每列设备可W具有几十个或者甚至可能几百个设备的 物品，其从服务器、电力分配单元（PDU)、网络交换机、存储器存储装置化及路由器，到许多 类型的传感器和用于监视该种装置的实时工作、W及功耗（在设备/机架/列级别下）、冷 却使用（即，计算机室空调（CRAC)单元的工作）、湿度监视等的其他监视装置。无论何时 发生影响数据中屯、（或其特定子区域）内的工作情况或者影响数据中屯、中的设备的各个物 品的预定情况或事件，现代数据中屯、管理系统能够实时地生成警报、警告W及事件"通知"。 在该些警报、警告或者事件通知中的任何之一的情况下，数据中屯、工作者及时检查数据中 屯、的受影响的区域或受影响的设备的物品可能变得必须或可取。在许多数据中屯、特别是很 大的数据中屯、中，其中几百或几千件设备分散在几十、几百或者甚至几千列的设备上，并且 有时候分散在多个房间中，仅定位设备物品就可能是具有挑战性的。
[0006] 通常，数据中屯、工作者可能需要从预定位置监视数据中屯、环境，然后当生成警报、 警告或事件通知时他/她必须物理地写下关于受影响的设备的位置的信息。然后，工作者 可W开始走过数据中屯、的许多通道W视觉定位受影响的设备。视觉定位受影响的设备可能 具有挑战性，该是因为数据中屯、环境中的机架可能看起来几乎相同，仅有的区别特征通常 是每个机架的框架工件上的一些ID标记。另外，机架内的特定部件一旦被安装到设备机架 中通常看起来几乎相同，仅有的标识信息被呈现在设备的名牌上。因此即使在数据中屯、工 作者具有关于从其生成警报/警告/通知的具体列/机架的正确信息的情况下，仅定位具 体设备物品通常会是耗时的并且在视觉上有很高的挑战性。并且如果数据中屯、工作者正在 走出数据中屯、并且大约在数据中屯、内，则当被通知警报/警告/通知情况时（例如，通过手 机呼叫或寻呼机通知）他/她可能需要返回预定控制中屯、W便获得对定位受影响的设备所 必须的详细信息。仅此时工作者才能够推迟W走过数据中屯、环境来定位并检查受影响的区 域或具体设备。 【实用新型内容】
[0007] 本公开的一个方面设及一种用于管理预定环境中的资产的系统。该系统可W包 括；被设置在特定资产或特定资产驻留在其中的设备机架中的至少之一上的标识装置。可 W包括移动电子装置，其可W具有；具有处理器可执行代码的处理器；显示器；用于获得标 识装置的图像的摄像机；W及用于存储与多个不同资产有关的资产信息的存储器。可执行 代码可W用于根据图像和所存储的资产信息来实时地确定与特定资产相关的信息。信息 可W显示在显示器上。
[000引本公开的另一方面设及一种用于管理预定环境中的资产的系统，其中，需要完成 资产的盘点或操作中的至少之一。该系统可W包括适于W无线的方式与远程系统进行通信 的移动电子装置。移动电子装置可W具有；处理器；显示器；W及用于获得位于预定环境内 的资产的图像和标识装置的图像的摄像机。可W包括W无线的方式与移动电子装置进行通 信的远程布置的数据中屯、基础设施管理值CIM)系统。DCIM系统可W被配置为；W无线的 方式从摄像机接收图像；分析该图像W根据其确定资产的身份；W及W无线的方式将与该 身份相关的信息发送回该移动电子装置W在显示器上显示。
[0009] 本公开的再一方面设及一种用于管理预定环境中的资产的方法。该方法可W包括 将标识装置置于特定资产驻留在其中的设备机架上。可W使用移动电子装置来获得特定资 产的图像和标识装置的图像。可W使用移动电子装置根据携载的数据库实时地确定驻留在 设备机架中的特定资产。也可W使用移动电子装置根据特定资产的图像实时地识别特定资 产的身份。然后，可W使用移动电子装置实时地将与特定资产有关的特定信息提供在移动 电子装置的显示器上。
[0010] 本公开的再一方面设及一种用于管理预定环境中的资产的方法，其中，需要完成 资产的库存管理与资产的监视操作中的至少之一。方法可W包括；将标识装置置于特定资 产驻留在其中的设备机架上；W及使用移动电子装置来获得特定资产的图像。然后，可W通 过移动电子装置发送与图像和标识装置有关的信息。可W使用远程布置的数据中屯、基础设 施管理值CIM)系统来存储与多个资产有关的资产信息，并且接收与图像和标识装置有关 的信息。DCIM系统可W根据图像和所存储的资产信息实时地确定特定资产的特定身份，然 后可W生成与特定资产相关的特定信息。然后，DCIM系统可无线的方式将特定信息发 送回移动电子装置W显示在移动电子装置的显示器上。
【附图说明】
[0011] 本文中所描述的附图仅出于对所选实施例而并非所有可能实施方式的说明目的， 并且不旨在限制本公开内容的范围。
[0012] 图1是根据本公开的一个实施例的设备（在该示例中为便携式计算平板电脑）的 框图，该设备可W用于视觉地识别并盘点数据中屯、环境中的设备，W及提供关于所视觉识 别的特定设备的特定技术信息；
[0013] 图2是与图1中的平板电脑一起使用的数据库的内容的一个实施例的简化表示；
[0014] 图3是可W由图1的平板电脑进行的操作的流程图；
[0015] 图4是当平板电脑被用户用于识别安装在设备机架内的部件时可W怎样将平板 电脑的显示器呈现给用户的简化图示；
[0016] 图5是可W根据替代性方法进行的操作的流程图，其中平板电脑仅用于使用与设 备机架相关联的ID号来识别存在于给定设备机架内的部件；
[0017] 图6是系统的高级框图，其中计算平板电脑与数据中屯、基础设施系统通信，并且 平板电脑能够在显示在平板电脑上的数据中屯、内的设备部件、机架W及其他区域上或其邻 近处显示与警报、配置或状态有关的叠加；
[001引图7是图5中描述的平板电脑的高级框图，示出了平板电脑的主要子系统；
[0019] 图8是显示在平板电脑上的图像，示出了可W提供的各种类型的叠加；
[0020] 图9是特定设备机架前部的另一图像，示出了可W呈现在平板电脑的显示器上的 其他类型的信息；
[0021] 图10是高级流程图，示出了在图7的平板电脑上生成叠加的过程中进行的各种操 作；
[0022] 图11是高级流程图，示出了在生成作为一个或更多个叠加提供给图7的平板电脑 的逐向方向的过程中进行的各种操作；
[0023] 图12是结合图11论述的显示在图7的平板电脑上的逐向方向的图像；
[0024] 图13是方法的一个示例的流程图，该方法可W用于获得由平板电脑的摄像机获 得的查询图像的关键点，并且处理关键点W识别查询图像中示出的特定数据中屯、资产；W 及
[0025] 图14是示出本文中描述的教示的其他实施方式的高级附图。
【具体实施方式】
[0026] W下的描述在本质上仅是示例性的，并不旨在限制本公开内容、应用或用途。应当 理解，贯穿附图相应的附图标记指示相似或相应的部分，并且现在将参照附图更全面地描 述示例实施方式。
[0027] 参照图1示出了根据本公开内容的一种实施方式的系统100。在该实施方式中，系 统100可W使用移动设备1000来识别预定区域中例如数据中屯、环境内存在的设备。设备 1000可W包括能够易于被个人携带的移动电子装置。在一个具体示例中，设备1000形成计 算平板电脑，出于便利的目的贯穿W下的论述将该计算平板电脑简称为"平板电脑1000"。 然而，应当理解，可W相当容易地在智能手机、膝上型计算机或者任何其他形式的具有内置 摄像机的移动电子装置上实现本公开的教示。
[002引平板电脑1000可W包括；摄像机例如后置摄像机1012 ;视觉显示器1014例如液 晶显示器（LCD)或触摸屏LCD;处理器1016 ;加载W在处理器1016上运行的操作系统1018 ; 非易失性存储器（例如，RAM) 1020;W及无线网络适配器1022。系统100还可W包括远程 计算机1024,远程计算机1024具有被加载到其上的图像识别软件1026。可W使用无线网 络适配器1022由平板电脑1000W无线的方式来访问远程计算机1024。远程计算机1024 可W用于接收由摄像机1002获得的图像。系统100还可W包括远程布置的数据库1028,远 程布置的数据库1028包含很多种数据中屯、部件的存储图像W及关于每个部件的信息。可 W由远程计算机1024通过有线连接或无线连接访问远程布置的数据库1028。
[0029] 图像识别软件1026可W被定制编写，W便能够识别人们知道将在数据中屯、环境 中使用的特定部件。处理器1016可W是适于对从摄像机1012获取图像进行管理并且与远 程计算机1024通信的任何形式的处理器例如微处理器。远程计算机1024可W是个人计算 机例如台式PC、膝上型计算机或者下述任何其他形式的计算机；其具有足够的处理能力W 使用由平板电脑1000提供的摄像机图像和图像识别软件1026来进行图像识别，并且将标 识被成像的部件的信息W及其他相关信息提供回平板电脑1000。
[0030] 简要参照图2,数据库1028可W包含图像库1030,图像库1030具有各种制造商的 多种部件的图像，可W在数据中屯、中使用该些部件。在该方面应当理解，将在使用平板电 脑1000前构造图像库1030。数据存储1032可W被包含在数据库1028中W使与每个设备 机架ID号相关联的多个设备相互关联，并且保持关于每个部件的详细信息。存储在数据库 1030中的图像可W包括几乎任何类型的数据中屯、部件的图像，但是一些该样的部件可W 是（并非限制）刀片服务器、处理器、电力分配单元（PDU)、交换机、路由器等。图像可W仅 是部件的前部的图像或者图像可W是各种部件的前面板和后面板二者的图像。图像也可W 是侧面板、顶部面板或底部面板的图像，但是在大多数情况下，预期仅部件的前面板和/或 后面板的图像就足W使得远程计算机1024能够使用来自图像库1030的图像准确地识别该 部件。另外，图像有可能是装运部件的箱子的图像，或者甚至是使得部件能够被视觉地识别 的发票或其他文档。总之，可W被视觉地读取并且使得平板电脑1000能够视觉地识别所讨 论的部件的几乎任何事物被认为在可W具有与存储在图像库1030中的图像相关联的图像 的物品/文档范围内。数据存储1032可W包含每个部件的多种信息例如部件的简要描述、 部件的制造、型号、序号、号码和/或输入和输出的类型、功耗、数据存储容量、保修信息、尺 寸等。此外，数据存储1032还可W存储与部件被安装在其中的机架的一个或更多个具体槽 位置有关的信息。该在一些情况下可W通过将视觉可辨别的符号或号码放置到机架框或者 甚至可能部件自身的前面板或后面板上来实现。当平板电脑1000用于对部件进行成像时， 摄像机1012将把槽的符号或号码连同部件自身的图像包括在一起。然后，远程计算机1024 可W将与被成像的具体部件W及其在机架内的一个或更多个槽位置有关的信息提供回平 板电脑1000。
[0031] 在另一实施方式中，平板电脑1000可W包含图像识别软件1026,并且可W使用从 数据库1028获得的存储图像来进行图像识别。然而，在可W使用数百或更多个不同类型 的部件的大规模数据中屯、中，使用远程计算机1024而不是平板电脑1000的携载的处理器 1016来进行图像比较可W更高效。另外，可W将数据库包含在包含所有预定图像的平板电 脑1000上，W使得所有的图像处理操作可W通过平板电脑1000进行而不需要访问任何外 部部件或远程部件。然而，如上所指出的，所有的上述实施方式被认为在本公开的范围内。
[0032] 参照图3,将提供可W由平板电脑1000进行的操作的流程图1100。首先，如操作 1102所示，平板电脑1000被用户物理地操纵，使得平板电脑1000的摄像机1012对准部件 或机架上的ID标签。ID标签可W是条形码或者通过其在数据中屯、中的位置（例如，通过 列编号）唯一地标识部件或标识机架的任何其他合适的装置。通常条形码被置于当用户站 在机架前时便于用户看到的机架的框架单元上。如操作1104所示，然后，平板电脑1000可 W无线地将ID标签的图像发送给远程计算机1024。如操作1106所示，然后，远程计算机 1024可W使用其图像识别软件1026来视觉地识别ID标签，W便远程计算机1024确切地知 道哪个部件或机架正被用户观看。如操作1108所示，实时地将与一个或更多个部件有关并 且与来自数据库1028的图像相对应的技术信息发送回平板电脑。如操作1110所示，在显 示器1014上呈现该信息。
[0033] 或者，可W在部件或机架上使用射频ID标签（RFID标签）。在该实施方式中，平板 电脑1000可W设置有合适的子系统W无线地读取RFID标签，然后将编码在RFID上的与部 件或机架的标识有关的标识信息发送回远程计算机1024。该两种实施方式均被认为在本公 开的范围内。
[0034] 在操作1110处，处理器1016可W实时地将正被摄像机1012成像的部件的图像 无线地发送给远程计算机1024。在操作1112处，远程计算机1024通过使用图像识别软件 1026将呈现在显示器1014上的图像与存储在图像库1026中的图像进行比较，对呈现在显 示器1014上的图像进行实时比较分析。如操作1114所示，当远程计算机1024识别出显示 在显示器1014上的特定部件时，然后远程计算机1024可W实时地将关于被成像的部件的 信息发送回平板电脑1000。在操作1116处，然后，平板电脑1000的处理器1016可W在显 示器1014上实时地生成叠加或对话框，W在其中呈现由远程计算机1024提供的信息。如 上所述，信息还可W包括部件被安装到其中的一个或更多个具体槽。该可W向用户提供部 件确实安装在数据库1028的记录指示部件被安装在的机架的一个或更多个槽处的确认。
[0035] 简要参照图4,示出了具有呈现在显示器1014上的弹出式对话框1122的平板电脑 1000的示例。在该示例中，平板电脑1000的摄像机1012对准机架1124,机架1124具有W 垂直布置的方式容置在其中的多个部件。弹出式对话框1122在显示器1014上形成指向被 成像在显示器1014上的一个特定部件的叠加。可W在对话框1122内提供与对话框1122 指向的部件有关的信息，但是在该示例中没有示出该信息W避免使图混乱。当用户使平板 电脑1000向机架1124上或向机架1124下移动拍摄时，平板电脑1000实时地快速视觉地 识别被成像的部件，并且用与被成像的部件有关的适当的信息来更新对话框1122。在该方 面可W有助于显示器1014包括指定区域例如显示器1014的中部区域，该指定区域由虚线、 或阴影、或者W其他方式指示为指定的"目标"区域1014a，用户应当在指定的"目标"区域 1014a内放置用户感兴趣的组件的图像。可W通过显示器1014上的触摸按钮调整目标区域 1014a的大小，使得可W在目标区域1014a内放置多于一个组件的图像。该对识别在机架 中占用多于一个"U空间"的部件会是有用的。当用户向上或向下移动平板电脑1000时，摄 像机1012将扫描机架1124的部件，该将高效地逐个"滚动"通过指定目标区域1014a。当 机架1124内的每个部件的图像移动通过指定目标区域1014a时，平板电脑1000将实时地 使用远程计算机1024来识别位于区域1014a内的部件。然后，平板电脑1000更新其显示 器1014,其中由远程计算机1024提供的信息呈现在对话框1122中。
[0036] 再次参照图3,如操作1112所示，如果平板电脑1000被用户用于读取关于位于机 架中的部件的详细技术信息，其中部件被预先盘点并且已经运行（即，不是刚新近安装在 机架中），则远程计算机1024可W可选地指示所成像的部件当前是否未被分配给机架。该 情况可W指示有人在没有更新机架的配置的情况下将部件安装在机架中。在操作1114处， 远程计算机1024可W更新数据库1028,特别是更新数据存储1032,使得 生成机架1124的 内容的最新记录。
[0037] 参照图5,将描述示出使用平板电脑1000的另一操作序列的流程图1200。如操作 1202所示，在该操作序列中，平板电脑1000可W用于读取机架或部件上的ID标签，然后从 远程计算机1024获得机架或部件的技术信息和图像。平板电脑1000通过将获取的ID标 签的图像发送给远程计算机1024,然后远程计算机1024视觉地识别该ID标签，来完成上述 操作。如操作1204所示，然后，远程计算机1024从数据库1028获得部件或者其部件位于 其中的机架的存储图像W及关于每个部件的详细信息。在操作1206处，处理器1016实时 地将与一个或更多个部件有关的图像和技术信息显示在平板电脑1000的显示器1014上。 W该方式，由远程计算机1024使用的图像识别软件1026的视觉识别能力只需要精密到足 W读取机架的ID码的程度；换言之，远程计算机1024不需要实际视觉识别每个安装在机架 内的部件的智能。预期该平板电脑1000的实施例在下述该些环境中会尤其有用；仅预期需 要周期性地"读取"设备机架的内容W获得所需的关于机架的每个部件的详细信息，而不生 成新近安装在设备机架中的部件的盘点。
[003引在本文中描述的实施例中的任何实施例中，平板电脑1000可W有助于消除或识 别设备信息中的错误，该是因为消除了或显著减少了用户手动录入标识信息的需要。在本 文中描述的平板电脑1000的实施例连同其各种描述的操作序列，使得能够通过与部件的 存储库图像进行视觉比较来快速、容易和可靠地识别设备机架的具体部件。该可W显著减 轻数据中屯、人员盘点和/或验证位于具体设备机架中的部件的负担，并且可W实时地将与 每个识别的部件有关的有用信息提供给数据中屯、人员。
[0039] 现在参照图6和图7,示出了整体系统2000,其中移动计算平板电脑2002的另一 实施例结合数据中屯、基础设施管理系统2004 (此后称为"DCIM" 2004)工作。在具有被多 个通道分隔开的多列设备机架的数据中屯、设施2006中可W使用一个或更多个移动计算平 板电脑2002 (此后简称"平板电脑"2002)。通常在设施2006中工作的每个数据中屯、工作 者可W具有由他/她支配的平板电脑2002,然而工作者明显可W共享单个平板电脑。在图 6的示例中，包括单独的数据收集和监视装置2008a、2008b及2008cW从多种传感器、基础 设施部件（例如，空调部件及电力监视部件）W及数据中屯、部件（例如，处理器、服务器等） 收集实时信息。出于W下论述的目的，贯穿W下论述，数据收集和监视装置2008a、2008b及 2008c被称为"通用管理网关"（UMG)2008a、2008b及 2008c。在图6中，UMG2008a、2008b 及2008c分别处理与和列1至列3相关联的传感器和设备的通信。然而，该仅是可W怎样 配置UMG2008的一个示例，并且应当理解其他的配置也是可W的。
[0040] 在图6的示例中，UMG2008b配备有用于与平板电脑2002中的任何平板电脑进行 无线通信的无线收发器2010。如此，应当理解，如果UMG2008a和UMG2008c各自也设置有 无线收发器，则平板电脑2002可无线的方式直接与UMG2008a至2008c中的任何UMG 通信。UMG2008a至2008c中的每个也可W与无线LAN2012通信。平板电脑2002也可W被配置为直接与DCIM系统2004的一个或更多个子系统通信。
[0041] DCIM系统2004可W包括DCIM软件应用套件2014，DCIM软件应用套件2014可W 包括一个或更多个数据中屯、管理或监视应用。包括一个或更多个处理部件或子系统的处理 系统2016可W控制和协调DCIM2004的各种子系统间的通信和操作。可W包括GPS/方向 生成子系统（此后简称"方向生成子系统"）2018W生成为显示在平板电脑2002中的任一 平板电脑的显示器上的文字或符号（例如，箭头）形式的逐向方向，W帮助将数据中屯、工作 者朝向设施2006内的特定设备或机架进行导航。出于识别设备机架中的具体部件的目的， 图像识别处理子系统2020辅助处理由平板电脑2002中的每个平板电脑提供的图像。图像 数据库2022可W被提供用于保持可W位于设施2006内的所有部件的图像，不管该部件是 机架安装部件例如PDU(电力分配单元）还是独立部件例如CRAC(计算机室空调）单元。 可管理性服务子系统（MSS) 2024可W用于通过UMG2008a至2008c接收从数据系统内的各 种装置和传感器收集的实时数据。在该方面，应当理解，UMG2008a至2008c中的一个或更 多个UMG也可W包括MSS"引擎"（未示出），出于数据聚合、过滤等目的，MSS引擎可W用 于最初向所收集的数据应用预定的规则或算法。为了辅助生成可W显示在平板电脑2002 中的每个平板电脑的显示器上的警报、状态、配置、库存或一般信息叠加，DCIM2004也可W 包括增强现实图像控制（"邸1C")子系统2026。叠加可W包括来自存在于数据中屯、中的 传感器或其他监视装置的信息，并且叠加可W设及警报情况、警告或事件通知。警报可W针 对数据中屯、设施2006的区域发生的突然情况，例如，为设施2006的子部分供应冷却空气的 CRAC单元发生故障。警报也可W针对低电压、低电流、高电压、高电流、高温、低温、或可W影 响设施2006内的设备或机架的物品或者甚至设施的子部分例如通道的部分的几乎任何其 他情况。警告可W针对数据中屯、工作者可能想要知道的但是可能没有上升到警报的紧急性 的任何情况发生。换言之，警告可W针对与警报相同但是较不严重的事项，从而在情况上升 到警报的级别前对可能的情况提供较早的警告。"事件通知"可W为发生了数据中屯、工作者 会感兴趣知道的事件。叠加也可W包括配置、状态、库存或会有助于使数据中屯、工作者在设 施2006中工作和检查设备时实时地立即可获得的任何其他形式的信息。
[0042] 在图6中，方向生成子系统2018可W使用任何形式的追踪方法来W文字或仅通过 箭头的方式提供逐向方向作为给定平板电脑2002显示的图像上的叠加。该种方法可W设 及使用贯穿设施2006放置的，从平板电脑2002接收实时信标信号的多个方向天线（未示 出）。根据由在一个或更多个天线处接收的信号做出的信号强度测量值，可W确定平板电 脑中给定的一个平板电脑的近似的实时位置。该可能需要每个平板电脑2002具有识别其 信标信号的一些装置，W便可W区分不同的平板电脑2002 (假定不同的工作者同时在设施 2006中使用多于一个平板电脑2002)。平板电脑2002中的不同的平板电脑可略微不 同的预定电磁波频率生成信标信号。然后，应当理解，本公开不限于用于识别平板电脑2002 的实时位置的任一特定装置。例如，一旦确定基准位置，也可W使用与平板电脑2002相关 联的惯性传感器。该也可W通过对工作者当前位置附近的设备进行图像识别来实现。另外， 可W使用视觉识别技术和由平板电脑2002中的加速度计生成的信号的组合。该也可W用 地上或沿设备机架的侧部的颜色编码标记来辅助。
[0043] 再次参照图6,膝上型计算机2028和桌上型计算机2030可W直接与DCIM应用套 件2014通信。或者，远程布置的计算装置2032可W在广域网例如因特网上与DCIM2004 通信。类似地，无线LAN2012可W与DCIM2004有线通信，或者可W在广域连接例如因特 网上与DCIM通信。预期在大多数实施方式中平板电脑2002被配置为与无线LAN2012通 信。如果出于一些原因不能够提供无线LAN,则平板电脑2002可W各自预加载有DCIM数据 存储的用于自主/非连接操作的部分。
[0044] 现在参照图7,示出了平板电脑2002中的一个平板电脑的示例的更详细的视图。 平板电脑2002可W包括视频摄像机2034和显示器2036。该显示器可W是任何合适的显 示器，但是优选地是高分辨率彩色LCD显示器。平板电脑2002还包括处理器2038,处理器 2038可W管理图像叠加子系统2040、图像识别子系统2042W及条形码识别子系统2044。 图像识别子系统2042可W采用一个或更多个图像处理算法2042a，图像处理算法2042a用 于分析由摄像机2034提供的图像W识别被成像的具体部件。应当理解，如果在DCIM2004 中使用相同的子系统，则可W省略图像识别系统2042,反之亦然。处理器2038可W运行任 何合适的操作系统2046,例如但不限于流行的iOS的（用于苹果iPad的）版本或者可W为 与许多目前流行的计算平板电脑一起使用的ANDROID⑩操作系统。平板电脑2002还 可W包括非易失性存储器2048,用于存储各种类型的信息，包括由平板电脑2002收集的与 警报、警告、配置或状态情况有关的信息，W及需要为现在或将来使用而存储的任何其他类 型的信息。可W提供数据库2049用于存储图像或与处理器可W访问的数据中屯、部件有关 的图像相关信息。因此，如果能够访问用 于该存储信息的数据库2049,则处理器2038不需 要出于在平板电脑2002上进行全部图像识别处理的目的访问任何外部数据库。
[0045] 也可W包括GI^S子系统2050,其具有用于地图2052的单独的存储器W及单独的 GI^S天线2054。在许多数据中屯、环境中，使用GI^S系统从卫星接收GI^S信号不实际或者不 可能，因此可W将该子系统看作是可选的。可W包括加速度计2056,其用于当用户使平板 电脑向上、向下W及水平地向左和向右移动拍摄时感测平板电脑2002的移动，并且加速度 计2056可W用于帮助W纵向显示或横向显示的方式重定向显示器2036,该取决于用户如 何持有平板电脑2002。也可W包括扬声器2058,用于回放与警报、警告、事件通知、配置、 库存或状态信息等有关的预定音频信息。无线网络适配器2060可W用于（当可获得无线 连接时）无线地提供与数据中屯、设施2006中的服务器或设备的任何其他物品有关的实时 信息。该可W包括实时警报、警告、事件通知、容量更新（例如，改变热/功率限制）W及任 何其他配置、状态、保修、所有权或者数据中屯、工作者在检查数据中屯、设施2006中的设备 时可能想实时地知道的其他类型的相关信息。无线网络适配器2060也可W用于检索与数 据中屯、资产更新或被更新的用于数据中屯、设施2006中的给定机架/服务器或任何其他设 备物品的图像识别数据有关的实时信息。
[0046] 图8和图9示出了显示在平板电脑2002的显示器2036上的各种类型的相关实时 信息的示例。图8示出了针对设施2006的地板部分的为黄色文字的"低空气"警告2062。 还示出了叠加在平板电脑2002正在成像的特定机架安装部件上的"温度超过阔值"警告 2064。该警告可W被设置成红色，指示需要比"低空气"警告更高或更紧急级别的关注的情 况。另外，可黄色在不同的机架的特定部分上示出"面板是打开的"警告2066W警告数 据中屯、工作者设备机架的面板没有关闭。因此，应当理解，平板电脑2002的摄像机2034可 能未必需要直接对准系统的给定机架W检测影响数据中屯、设施2006的给定通道中的一个 或更多个部件的相关情况。图9示出了摄像机2036对准的特定机架2068的前部，连同显 示在平板电脑显示器2036上的各种实时信息，该实时信息包括"历史"信息叠加2070、"所 有权"信息叠加2072、W红色文字呈现的"故障的驱动单元"叠加通知2074W及条形码八〇 号叠加2076。
[0047] 参照图10,将针对平板电脑2002描述示出的高级操作序列的流程图2100。在操 作2102处，数据中屯、工作者将平板电脑2002的摄像机2034对准与特定机架相关联或可能 与特定设备列或特定通道相关联的条形码标识标记。在操作2104处，来自摄像机的图像经 由无线LAN网络2012在无线链路上发送回DCIM2004。在操作2016处，DCIM2004可W使 用其图像识别处理子系统2020来识别被摄像机2034成像的机架/部件、或者可能的设备 列或通道。或者，如果平板电脑2002包括其自身的图像识别子系统2042,则平板电脑2002 可W能够在没有来自任何远程部件或子系统的辅助的情况下进行该操作。
[0048] 在操作2108处，DCIM2004确定任何实时警报/警告/配置/状态/库存信息或 者需要经由一个或更多个叠加来显示的任何其他相关信息。在操作2110处，DCIM2004使 用邸1C子系统2026来生成用于构造所需的叠加的数据，并且将该数据在无线LAN2012上 发送给平板电脑2002。在操作2112处，平板电脑2002的图像叠加子系统2040使用接收的 数据来生成一个或更多个叠加，然后，如操作2114所示，将该一个或更多个叠加显示在显 示器2036上。
[0049] 图11示出了另一高级流程图2200,其示出系统2000可W如何追踪平板电脑2002 在数据中屯、设施2006内的实时位置。在操作2202处，数据中屯、设施2006内的各种选择性 放置的天线（未示出）可W从平板电脑2002接收无线电磁波信标信号，并且经由无线LAN 2012将信号发送给DCIM2004。在操作2204处，DCIM2004的GI^S地图/方向生成子系统 2018可W使用从天线接收的实时信号的信号强度来确定平板电脑2002的大概位置。应当 理解，该种系统可能具有的位置准确度取决于多种不同的因素，包括但不限于；使用的天线 的数量、天线在数据中屯、设施2006内的间隔W及设及数据中屯、的布置的其他因素。
[0化0] 在操作2206处，GI^S地图/方向生成子系统2018生成叠加数据（文字或符号）， 并且经由无线LAN2012将该数据发送回平板电脑2002。在操作2208处，平板电脑2002 使用其图像叠加子系统2040实时地施加方向数据作为显示在平板电脑的显示器2036上的 图像上的叠加。在步骤2210处，当用户走过数据中屯、设施2006时，实时地更新具有新方向 数据的图像。该实质上设及重复操作2202至2208。因此，平板电脑2002能够经由书面文 字、符号或其组合，通过提供逐向方向引导数据中屯、工作者通过数据中屯、设施2006,W帮助 工作者快速到达数据中屯、的特定设备机架、部件或部分。图12示出了用于呈现作为平板电 脑的显示器2036上的叠加的方向信息的叠加2078和叠加2080。
[0化1] 现在参照图13,示出了流程图2300,其示出一种使用图像处理算法2042a来识别 特定数据中屯、资产的方法。合适的图像处理算法的一个示例是由开源计算机视觉的penCV) 库提供的SURF(快速鲁椿特征）检测算法。SURF从图像提取区别性特征或关键点，该特征或 关键点表示强度值最显著地不同于其近邻的强度值的像素。对于每个关键点，化enCVSURF 生成矢量形式的特征描述符。描述符的一个元素是特征响应，该特征响应在关键点的邻域 中捕捉关键点的强度的区别性。
[0化2] 对于给定的图像可W生成大量的关键点。移动装置对存储器和计算能力具有严格 的约束，并且图像处理和资产识别的时间复杂度主要为图像中关键点的数量的函数。因 此，优选地首先使用一些方法来减少关键点的总数量。关键点的随机消除降低了找到资产 的准确匹配的概率。因此，可W使用算法方法来减少关键点的数量。
[0053] 一种用于关键点减少的具体方法设及分辨率降低。关键点的数量取决于被分析的 图像的像素分辨率；通常会从较高分辨率的图像提取出较大量的关键点。较低分辨率图像 将线性减少关键点提取时间，并且随着由于子采样引起的图像特征的消失，检测的关键点 的数量也会减少。因此，在复杂度与准确度之间存在折衷，并且可W平衡该折衷W在期望的 提取时间内实现期望的准确度水平。
[0化4] 如操作2302所示，在选择适当的图像分辨率后，平板电脑2002上的摄像机2034 和合适的资产管理应用可W用于拍摄数据中屯、的资产（例如，服务器）的图片（例如，查询 图像）。如操作2304所示，在拍摄图片后，可W使用合适的特征提取算法（例如，SUR巧来 检测图像中的关键点。
[0化5] 然后可W通过其他的关键点减少方法进一步减少关键点的数量。一种方法设及对 关键点进行优先级排列。根据关键点优先级排列的关键点减少基于下述理解；并非图像中 的所有关键点都在识别参考图像的匹配方面一样好。W当前系统和方法，可W使用对关键 点进行优先级排列的新方法，该新方法基于在关键点提取（例如，使用如化enCV的合适的 应用）期间计算的关键点的特征响应。该新方法设及多个操作。在操作2306处，基于关键 点的特征响应的幅度来存储关键点。在操作2308处，移除预定百分比例如百分之五十的具 有最小特征响应值的关键点，从而仅保留具有最大特征响应的关键点。
[0056] 基于从图像中彼此靠近的关键点提取的信息较少该一理解，可W通过消除关键点 交叠来进一步实现关键点减少。移除交叠的关键点设及多个操作。在操作2310处，将先前 在操作2308中识别的每个关键点与如此识别的其他关键点中的每个关键点进行比较，并 且计算每对关键点之间的距离。在操作2312处，如果该距离小于指定的阔值，则根据进一 步的考虑消除该对关键点。W该方式，消除最靠近地布置的关键点。
[0化7] 如操作2341所示，在检测和减少关键点后，提取用于每个关键点的特征矢量。然 后，在操作2316处，将针对查询图像提取的特征描述符与存储在数据库2049中的各种独特 资产的特征描述符进行比较（或者如果携载的数据库2049不与平板电脑2002 -起使用， 则与存储在远程数据库中的特征描述符比较）。然后，如操作2318所示，可W基于k最近邻 化-NN)算法来进行匹配。匹配仅识别最佳匹配并且拒绝低于给定阔值的所有其他匹 配。该产生少数错误匹配，而总的结果匹配的准确度很高。
[005引虽然在流程图2300中示出的前述描述的操作集合描述了一种用于识别资产的方 法，但是应当理解，可W实施任何合适的方法。在选择具体方法的过程 中将设及问题例如 实现成本、处理时间W及其他考虑，并且因此本系统和方法不限于仅与一种特定特征比较/ 匹配方法一起使用。
[0化9] 现在参照图14,应当理解，可W修改本文中的教示，使得平视显示系统2400用于 向数据中屯、工作者提供图像/叠加信息。另外，图14示出可W包含一个或更多个无线接入 点2402,使得平板电脑2002总与平板电脑2002在其上通信的网络进行无线联系。
[0060] 根据前述内容，应当理解，在本文中描述的各种实施方式提供强有力的工具，通过 该工具数据中屯、工作者能够获得多种实时信息，该实时信息被显示为平板电脑或其他移动 计算部件的显示器上的叠加。本文中描述的各种实施方式也不限于数据中屯、环境，而是可W容易地在下述环境中实施；工厂环境、制造环境、仓储环境或需要工作者定位特定资产并 且工作者获悉关于资产的信息会是有帮助的几乎任何其他场景。尽管在数据中屯、环境中， 该种信息特别是警报、警告及事件通知当实时地提供给用户时在许多情况下特别有价值， 但是所描述的实施例可W用于提供作为平板电脑或其他计算装置的显示器上的叠加的几 乎任何类型的信息。因此，保修信息、库存信息、序列号、设备的购买日期、所有权信息、电力 需求、代码版本号、操作系统版本号、存储容量或其他类型的配置信息都可W被提供。当用 户用平板电脑的摄像机2036对特定部件进行成像时，可W自动提供该种信息。
[0061] 虽然前述论述集中在如安装在设备机架内的数据中屯、部件的资产上，但是本公开 也不应当被解释为仅限于机架安装部件。也可W在较少修改或不修改的情况下使用平板电 脑1000或平板电脑2002来视觉识别独立的部件（例如，服务器）并且提供关于其规格说 明的重要信息。此外，虽然平板电脑1000或平板电脑2002被描述为能够视觉识别机架上 的ID标签，但是应当理解，其他的识别技术例如射频（R巧识别技术也可W与平板电脑一起 使用W适应对没有任何可视觉地检测的信息的标识标签的读取。另外，虽然贯穿上述论述 参考平板电脑1000或平板电脑2002,但是应当理解也可W容易地实施膝上型计算机或其 他形式的计算装置例如智能手机。还应当理解，在本文中论述的平板电脑1000或平板电 脑2002W及视觉识别技术可W容易地结合其他技术或其他库存管理系统使用。平板电脑 1000或平板电脑2002结合其他库存管理系统/技术的组合使用可W提供强有力的工具，其 帮助数据中屯、管理者盘点数据中屯、设备，W及验证数据中屯、部件在特定机架内的位置并且 获得特定部件的重要配置和规格说明。
[0062] 虽然已经描述了各种实施例，但是本领域技术人员将认识到，在不背离本公开内 容的情况下可W进行修改或变型。示例示出了各种实施例并且不旨在限制本公开内容。因 此，本说明书和权利要求书应当不受限制地解释，而仅具有鉴于相关的现有技术所必需的 限制。
【主权项】
1. 一种用于管理预定环境中的资产的系统，所述系统包括： 标识装置，其被布置在特定资产或所述特定资产驻留在其中的设备机架的至少之一 上； 移动电子装置，其具有： 处理器； 显示器； 摄像机，用于获得所述标识装置的图像； 存储器，用于存储与多个不同资产的图像有关的资产信息； 所述处理器实时地处理所述图像以及所存储的所述资产信息以生成与所述特定资产 有关的信息，并且使与所述特定资产有关的所述信息显示在所述显示器上；并且 所述处理器控制所述显示器以生成： 在所述显示器上限定的目标区域，其中使用所述摄像机在所述目标区域内将所述特定 资产成像；以及 弹出窗口，其提供与用所述摄像机成像的所述特定资产有关的所述信息中的至少一部 分，并且所述处理器被配置为当使所述摄像机沿所述设备机架移动拍摄并且在所述显示器 的所述目标区域内将所述设备机架内的不同资产成像时更新被显示在所述目标区域中的 信息，使得在任何给定时间显示的所述信息与被所述摄像机成像并且被显示在所述目标区 域中的特定资产相关。
2. 根据权利要求1所述的系统，其中，所述标识装置是条形码标记。
3. 根据权利要求1所述的系统，其中，所述移动电子装置包括计算平板电脑。
4. 根据权利要求1所述的系统，其中，所述移动电子装置的所述显示器用于在所述显 示器上的叠加中显示与所述特定资产有关的所述信息。
5. 根据权利要求1所述的系统，其中： 所述目标区域由线段或阴影区域之一限定，其中在所述目标区域内使用所述摄像机对 所述特定资产成像。
6. 根据权利要求1所述的系统，其中，所述显示器将所述资产的实时图像显示在所述 显示器上。
7. -种用于管理预定环境中的资产的系统，其中，需要完成资产的盘点或操作中的至 少之一，所述系统包括： 适于与远程系统无线通信的移动电子装置，所述移动电子装置具有： 处理器； 显示器； 摄像机，用于获得位于所述预定环境内的资产的图像和b标识装置的图像；以及 与所述移动电子装置无线通信的远程布置的数据中心基础设施管理系统，所述数据中 心基础设施管理系统被配置为：从所述摄像机无线地接收所述图像；分析所述图像并且将 所述资产的所述图像与所述资产的存储图像进行比较，以根据其确定用所述摄像机成像的 所述资产中的每个资产的身份；以及至少基本上实时地将与所述身份有关的信息无线地发 送回所述移动电子装置以显示在所述显示器上。
8. 根据权利要求7所述的系统，其中，所述移动电子装置包括平板电脑。
9. 根据权利要求7所述的系统，其中，所述数据中心基础设施管理系统包括： 处理系统； 图像数据库，其包含所述资产的所述存储图像；以及 图像识别子系统，用于对照所述资产的所述存储图像中的被选择的存储图像对由所述 摄像机获得的并且从所述移动电子装置接收的所述图像进行所述分析。
10. 根据权利要求7所述的系统，其中，所述数据中心基础设施管理系统包括：可管理 性服务子系统，用于提供与所述资产中对应于由所述数据中心基础设施管理系统接收到的 所述图像的至少一个资产的实时操作有关的信息。
11. 根据权利要求10所述的系统，其中，所述数据中心基础设施管理被配置为将与所 述资产中的至少一个资产的实时操作有关的所述信息无线地发送回所述移动电子装置以 显示在所述移动电子装置的所述显示器上。
12. 根据权利要求7所述的系统，其中，所述数据中心基础设施管理系统还包括GPS地 图和方向生成子系统，用于接收关于所述移动电子装置在所述预定环境内的实时位置的位 置信息，并且将方向无线地发送回所述移动电子装置以显示在所述移动电子装置的所述显 示器上，以辅助将所述移动电子装置的用户引导到位于所述预定环境内的所述资产中的特 定资产。
13. 根据权利要求7所述的系统，其中，所述数据中心基础设施管理系统包括增强现实 图像控制装置，所述增强现实图像控制装置被配置为辅助生成无线地发送给所述移动电子 装置的实时信息，所述实时信息包括下列信息中的至少之一： 与位于所述预定环境中的所述资产中的至少之一有关的警报信息； 与位于所述预定环境中的所述资产中的至少之一有关的状态信息； 与位于所述预定环境中的所述资产中的至少之一有关的配置信息；以及 与位于所述预定环境中的所述资产中的至少之一有关的库存信息。
14. 根据权利要求13所述的系统，其中，所述移动电子装置被配置为将所述警报信息、 所述状态信息、所述配置信息以及所述库存信息中的至少之一显示为正在被显示在所述显 示器上的所述图像上的叠加。
15. 根据权利要求7所述的系统，还包括通用管理网关系统，所述通用管理网关系统用 于实时地收集与所述资产的操作有关的性能信息和传感器信息中的至少之一，并且 所述通用管理网关系统还与所述移动电子装置无线通信，并且与所述数据中心基础设 施管理系统通信。
【专利摘要】公开了一种用于管理预定环境中的资产的系统。标识(ID)装置可以被布置在特定资产或特定资产驻留在其中的设备机架中的至少之一上。移动电子装置可以具有：具有处理器可执行代码的处理器；显示器；用于获得ID装置的图像摄像机；以及用于存储与多个不同资产有关的资产信息的存储器。可执行代码可以用于根据图像和所存储的资产信息实时地确定与特定资产相关的信息。该信息可以被显示在该显示器上。
【IPC分类】G06K7-10, G06K9-18
【公开号】CN204613978
【申请号】CN201290000984
【发明人】巴拉特·A·胡季, 罗伯特·L·米勒, 罗伊·佩斯托内, 雷·许达伊赫德, 马里奥·科斯塔, 托马斯·里格斯比
【申请人】阿沃森特亨茨维尔公司
【公开日】2015年9月2日
【申请日】2012年10月2日
【公告号】EP2764469A2, EP2764469A4, US20140258052, WO2013052451A2, WO2013052451A3, WO2013052451A4