使用先进图像识别的基于图像的库存控制系统的制作方法
专利名称：使用先进图像识别的基于图像的库存控制系统的制作方法
技术领域：
本申请涉及一种库存控制系统，更具体地，本申请涉及一种基于捕获的系统的各种收纳单元的图像来判定系统中收纳的物品的库存状态的基于图像的库存控制系统。
背景技术：
当在制造或者服务情况中使用工具时，使用后将工具归置于收纳单元是非常重要的，比如归置到工具箱中。工作人员通常进行手工库存检查工具箱以最小化或者消除贵重工具被误放或者被偷窃的问题。公司会随机核查工作人员的工具箱以防止被偷窃并监控工具位置。一些行业对于工具的库存控制有非常高的标准，以防止工具被遗留在工作区而造成严重的损害的事件。对于航空工业，确保没有工具被偶然遗留在正在制造的、组装的或正在被修理的航空器或者导弹中是非常重要的。航空工业协会(the Aerospace Industries Association)甚至建立了一个称为《国家航空标准》)(《National Aerospace Standard))) 的标准以减小异物(FOD)对航空产品的损伤，该标准包括推荐的工序、人员管理和操作。 FOD被定义为非航空器的结构的一部分的物体。所发现的最为普通的异物有螺母、螺栓、保险丝和手工工具。对于工具的库存是关键的，以防止工具被遗留在航空器中。一些工具箱试图建立内置的库存确认特性，用以追踪收纳在这些工具箱中的工具的库存状态。例如，一些工具箱在各工具收纳单元中或者紧接工具收纳单元布置接触传感器、磁性传感器或者红外传感器，以检测工具是否被放置在各工具收纳单元中。基于这些传感器产生的信号，工具箱能够判定是否有任意的工具缺失。虽然这种类型的库存检查在一定程度上是有用的，但也存在各种缺点。例如，如果传感器检测到一些物体正在占据收纳单元，工具箱将判定该收纳单元中无工具缺失。但是，工具箱并不知道是否是正确的工具被放回到工具箱中或者仅是有一些物体被放置在收纳单元中以欺骗所述系统。另外，为工具箱中的多个收纳单元设置传感器是繁杂并且昂贵的，并且大量的传感器易于受损或者功能失效，这样会产生虚假的正面警报或者负面警报。因此，需要一种有效的库存控制系统，其能够协助追踪和计录工具的使用及这些工具是否在使用之后被适当地放回。还需要一种精确地知道什么工具被移除或放回到工具箱中的库存控制系统。另外，由于多个工人可能使用同一工具箱，因此另外还需要一种能够追踪用户及用户对于工具的使用的库存控制系统，以确定任意的工具缺失或者误放的责任
发明内容
本发明说明了高度自动化的库存控制系统的各种实施方式，所述库存控制系统利用独有的机器成像和方法以识别收纳单元中的库存状态。所示的特性包括充分利用系统资源、自动成像和相机校正来处理复杂图像数据的能力；根据图像数据识别工具特性；自适应定时以捕获库存图像；用于检查库存状态的参考数据的有效生成；图像品质的自动补偿等。一种示例性库存控制系统包括至少一个收纳抽屉，各收纳抽屉包括多个用于收纳物品的收纳单元；数据存储装置，存储用于各收纳抽屉的参考数据，其中对于与各个收纳抽屉相对应的各关注区域，所述参考数据包括表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号，和表示所关注区域不存在收纳的物品时的属性的至少一个参考图像信号；以及数据处理器。所述数据处理器被构造成使用所捕获的抽屉的图像，导出用于表示与所述抽屉对应的关注区域的属性的图像信号；和根据所存储的与所关注区域相应的参考数据和所导出的用于表示与所述抽屉对应的关注区域的属性的图像信号判定所述抽屉的库存状态。所捕获的抽屉的图像可以是整个抽屉的图像或者是抽屉的局部图像。在一个方面中，基于与预设图像属性相关的图像的像素数目分布导出所述图像信号。通过获取包括与预设图像属性相关的像素数目分布的数据，数据处理器生成图像的图像信号；基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素；基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；基于所识别的像素组的共同图像属性生成图像信号。各收纳单元被构造成收纳预先指定的工具；各收纳单元与一个或多个预先定义的关注区域相关联。在一个实施例中，所述数据处理器基于与所述收纳单元相关联的各关注区域的图像信号和对应于与所述收纳单元相关联的各关注区域的参考图像信号的相关性， 判定各收纳单元的所述预先指定的工具的库存状态。一种在库存控制系统中使用的用于判定在所述库存控制系统中收纳的物品的库存状态的方法，所述系统包括至少一个用于收纳物品的收纳抽屉、存储各收纳抽屉的参考数据的数据存储装置，其中对于与各个收纳抽屉相对应的各关注区域，所述参考数据包括 表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号，和表示所关注区域不存在收纳的物品时的属性的至少一个参考图像信号；所述方法包括捕获抽屉的图像；导出用于表示与抽屉对应的所关注区域的属性的图像信号；根据所存储的与所关注区域相关的参考数据和所导出的用于表示与所述抽屉对应的关注区域的属性的图像信号判定所述抽屉的库存状态。根据另一个实施方式，根据本发明的一个库存控制系统包括至少一个收纳抽屉， 各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；图像传感器，构造成捕获一个所述收纳抽屉的图像；数据存储系统， 其存储对应于各收纳抽屉的参考数据，其中所述参考数据包括与抽屉中各收纳单元相对应以及与抽屉中各收纳单元存储的物品相对应的一个或多个预先设定的关注区域的信息；和数据处理器。所述数据处理器被构造成获取捕获的所述抽屉的图像；获取与所述抽屉对应的所述参考数据；基于存储的与所述抽屉对应的所述参考数据和捕获的所述收纳抽屉的图像判定所述抽屉的库存状态。其中，基于生成的所述泡沫层的切除部，从数据文件取得所述参考数据。在一个方面中，所述数据处理器基于生成的所述泡沫层的切除部引入所述数据文件并且从(变为基于(change to based on))所述数据文件导出所述参考数据。根据又一个实施方式，提出了一种新颖的方法，该方法用于准备库存控制系统中使用的参考数据，该库存控制系统用于判定在所述库存控制系统中收纳的物品的库存状态。所述系统包括至少一个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；所述系统基于捕获的所述各抽屉的图像和所述参考数据判定各个抽屉的库存状态，所述方法包括基于生成的各抽屉用的所述泡沫层的切除部从数据库引入数据文件，其中所述数据文件包括所述各抽屉中的各切除部的位置信息；和根据所引入的数据文件，使用数据处理装置生成用于指定各个抽屉中的各切除部和与各切除部对应的至少一个关注区域的位置信息的数据结构。这里说明的方法和系统可以用一个或多个计算机系统和/或适当的软件来实现。应理解，这里说明的实施方式、步骤和/或特性能够分别地或者以与一个或多个其它步骤、实施方式和/或特性组合的方式来执行、利用、实现和/或实行。本发明的其它的优点和新特性一部分将在下面的说明书中提出，一部分对于本领域技术人员通过对下面内容的检测是明显的，或者可以通过对本发明的实践而学习到这些优点和新特性。所示和所描述的实施方式说明了执行本发明的最佳方案。在不偏离本发明的精神和范围的前提下，能够对各种明显的方面进行修改。因此，附图和说明书应认为在本质上是说明性的，而不是限制性的。可以借助于所附权利要求中特别指出的方法和组合实现和获得本发明的优点。
在下面的附图中以示例的方式而非限制的方式说明了本发明，其在全部附图中具有相同附图标记的元件表示类似的元件，在附图中图Ia和图Ib示出了示例性收纳单元，可用于实现根据本发明的实施方式；图2示出了处于打开模式的示例性收纳抽屉的内部细节图；图3示出了根据本发明的示例性工具收纳系统；图如至图如和图如是图3中所示的工具收纳系统的不同视图；图4d示出了示例性图像被组合在一起的过程；图5示出了示例性的工具切除部、缓冲区和扩展区；图6a和图6b是本发明中使用的示例性标识符设计；图7a至图7e和图8a至图8d示出了图像校准的示例；图9是示例性联网库存控制系统的框图；和图IOa至图IOd是在根据本发明的示例性系统存取期间的示例性监测记录和所获取的图像的说明性图。
具体实施例方式在下面的说明中，为了说明的目的，提出了若干具体细节以透彻的理解本发明。具体地，在工具管理和工具库存控制的上下文中，描述了利用机器视觉来识别收纳单元的库存状态的说明性实施方式的操作。但是，本领域技术人员清楚地理解，本发明的构思的实行或实现可以不采用这些特定的细节。类似的构思可以用在其它类型的库存控制系统中，比如库房管理、珠宝库存管理、易损物质或者受控物质管理、小型酒吧库存管理、药品管理、 金库或保险箱管理等。在其它的示例中，以框图的形式示出了熟知的结构和装置，以避免不必要地模糊本发明。如整个说明书中所使用的，物品的、区域的或者抽屉的术语“一幅捕获的图像”、“捕获的多幅图像”、“一幅图像”或者“多幅图像”定义为整个物品的、区域和或抽屉的图像，或者指物品的、区域的或者抽屉的局部图像。示例件库存管理系统概述图Ia和图Ib示出了示例性收纳单元，其中实现了根据本发明的库存控制系统。图 Ia是包括多个收纳抽屉120的示例性工具收纳系统100。各收纳抽屉120包括多个用于收纳各种类型的工具的收纳单元。如整个说明书中所使用的，收纳单元是在收纳系统中用于收纳或者固定物品的单元。在一个实施方式中，各工具在工具收纳系统中具有特定的预先指定的收纳单元。各收纳抽屉在不允许存取抽屉的内容物的闭合模式和允许部分地或全部地存取抽屉的内容物的打开模式之间操作。当收纳抽屉从闭合模式向打开模式移动时，收纳抽屉允许扩大对于其内容物的存取。另一方面，如果收纳抽屉从打开模式向闭合模式移动，则收纳抽屉允许减小对其内容物的存取。如图Ia中所示，全部的收纳抽屉120处于闭合模式。锁定装置可用以控制对于收纳抽屉120的内容物的存取。各个收纳抽屉120可以具有其自身的锁定装置或者多个收纳抽屉120可以共有一个共用的锁定装置。仅通过鉴权的或者被授权的用户能够存取收纳抽屉的内容物。收纳抽屉可以具有不同的大小、形状、布局和配置。图Ib示出了另一种类型的工具收纳系统200，其包括多个收纳搁板或者收纳舱220和固定于收纳搁板250的单个门 250。收纳搁板或者收纳舱可以形成不同的大小、形状、布局和配置。图2示出了处于打开模式的示例性收纳抽屉120的内部细节。各收纳抽屉120包括具有多个收纳单元的泡沫基部180，比如切除部181，用于收纳工具。各切除部被特定地成型，用于适配地用相应的形状接收工具。可以用钩、尼龙搭扣带、闩锁、泡沫的压力等将工具固定在各收纳单元。根据本发明的示例性库存控制系统通过捕获并处理用以收纳物品的收纳单元的图像而判定物品的库存状态。所述系统包括执行不同功能所需的各种子系统，包括收纳子系统、成像子系统、存取控制子系统、供电子系统、用户接口子系统、数据处理子系统、传感器子系统和网络子系统。应理解，该子系统的列表仅是为了说明的目的，并非对子系统的穷尽。根据设计需要，根据本发明的示例性系统可以使用更多的或者更少的子系统。另外，并不是所有的子系统都必须是库存控制系统的整体的部分。在一个实施方式中，本发明中各种功能可以基于包括多个连接到数据传输网络的子系统的分布式架构实现。由数据传输网络连接的各子系统实现整个系统的一部分功能。以此，全部的系统功能分布于经由数据传输网络通信的多个子系统。能够建立通信方法或者这些方法的组合，以使库存控制系统外部的各个子系统或者数据处理系统通过网络实现无缝信息共享。所述方法可以包括传输控制协议 / 因特网协议(TCP/IP)、DISCO、SOAP、XML、DCOM、CORBA, HTML、ASP、Microsoft. NET 协议、Microsoft. NET Web Services和其它的替代通信方法。
(1)收纳子系统收纳子系统包括多个用于收纳物品的收纳单元，如图la、图Ib和图2中所示的多个收纳单元。应理解，用于收纳物品的其它类型的收纳系统可用以实现所述收纳子系统。(2)成像子系统成像子系统包括一个或多个被构造成用以捕获部分或全部内容物或收纳单元的图像的图像感应装置、和提供所需照明的照明装置。图像感应装置可以是基于镜头的照相机、CCD照相机、CMOS照相机、视频摄像机或其它类型的捕获图像的装置。所述图像感应装置可以可选地包括预处理部件，用于预处理捕获的图像。预处理的示例包括数据压缩、增强、信息读取、数据挖掘、导出特定的预定区域或者关注区域及周期区域的所关注项的特性等。图像感应装置通过位于本地的或者远程的数据处理系统传输原始图像数据或者任意的预处理数据以进行处理或者检视。照相机可以包括用于连接到数据传输网络的网络接口， 用于传输捕获的图像、预处理的图像、从捕获的图像中导出的信息等。(3)存取控制子系统存取控制子系统包括一个或多个身份验证装置，用于验证或者鉴权意图存取收纳在收纳系统中的物品的用户的身份或者鉴权等级；和一个或多个锁定装置，控制对于收纳系统中的收纳单元的存取。例如，存取控制子系统将一些或者全部收纳抽屉保持在闭合位置，直到身份鉴权装置对用户授权，可以存取所述收纳子系统。存取控制子系统可以使用一个或多个存取授权方法，用以确认用户的鉴权等级， 比如通过使用键盘输入访问码或者口令、通过钥匙卡读卡器从钥匙卡或者钥匙圈(fob)读取持有所述卡片或者钥匙圈的用户的授权等级、使用比如指纹读取器或者视网膜扫描的生物测量法(biometric method)、面部识别、磁性ID卡或者射频ID卡、接近传感器、占位传感器、和/或手工进入或其它方法。在一个实施方式中，独立地控制和授权对于各收纳系统 300的存取。基于赋予用户的授权等级或者存取等级，用户能够被授权存取一个或多个抽屉，但不能存取其它的抽屉。(4)供电子系统供电子系统提供和管理供给到库存存取控制系统的电力。供电子系统包括一个或者多个电源，该电源包括连接到一个或者多个AC电源和/或到一个或多个储电装置，比如电池和/或电池充电器。该子系统还可以包括用于跟踪系统的例如AC电源和电池电源之间的切换的供电状态、监测电池的充电状态所需要的电路和控制器。可以设置外部充电器， 从而电池可以在系统外部被充电并保存，用于快速更换系统中失效的电池。在一个实施方式中，远程电池充电器可以连接到与库存控制系统联接的数据网络，以报告在远程充电器处被充电的电池的充电状态。在另一个实施方式中，供电子系统联接到相对于库存控制系统远程的主计算机，向主计算机提供关于库存控制系统的供电状态的信息，比如电源失效、 充电状态、可用供电等。(5)用户接口子系统用户接口子系统包括用于与库存控制系统的用户通信的装置，比如一个或多个显示器、麦克风、扬声器、键盘、鼠标或者任意其它的将信息输出到用户和/或允许用户输入信息的装置。用户可以是意图存取库存控制系统中的物品或者工具的技师，或者是管理系统的库存状态的管理人员。
(6)数据处理子系统数据处理子系统，比如计算机，负责处理由成像子系统捕获的图像和/或生成库存状态的报告。图像感应装置捕获或形成的图像由数据处理系统处理，用于判定库存状态。 本公开全文中使用的术语“库存状态”指与物品的存在状态或者不存在状态相关的信息。数据处理子系统可以是库存控制系统的一体的部分；或者是具有比如有线链路 (link)或者无线链路的数据链的远程计算机，该远程计算机联接到库存控制系统；或者是整合在库存控制系统中的计算机与相对于库存控制系统远程的计算机的组合。将简要说明形成图像和判定库存状态的细节操作。在一个实施方式中，数据处理子系统保持用户和/或物品信息和历史。用户可以查询数据处理子系统以获得状态、建立用户、处理异常、系统维护等。在另一个实施方式中，设置有库存控制系统之外的主系统，所述主系统联接到经由数据链路或者网络整合在库存控制系统中的计算机，用于提供监管或维护功能，观察监测图像、提供各项状态和区位 (location)的报告和总结等。(7)传感器子系统根据所需的功能，在成像子系统之外，可以设置传感器子系统，用于感应关注的物品或区域或者它们周围环境的属性。这些属性可以用来与成像子系统的图像感应装置获得的图像信息结合，以增强对物品或者其状态的识别。传感器子系统可以包括用于感应条件， 比如压强、光、力、应力、磁场、容性感应、RFID、电场、力矩、加速度、定向、位置、定位、GPSjt 频三角测量(triangulation)、光三角测量、接近、地心场强和/或方向的传感器，可以包括接触和简单地手工进入或交互作为输入。(8)网络子系统网络子系统允许子系统在子系统和/或具有数据通信网络的接口和/或另一库存控制系统外部的用于实现数据通信的数据处理系统之间形成数据通信。实现网络接口的装置的示例包括一个或多个以太网接口、RS-232、RS-422、RS-485、访问总线、I2C、IE总线、 LIN总线、MI总线、超精细总线、MOST、MPI总线、SMBus、SPI (串行外围接口)、USB、WiFi或者其它无线以太网、光纤、Zigbee、IEEE 802. 15. 4、Rubee、蓝牙、UWB (Ultra-Wideband，超宽带)、IrDA、或者任意其它的适当的窄带或者宽带的数据通信技术。可以在库存控制系统内部和/或外部使用各种通信接口的组合。根据一个实施方式，如下进行一个操作循环存取控制子系统接收用户的识别信息。数据处理子系统使用户生效并且分别由经由以太网和TCP/IP发送指令以激活图像感应装置、调节成像子系统使用的照明并解除锁定。图像感应装置获取收纳单元的图像，并将捕获的图像组合在一起，用于评估与物体相关的关注区域。成像子系统计算捕获的图像的属性并且将所述属性经由以太网通信网络发送到数据处理子系统以进一步评估。数据处理子系统评估所述属性并判定库存状态、更新库存数据库中的记录并且向用户反馈。一旦用户退出系统，数据处理子系统经由以太网通信网络发出指令以结束对话、固定(secure)抽屉、和关闭成像子系统中的照明和图像感应装置。图3示出了实现为根据本发明的用于收纳工具的工具收纳系统300的示例性库存控制系统。收纳系统300包括显示器305 ；比如读卡器的存取控制装置306，用于验证意图存取收纳系统300的用户的身份和鉴权等级；用于收纳工具的多个工具收纳抽屉330。工具收纳系统300包括构造用以捕获系统的内容物或者收纳单元的图像的图像感应装置。图像感应装置可以是基于镜头的照相机、CCD照相机、CMOS照相机、视频摄像机或者捕获图像的任意其它类型的装置。系统300包括比如计算机的数据处理系统，用于处理由图像感应装置捕获的图像。图像感应装置捕获或者形成的图像由数据处理系统处理，用于判定系统的或者各收纳抽屉的库存状态。全公开全文中使用的术语“库存状态”指与收纳系统中的物品的存在或者不存在相关的信息。数据处理系统可以是工具收纳系统300的一部分；可以是具有比如有线链路或者无线链路的数据链路的、联接到工具收纳系统300的远程计算机；或者可以是整合在收纳系统300中的计算机与收纳系统300的远程计算机的组合。将简要说明形成图像和判定库存状态的详细操作。抽屉330类似于图Ia中所示的那些抽屉120。显示器305是收纳系统330的输入和/或输出装置，构造成用以向用户显示信息。可以经由各种类型的输入装置输入信息，比如键盘、鼠标、声音识别、触摸板等。存取控制装置306用以限制或者允许对于工具收纳抽屉330的存取。存取控制装置306通过使用一个或多个锁定装置，将一些或者全部的收纳抽屉330锁定在闭合位置，直到存取控制装置306授权用户存取收纳系统300的权限。存取控制装置306可以使用一个或者多个存取授权部件，以确认用户的授权等级，比如通过使用键盘输入访问码、使用读卡器以从钥匙卡或者钥匙中读取持有所述卡或者钥匙的用户的授权等级、比如指纹读取器或者视网膜扫描的生物学方法、或者其它的方法。如果存取控制装置306判定用户被授权存取收纳系统300，则存取控制装置306根据用户的授权等级解锁一些或者全部的收纳抽屉330，允许用户移除或者更换工具。在一个实施方式中，独立地控制和授权对于各收纳抽屉300的存取。基于赋予的授权等级或者访问等级，可以授权用户存取系统300的一个或者多个抽屉，但不能存取其它的抽屉。在一个实施方式中，存取控制装置306在用户闭合抽屉之后重新锁定收纳抽屉330。存取控制装置306的位置并不局限于收纳系统300的前部。其可以布置在系统的顶部或者布置在系统的侧面。在一个实施方式中，存取控制装置306与显示器305整合在一起。用于授权目的的用户信息可以通过具有触摸功能的显示装置、面部检测照相机、指纹读取器、视网膜扫描器或者任何其它类型的用于确认对于用户存取收纳系统300的授权的装置输入。图如和图4b示出了工具收纳系统300中的成像子系统的局部立体图。如图如所示，采用读卡器形式的存取控制装置306被布置于系统的侧面。收纳系统300包括成像舱330，所述成像舱330容纳包括三个照相机310和一个光重定向装置的图像感应装置，所述光重定向装置比如是具有向下相对于竖直面成大约45°角的反射面的镜312，用于将从抽屉330反射的光重定向到照相机310。重定向后的光在到达照相机310后，使照相机310 形成抽屉330的图像。镜312下方的阴影区340表示工具收纳系统300的图像感应装置的视场。镜312的宽度等于或大于各收纳抽屉的宽度，并且将照相机的视角重定向为向下朝向抽屉。图4e是系统300的说明性侧视图，其示出了照相机310、镜312和抽屉330之间的相对位置。从任意抽屉330反射向镜312的光被重定向到照相机310。图4b是与图如相同的立体图，不同之处在于移除了成像舱330的盖以显示设计的细节。各照相机310均关联于一个视场311。如图4b所示，照相机310的组合的视场形成了图像感应装置的视场340。视场340具有χ的深度。例如，视场340的深度可以近似为 2英寸。图如是图如中所示的工具收纳系统300的替换立体图，不同之处在于收纳抽屉 336正在允许部分地存取其内容物或者收纳抽屉336中的收纳单元的打开模式中操作。照相机310和镜312在图如至图如中的该配置使得照相机310能够从顶部抽屉向底部抽屉捕获图像，而不需要较大地变化其焦距。在一个实施方式中，照相机310在各收纳抽屉开启或关闭时捕获各收纳抽屉的多个部分图像。由照相机310捕获的各图像可以与唯一的ID或者标识图像捕获时间的时间戳(time stamp)关联。图像采集由工具收纳系统300中的数据处理器控制。在一个实施方式中，捕获的图像覆盖抽屉的全宽，但深度仅近似地为2英寸。捕获的图像在深度上和/ 或宽度上有些重叠。如图4D所示，不同照相机310在不同时间点处获取的部分图像41-45 可以组合在一起，以形成部分或者整个抽屉和其内容物和/或收纳单元的单幅图像。该组合可以由数据处理器或者由所安装的计算机或者远程的计算机使用脱壳(off-the-shell) 程序或者定制开发的软件程序进行。由于以近似两英寸的片断捕获图像，各照相机捕获多个图像片断。可以在各抽屉中包括一个或者多个可视刻度(visible scale)。处理器可以以类似于视频监控的快速成像模式监测图像的包含刻度的部分。当刻度到达特定的位置或者计算出的位置时，数据处理系统控制图像感应装置以捕获和记录图像片断。该刻度还可以协助图片组合。另外，比如栅格的图案可以施加到抽屉的表面。所述图案可用以协助组合或者协助图像捕获处理。在另一个实施方式中，图像感应装置包括更大的镜和具有广角镜头的照相机，以生成更深的视场X，使得降低或者完全消除对于图像组合的需求。在一个实施方式中，使用一个或多个线性扫描照相机来实现图像感应装置。线性扫描照相机沿大致的一维方向捕获图像。所述图像将具有依赖于传感器的显著的宽度，但图像深度仅是一个像素。线性扫描照相机捕获横跨工具抽屉的宽度的但仅一个像素深的图像带(image strip)。每次抽屉330移动过预定的部分量，照相机将捕获另一个图像带。在本示例中，图像带必须组合在一起以形成可用的全幅抽屉图像。这同样是许多复印机中用以捕获原稿图像的操作。原稿移动过线性扫描照相机，多个图像带被组合在一起以形成整个原稿的图像。除了镜之外，应明白比如如下的其它装置可用以实现光重定向装置以用于将来自物品的光定向朝向远程照相机，例如棱镜；包括平面镜、凹透镜和/或凸透镜的不同类型透镜的组合；光导纤维；或任何其它能够将光从一个点定向到另一个点的装置。另一种可选方案是使用光导纤维。使用光重定向装置可能向捕获的图像中引入失真。可以进行校准或者图像处理以消除该失真。例如，照相机310可以首先观察由光重定向装置反射的已知的简单栅格图案，并生成失真映像供数据处理处理器用以调整捕获图像以补偿镜失真 (mirror distortion)。为更好地进行图像捕获和处理，期望校准照相机。照相机可以包括一定的与图像失真或焦距相关的安装变量。照相机能够以类似于减小镜失真的方式被校准以减小失真。 实际上，镜校准能够补偿照相机失真和镜失真，并且其也许是所使用的唯一的失真校准。另外，各个照相机可以用特定的夹具(fixture)校准，以确定它们的透镜的实际焦距，并且能够用软件补偿单个系统中的照相机与照相机之间的差异。在一个实施方式中，图像感应装置并不包括任何的镜。而是，一个或多个照相机被配置在布置镜312的位置处。在本示例中，照相机直接向下指向收纳抽屉330。在另一个实施方式中，各收纳抽屉330具有一个或多个用于捕获该收纳抽屉的图像的照相机。判定库存状杰在示例性系统300中，抽屉330中的各收纳单元被构造成收纳预先指定的物品，比如预先指定的工具。例如，如图2所示，各抽屉330包括具有多个用于收纳预设的工具的工具切除部181的泡沫层泡沫基部180。各工具切除部具有大致类似于收纳在切除部中的工具箱的轮廓的形状。系统300基于一个或多个预定关注区域(ROI)的图像数据判定各物品的存在或者缺失。关注区域(ROI)是如下的预先定义的区域该区域的图像数据包括判定特定收纳单元处的物品的存在或缺失的有用信息。ROI可以由系统设计者定义，ROI可以覆盖或者重叠工具切除区的一部分或者整个切除部，或者根本不覆盖或者重叠工具切除部。 收纳系统300通过分析预先定义的ROI的图像数据而判定物品或者工具的库存。将简要说明使用ROI判定库存状态的细节。为改进图像数据处理和传输的效率，系统300基于一个或多个ROI的捕获的图像导出的图像信号和ROI的参考图像信号判定抽屉330中的工具的存在或者缺失。图像信号表示包括相对于各图像或者ROI唯一的特定图像或者R0I。唯一的属性包括颜色、大小、形状、宽度、高度、深度、轮廓(silhouette)或者廓线、特定的重力、重量、直径、反射率、亮度 (intensity)、热特性、粘性、尺寸、纹理、表面光洁度等中的一个或多个属性。根据一个实施方式，基于区域的一个或多个捕获图像导出这些属性的表示(representation)。将简要说明导出用于特定图像或者ROI的图像信号的细节。系统300读取标记参考数据，所述参考数据包括同一区域或者ROI在比如工具的物品存在时或者当所述物品缺失时的参考图像信号。对于各区域或者各R0I，参考图像信号可以通过在存在物品时和不存在物品时获取所述区域或者ROI的图像而生成。基于区域或者ROI的图像的图像信号与标记参考数据的相关性，系统300判定与收纳单元对应的物品存在或者缺失。例如，使用两组参考图像信号，一个与由相应的工具占用的切除部相对应，一个与未由相应的工具占用的同一切除部相对应。基于所捕获的覆盖切除部的区域的图像的图像信号与所捕获的紧密围绕切除部的区域的图像的图像信号、和同一区域的标记参考数据的相关性，判定库存状态。可以由系统300中的一个或者多个数据处理器或者安装的用于执行库存判定的计算机基于捕获的图像执行适当的软件。系统300的非易失性存储装置存储标识抽屉中的各已知收纳单元与其相应的预设物品之间的关系的信息。存储装置另外存储与关联于ROI 或者工具的各工具和参考图像信号信息相对应的预先定义的R0I。一个或多个数据处理器判定抽屉中的哪个收纳单元被它们相应的预设工具占用并判定抽屉中的哪个收纳单元未被它们相应的预设工具占用。基于所存储的标识各收纳单元与它们的相应的预设物品的关系来判定对于一个或者多个存在和/或缺失工具的识别。系统还判定工具是否错位或者工具是否被误放。现在说明图像识别和库存判定的细节。
根据本发明的示例性工具收纳系统使用独有的方法图像识别，其显著地降低了所需数据的量，并且进行所需要的计算在技术上需要的计算能力和时间更少。(1)参考数据标准如前所述，示例性系统300基于工具的和工具切除部的从捕获的图像导出的标记和参考图像信号判定工具的库存状态。本公开提出了产生参考图像信号的文件的有效并且独有的方法。为适当地有效地并且高效地处理照相机捕获的图像，系统300需要访问如下信息说明包括与各工具相联系的预先定义的ROI的参考图像信号的参考数据的信息；包括各抽屉中的工具识别、工具定位、切除部位置的信息；切除部廓线；工具轮廓的限定；指状切除部的限定；工具轮廓之间的通道；各抽屉中的工具的位置相对于泡沫的已知特性的限定；部件数目；和进行图像识别有用的任意信息。所述信息整体上称为参考数据。根据本发明的示例性系统使用称为切除部文件的现有数据文件以高度自动化的方式生成参考数据。切除部文件在工具收纳系统中使用的具有工具廓线切除部的泡沫层的制造期间生成。这些切除部文件典型地采用工业标准格式，比如.dxf格式，并且包括用于各抽屉的工具轮廓切除部和抽屉中的各工具的相对位置的信息。生成抽屉泡沫层中使用的切除部文件另外提供了额外的有用信息收纳各工具的抽屉、工具的部件号、国家序号、制造商部件号、工具序号、工具说明等。例如，由Snap-on (实耐宝)公司提供的称为True Fit (真正适配)的软件程序包括工具轮廓和与各工具相关的数据的数据库。当制造在工具收纳系统中使用的具有切除部 181的泡沫层180时，泡沫布局技师(layout technician)根据包括待被包括在工具收纳系统中的全部工具的主工具列表以特定的顺序或者以定制的方式生成各抽屉330的泡沫布局。所述列表可以由销售代表和/或客户生成。当计算机执行True Fit程序时，该程序基于主工具列表和数据库中的关于各工具的预存数据为各抽屉330产生包括泡沫层的切除部文件。切除部文件包括各切除部的信息，比如形状和大小、工具列表，并且包括各抽屉中的各切除部的位置信息。在一个实施方式中，位置信息包括各切除部的相对于各抽屉的共用坐标系统的坐标信息。然后，技师根据泡沫布局使用2D喷水切割刀(water jet cutter) 或者3D加工刀具(machining tool)切割泡沫。通过使泡沫形成中使用的比如.dxf文件的切除部文件适应图像识别中使用的参考数据，工具收纳系统现在开始存取与各抽屉中的各工具的准确位置相关的数据、及切除部的形状和比如工具数目、序号等的其它有用的信息。该处理使得不需要手工将各工具录入到工具收纳系统的库存记录中，并且还可以提供关于各抽屉中的各工具的位置及与各工具相关联的数据的精确信息。从该处理导出的额外信息包括参考图像信号和其它工具属性，比如颜色、大小、形状、面积、质心、面积转动惯量、回转半径、具体尺寸(比如扳手开度、 槽径、螺丝刀长度等)。因此，当加载了参考数据时，各工具的属性也可以由工具收纳系统读取。(2)关注区域为提高数据处理的效率，对于各个捕获的抽屉图像，示例性系统300不处理整幅图像，而是对于预定的关注区域(ROI)进行图像识别，所述关注区域(ROI)是捕获图像的子集并且由此包括的要求处理的数据很少。根据一个实施方式，各工具具有一个或多个预先定义的R0I。如先前所述，ROI可以覆盖或者重叠一部分的或者整个的工具切除部181，或者完全不覆盖或者不重叠工具切除部181。可以通过坐标系统中的切除部位置、切除部廓线、工具轮廓的限定、指状切除部的限定、工具轮廓之间的通道、各抽屉中的工具的位置相对于泡沫的已知特性的限定、工具说明、部件数目和进行图像识别有用的任意信息中的一项或多项说明关注区域。(3)(training process)计算机转换处理将切除部文件改编(adapt)为示例性工具收纳系统中使用的参考数据。转换处理中的示例性步骤说明如下a.从泡沫切除部文件中读取工具信息该步骤读取并加载切除部文件，所述切除部文件包含包括有工具位置、轮廓、泡沫颜色、背景色、属性和其它数据的工具数据。该步骤在水平方向上和竖直方向上对图像划分刻度，以将切除部文件中使用的尺寸格式转换成为基于照相机和图像的系统中使用的像素。典型地，每个点有大约8到10个像素。使用带有适当的编码的软件转换文件用以进行该转换。b.生成工具位置数据结构通过处理与工具切除部相关的形状和位置，使用泡沫布局确定R0I。整幅图像的一个角部被定义为原点。然后，确定图像内的边界框的位置。ROI位于该边界框内并且由边界框内的行数和列数确定。包含一部分ROI的边界框内的像素被具体化为有序的数对 (pairs)，其中以边界框的左上角为原点。ROI的示例性数据结构提供如下
i)fawt*r. l-4S %
SiIiKMeiif Μ( Xi 16 ()0 , BOX JD 105) DRAWER 01 JsOSil iOK S-0Ei58
fJESCRiPTIOH Wrench. Crowfoot, Open Ejk!, 1/2 {■].( 1586 2379 Vxwmr)
LkC 1 ￠87 2409 Comer) I 22 58
121 60
220 62 95 20 2 19 63 %22 2 19 64 95 20 t 18 I 6H I Κ) 7 ！ 16 70c.判定哪个照相机处理工具在使用四台照相机或者使用六台照相机来捕获抽屉图像的示例性工具收纳系统中，每个照相机具有40°宽的视场(FOV)，其中在图像中心线的每一侧具有20°的F0V。照相机之间的图像能够重叠。根据抽屉的位置，顶部抽屉中的重叠部分较小，或者底部抽屉中的重叠部分较大，其中在底部抽屉中，每个照相机能够看到整个抽屉。通过确定每个工具 ROI的质心的位置和将各个ROI赋予其中FOV中心线距离该ROI最近的照相机，工具及它们
//抽屉名称(Drawer舰me) // 方案 C {.oluiiosi) // 部分编号(Pan. nombei) “工具箱id ( ' οΙ box kl 3 “抽薩编号(Dmwer No) Ai 位置(Ρ<κ. )ιι) //描述 CDescripiiwt ) Λ·'绑定工具辍 ι'上部左麵(Ikwnding Ci fpper i ci'i)
“绑定工具箱 C下部右侧(Bounci)ii|. b ;·; (f ,ower Ri| in)
A'像素数据(绑定工具盒内，由(pi-ici tlaia Wiiliin iha bounding
縱 《赚 w“.ii.i.n ifie π ην, uite.
myd width (# pixels wi.de) y相关联的ROI被赋予照相机。如果ROI延伸到一个以上的照相机的会聚区域，则ROI被划分为多个片断并被如上所述地赋予各个照相机。d.为工具生成膨胀区(dilation zone)和缓冲区(buffer zone)在一定的情形下，即使工具被置于其相应的切除部或者收纳单元中，与工具相关的捕获的图像也会偏离参考数据。例如，工具会悬出(overhang)工具切除部的边缘，或者会被紧密压入到泡沫中而形成压缩或变形，或者工具切除部可能不处于所期望的准确位置。这些情形如果不能适当地解决，会使工具收纳系统激发虚假报警。为解决这些问题，一个示例性系统利用独有的图像数据来评估工具的库存状态。 如图5所示，围绕每个工具切除部设置膨胀区和缓冲区。缓冲区是绕工具切除部形成的环状环并且具有可调节的宽度，所述宽度比如是像素数。例如，工具切除部的缓冲区可以距离工具切除部的边界扩展离开5个像素。宽度是任意的，并且依赖于系统设计。膨胀区是围绕缓冲区的环状环并且可以赋予可调节的像素数目。例如，缓冲区可以距离缓冲区的外边界离开4个像素。该宽度是任意的并且依赖于系统设计。在一个实施方式中，评估图像时，忽略与缓冲区相关的图像数据，而评估与膨胀区相关的图像数据，用于评估比如颜色、亮度、色调和饱和度等的属性。该数据在后面将用以评估某些物体被置于工具切除部的边缘上的情形，示出错误的工具被放在收纳单元或者切除部中、或者正确的工具被不适当地旋转在收纳单元或者切除部中而错位、或者存在某些物体覆盖了至少一部分缓冲区。当这些发生时，将向用户或者管理者发出报警。4.基于图像信号的图像识别每个图像包括表示所述图像的独有的特性的属性。这些属性包括颜色、大小、形状、宽度、高度、深度、轮廓或者廓线、特定的重力、重量、直径、反射率、亮度、热特性、粘性、 尺寸、纹理、表面光洁度等。根据本发明的示例性系统利用独有的方法从捕获图像中提取表示每个ROI的信息。所提取的信息独有地说明了 ROI的属性，称为ROI的图像信号。如前所述，系统300中的非易失性存储装置存储与预先定义的ROI相关的数据，其中所述预先定的的ROI的图像数据需要由系统300处理。预存储的对照表可用以识别每个工具、识别每个工具的相应的切除部信息、和识别其中图像数据可用以判定工具的库存状态的预选择的R0I。基于与工具关联的每个ROI的基于捕获的图像和参考图像信号导出的图像信号，判定工具的库存状态。由于用图像信号而不是原始图像数据来判定库存状态，显著地提高了信号处理和数据传输的效率。现在说明产生图像的图像信号的处理。说明了一个使用图像色调和饱和度的样本图像信号。还能够设想使用各种图像属性的其它标记用以判定库存系统中的各项的存在、 缺失或者识别。该处理的示例性算法提供如下RGB (红、绿、蓝)到HIS (亮度、色调、饱和度)的转换
权利要求
1.一种用于判定系统中收纳的物品的库存状态的库存控制系统，所述系统包括 至少一个收纳抽屉，各收纳抽屉包括多个用于收纳物品的收纳单元；数据存储装置，存储用于各收纳抽屉的参考数据，其中对于与各个收纳抽屉相对应的关注区域，所述参考数据包括表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号，和表示所关注区域不存在收纳的物品时的属性的至少一个参考图像信号； 数据处理器被构造成使用所捕获的抽屉的图像，导出用于表示与所述抽屉对应的关注区域的属性的图像信号；和根据所存储的与所关注区域相应的参考数据和所导出的用于表示与所述抽屉对应的关注区域的属性的图像信号判定所述抽屉的库存状态。
2.根据权利要求1所述的系统，其特征在于，基于图像相对于预设图像属性的像素数目分布导出所述图像信号。
3.根据权利要求2所述的系统，其特征在于，所述数据处理器以如下方式产生所述图像信号获取包括相对于预设图像属性的像素数目分布的数据； 基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素； 基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；基于所识别的像素组的共同图像属性产生图像信号。
4.根据权利要求1所述的系统，其特征在于 各收纳单元被构造成收纳预先指定的工具；各收纳单元与一个或多个预先定义的关注区域相关联；和所述数据处理器基于与所述收纳单元相关联的各关注区域的所述图像信号和对应于与所述收纳单元相关联的各关注区域的所述参考图像信号的相关性判定各收纳单元的所述预先指定的工具的库存状态。
5.一种在库存控制系统中使用的用于判定收纳在系统中的物品的库存状态的方法，所述系统包括至少一个用于收纳物品的收纳抽屉；存储用于各收纳抽屉的参考数据的数据存储装置，其中针对与各个收纳抽屉相对应的关注区域，所述参考数据包括至少一个表示所关注区域存在收纳的物品时的属性的参考图像信号；和至少一个表示所关注区域不存在收纳的物品时的属性的参考图像信号；所述方法包括捕获抽屉的图像；导出表示与所述抽屉对应的至少一个关注区域的属性的图像信号；和根据所存储的与对应于所述抽屉的关注区域对应的参考数据和所导出的表示对应于所述收纳抽屉的关注区域的属性的图像信号判定所述抽屉的库存状态。
6.根据权利要求5所述的方法，其特征在于，基于相对于预设图像属性的图像的像素数目分布导出所述图像信号。
7.根据权利要求6所述的方法，其特征在于，通过如下导出所述图像的图像信号 获取包括相对于预设图像属性的像素数目分布的数据；基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素；基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；基于所识别的像素组的共同图像属性产生所述图像信号。
8.根据权利要求5所述的方法，其特征在于，各收纳单元被构造成收纳预先指定的工具；各收纳单元与一个或多个预先定义的关注区域相关联；和所述数据处理器基于与所述收纳单元相关联的各关注区域的所述图像信号和对应于与所述收纳单元相关联的各关注区域的所述参考图像信号的相关性判定各收纳单元的所述预先指定的工具的库存状态。
9.一种用于判定系统中收纳的物品的库存状态的库存控制系统，所述系统包括至少一个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；图像传感器，构造成捕获一个所述收纳抽屉的图像；数据存储系统，其存储对应于各收纳抽屉的参考数据，其中所述参考数据包括与抽屉中各收纳单元相对应以及与抽屉中各收纳单元存储的物品相对应的一个或多个预先设定的关注区域的信息；数据处理器被构造成获取捕获的所述抽屉的图像；获取与所述抽屉对应的所述参考数据；基于存储的与所述抽屉对应的所述参考数据和捕获的所述收纳抽屉的图像判定所述抽屉的库存状态；其中，基于生成的所述泡沫层的切除部，从数据文件取得所述参考数据。
10.根据权利要求1所述的系统，其特征在于，所述数据处理器基于生成的所述泡沫层的切除部引入所述数据文件并且从所述数据文件导出所述参考数据。
11.一种在库存控制系统中使用的用于判定系统中收纳的物品的库存状态的参考数据的准备方法，所述系统包括至少一个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；所述系统基于捕获的所述各抽屉的图像和所述参考数据判定各个抽屉的库存状态，所述方法包括基于生成的各抽屉用的所述泡沫层的切除部从数据库引入数据文件，其中所述数据文件包括所述各抽屉中的各切除部的位置信息；和根据所引入的数据文件，使用数据处理装置生成用于指定各个抽屉中的各切除部和与各切除部对应的至少一个关注区域的位置信息的数据结构。
全文摘要
基于捕获图像监测物品的库存状态的系统。一种示例性系统包括至少一个收纳抽屉，各收纳抽屉均包括多个用于存储物品的存储单元；和数据存储装置，其存储用于各收纳抽屉的参考数据。针对所关注的与各个收纳抽屉对应的区域，所述参考数据包括至少一个表示所关注区域在存在收纳的物品时的属性的参考图像信号；和至少一个表示所关注区域在不存在收纳的物品时的属性的参考图像信号。系统的数据处理器被构造成使用所捕获的抽屉的图像导出表示与抽屉对应的所关注区域的属性的图像信号；根据所存储的与所关注区域相关的参考数据和所导出的表示所捕获的关注区域的图像的属性的图像信号判定所述抽屉的库存状态。
文档编号G06Q10/00GK102177524SQ200980140153
公开日2011年9月7日 申请日期2009年8月7日 优先权日2008年8月8日
发明者A·杰克逊 大卫, J·罗杰斯 弗雷德里克, L·格利克曼 斯蒂芬, 普雷斯顿·菲利普斯, J·立普斯 马太 申请人:实耐宝公司
技术领域：
本申请涉及一种库存控制系统，更具体地，本申请涉及一种基于捕获的系统的各种收纳单元的图像来判定系统中收纳的物品的库存状态的基于图像的库存控制系统。
背景技术：
当在制造或者服务情况中使用工具时，使用后将工具归置于收纳单元是非常重要的，比如归置到工具箱中。工作人员通常进行手工库存检查工具箱以最小化或者消除贵重工具被误放或者被偷窃的问题。公司会随机核查工作人员的工具箱以防止被偷窃并监控工具位置。一些行业对于工具的库存控制有非常高的标准，以防止工具被遗留在工作区而造成严重的损害的事件。对于航空工业，确保没有工具被偶然遗留在正在制造的、组装的或正在被修理的航空器或者导弹中是非常重要的。航空工业协会(the Aerospace Industries Association)甚至建立了一个称为《国家航空标准》)(《National Aerospace Standard))) 的标准以减小异物(FOD)对航空产品的损伤，该标准包括推荐的工序、人员管理和操作。 FOD被定义为非航空器的结构的一部分的物体。所发现的最为普通的异物有螺母、螺栓、保险丝和手工工具。对于工具的库存是关键的，以防止工具被遗留在航空器中。一些工具箱试图建立内置的库存确认特性，用以追踪收纳在这些工具箱中的工具的库存状态。例如，一些工具箱在各工具收纳单元中或者紧接工具收纳单元布置接触传感器、磁性传感器或者红外传感器，以检测工具是否被放置在各工具收纳单元中。基于这些传感器产生的信号，工具箱能够判定是否有任意的工具缺失。虽然这种类型的库存检查在一定程度上是有用的，但也存在各种缺点。例如，如果传感器检测到一些物体正在占据收纳单元，工具箱将判定该收纳单元中无工具缺失。但是，工具箱并不知道是否是正确的工具被放回到工具箱中或者仅是有一些物体被放置在收纳单元中以欺骗所述系统。另外，为工具箱中的多个收纳单元设置传感器是繁杂并且昂贵的，并且大量的传感器易于受损或者功能失效，这样会产生虚假的正面警报或者负面警报。因此，需要一种有效的库存控制系统，其能够协助追踪和计录工具的使用及这些工具是否在使用之后被适当地放回。还需要一种精确地知道什么工具被移除或放回到工具箱中的库存控制系统。另外，由于多个工人可能使用同一工具箱，因此另外还需要一种能够追踪用户及用户对于工具的使用的库存控制系统，以确定任意的工具缺失或者误放的责任
发明内容
本发明说明了高度自动化的库存控制系统的各种实施方式，所述库存控制系统利用独有的机器成像和方法以识别收纳单元中的库存状态。所示的特性包括充分利用系统资源、自动成像和相机校正来处理复杂图像数据的能力；根据图像数据识别工具特性；自适应定时以捕获库存图像；用于检查库存状态的参考数据的有效生成；图像品质的自动补偿等。一种示例性库存控制系统包括至少一个收纳抽屉，各收纳抽屉包括多个用于收纳物品的收纳单元；数据存储装置，存储用于各收纳抽屉的参考数据，其中对于与各个收纳抽屉相对应的各关注区域，所述参考数据包括表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号，和表示所关注区域不存在收纳的物品时的属性的至少一个参考图像信号；以及数据处理器。所述数据处理器被构造成使用所捕获的抽屉的图像，导出用于表示与所述抽屉对应的关注区域的属性的图像信号；和根据所存储的与所关注区域相应的参考数据和所导出的用于表示与所述抽屉对应的关注区域的属性的图像信号判定所述抽屉的库存状态。所捕获的抽屉的图像可以是整个抽屉的图像或者是抽屉的局部图像。在一个方面中，基于与预设图像属性相关的图像的像素数目分布导出所述图像信号。通过获取包括与预设图像属性相关的像素数目分布的数据，数据处理器生成图像的图像信号；基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素；基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；基于所识别的像素组的共同图像属性生成图像信号。各收纳单元被构造成收纳预先指定的工具；各收纳单元与一个或多个预先定义的关注区域相关联。在一个实施例中，所述数据处理器基于与所述收纳单元相关联的各关注区域的图像信号和对应于与所述收纳单元相关联的各关注区域的参考图像信号的相关性， 判定各收纳单元的所述预先指定的工具的库存状态。一种在库存控制系统中使用的用于判定在所述库存控制系统中收纳的物品的库存状态的方法，所述系统包括至少一个用于收纳物品的收纳抽屉、存储各收纳抽屉的参考数据的数据存储装置，其中对于与各个收纳抽屉相对应的各关注区域，所述参考数据包括 表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号，和表示所关注区域不存在收纳的物品时的属性的至少一个参考图像信号；所述方法包括捕获抽屉的图像；导出用于表示与抽屉对应的所关注区域的属性的图像信号；根据所存储的与所关注区域相关的参考数据和所导出的用于表示与所述抽屉对应的关注区域的属性的图像信号判定所述抽屉的库存状态。根据另一个实施方式，根据本发明的一个库存控制系统包括至少一个收纳抽屉， 各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；图像传感器，构造成捕获一个所述收纳抽屉的图像；数据存储系统， 其存储对应于各收纳抽屉的参考数据，其中所述参考数据包括与抽屉中各收纳单元相对应以及与抽屉中各收纳单元存储的物品相对应的一个或多个预先设定的关注区域的信息；和数据处理器。所述数据处理器被构造成获取捕获的所述抽屉的图像；获取与所述抽屉对应的所述参考数据；基于存储的与所述抽屉对应的所述参考数据和捕获的所述收纳抽屉的图像判定所述抽屉的库存状态。其中，基于生成的所述泡沫层的切除部，从数据文件取得所述参考数据。在一个方面中，所述数据处理器基于生成的所述泡沫层的切除部引入所述数据文件并且从(变为基于(change to based on))所述数据文件导出所述参考数据。根据又一个实施方式，提出了一种新颖的方法，该方法用于准备库存控制系统中使用的参考数据，该库存控制系统用于判定在所述库存控制系统中收纳的物品的库存状态。所述系统包括至少一个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；所述系统基于捕获的所述各抽屉的图像和所述参考数据判定各个抽屉的库存状态，所述方法包括基于生成的各抽屉用的所述泡沫层的切除部从数据库引入数据文件，其中所述数据文件包括所述各抽屉中的各切除部的位置信息；和根据所引入的数据文件，使用数据处理装置生成用于指定各个抽屉中的各切除部和与各切除部对应的至少一个关注区域的位置信息的数据结构。这里说明的方法和系统可以用一个或多个计算机系统和/或适当的软件来实现。应理解，这里说明的实施方式、步骤和/或特性能够分别地或者以与一个或多个其它步骤、实施方式和/或特性组合的方式来执行、利用、实现和/或实行。本发明的其它的优点和新特性一部分将在下面的说明书中提出，一部分对于本领域技术人员通过对下面内容的检测是明显的，或者可以通过对本发明的实践而学习到这些优点和新特性。所示和所描述的实施方式说明了执行本发明的最佳方案。在不偏离本发明的精神和范围的前提下，能够对各种明显的方面进行修改。因此，附图和说明书应认为在本质上是说明性的，而不是限制性的。可以借助于所附权利要求中特别指出的方法和组合实现和获得本发明的优点。
在下面的附图中以示例的方式而非限制的方式说明了本发明，其在全部附图中具有相同附图标记的元件表示类似的元件，在附图中图Ia和图Ib示出了示例性收纳单元，可用于实现根据本发明的实施方式；图2示出了处于打开模式的示例性收纳抽屉的内部细节图；图3示出了根据本发明的示例性工具收纳系统；图如至图如和图如是图3中所示的工具收纳系统的不同视图；图4d示出了示例性图像被组合在一起的过程；图5示出了示例性的工具切除部、缓冲区和扩展区；图6a和图6b是本发明中使用的示例性标识符设计；图7a至图7e和图8a至图8d示出了图像校准的示例；图9是示例性联网库存控制系统的框图；和图IOa至图IOd是在根据本发明的示例性系统存取期间的示例性监测记录和所获取的图像的说明性图。
具体实施例方式在下面的说明中，为了说明的目的，提出了若干具体细节以透彻的理解本发明。具体地，在工具管理和工具库存控制的上下文中，描述了利用机器视觉来识别收纳单元的库存状态的说明性实施方式的操作。但是，本领域技术人员清楚地理解，本发明的构思的实行或实现可以不采用这些特定的细节。类似的构思可以用在其它类型的库存控制系统中，比如库房管理、珠宝库存管理、易损物质或者受控物质管理、小型酒吧库存管理、药品管理、 金库或保险箱管理等。在其它的示例中，以框图的形式示出了熟知的结构和装置，以避免不必要地模糊本发明。如整个说明书中所使用的，物品的、区域的或者抽屉的术语“一幅捕获的图像”、“捕获的多幅图像”、“一幅图像”或者“多幅图像”定义为整个物品的、区域和或抽屉的图像，或者指物品的、区域的或者抽屉的局部图像。示例件库存管理系统概述图Ia和图Ib示出了示例性收纳单元，其中实现了根据本发明的库存控制系统。图 Ia是包括多个收纳抽屉120的示例性工具收纳系统100。各收纳抽屉120包括多个用于收纳各种类型的工具的收纳单元。如整个说明书中所使用的，收纳单元是在收纳系统中用于收纳或者固定物品的单元。在一个实施方式中，各工具在工具收纳系统中具有特定的预先指定的收纳单元。各收纳抽屉在不允许存取抽屉的内容物的闭合模式和允许部分地或全部地存取抽屉的内容物的打开模式之间操作。当收纳抽屉从闭合模式向打开模式移动时，收纳抽屉允许扩大对于其内容物的存取。另一方面，如果收纳抽屉从打开模式向闭合模式移动，则收纳抽屉允许减小对其内容物的存取。如图Ia中所示，全部的收纳抽屉120处于闭合模式。锁定装置可用以控制对于收纳抽屉120的内容物的存取。各个收纳抽屉120可以具有其自身的锁定装置或者多个收纳抽屉120可以共有一个共用的锁定装置。仅通过鉴权的或者被授权的用户能够存取收纳抽屉的内容物。收纳抽屉可以具有不同的大小、形状、布局和配置。图Ib示出了另一种类型的工具收纳系统200，其包括多个收纳搁板或者收纳舱220和固定于收纳搁板250的单个门 250。收纳搁板或者收纳舱可以形成不同的大小、形状、布局和配置。图2示出了处于打开模式的示例性收纳抽屉120的内部细节。各收纳抽屉120包括具有多个收纳单元的泡沫基部180，比如切除部181，用于收纳工具。各切除部被特定地成型，用于适配地用相应的形状接收工具。可以用钩、尼龙搭扣带、闩锁、泡沫的压力等将工具固定在各收纳单元。根据本发明的示例性库存控制系统通过捕获并处理用以收纳物品的收纳单元的图像而判定物品的库存状态。所述系统包括执行不同功能所需的各种子系统，包括收纳子系统、成像子系统、存取控制子系统、供电子系统、用户接口子系统、数据处理子系统、传感器子系统和网络子系统。应理解，该子系统的列表仅是为了说明的目的，并非对子系统的穷尽。根据设计需要，根据本发明的示例性系统可以使用更多的或者更少的子系统。另外，并不是所有的子系统都必须是库存控制系统的整体的部分。在一个实施方式中，本发明中各种功能可以基于包括多个连接到数据传输网络的子系统的分布式架构实现。由数据传输网络连接的各子系统实现整个系统的一部分功能。以此，全部的系统功能分布于经由数据传输网络通信的多个子系统。能够建立通信方法或者这些方法的组合，以使库存控制系统外部的各个子系统或者数据处理系统通过网络实现无缝信息共享。所述方法可以包括传输控制协议 / 因特网协议(TCP/IP)、DISCO、SOAP、XML、DCOM、CORBA, HTML、ASP、Microsoft. NET 协议、Microsoft. NET Web Services和其它的替代通信方法。
(1)收纳子系统收纳子系统包括多个用于收纳物品的收纳单元，如图la、图Ib和图2中所示的多个收纳单元。应理解，用于收纳物品的其它类型的收纳系统可用以实现所述收纳子系统。(2)成像子系统成像子系统包括一个或多个被构造成用以捕获部分或全部内容物或收纳单元的图像的图像感应装置、和提供所需照明的照明装置。图像感应装置可以是基于镜头的照相机、CCD照相机、CMOS照相机、视频摄像机或其它类型的捕获图像的装置。所述图像感应装置可以可选地包括预处理部件，用于预处理捕获的图像。预处理的示例包括数据压缩、增强、信息读取、数据挖掘、导出特定的预定区域或者关注区域及周期区域的所关注项的特性等。图像感应装置通过位于本地的或者远程的数据处理系统传输原始图像数据或者任意的预处理数据以进行处理或者检视。照相机可以包括用于连接到数据传输网络的网络接口， 用于传输捕获的图像、预处理的图像、从捕获的图像中导出的信息等。(3)存取控制子系统存取控制子系统包括一个或多个身份验证装置，用于验证或者鉴权意图存取收纳在收纳系统中的物品的用户的身份或者鉴权等级；和一个或多个锁定装置，控制对于收纳系统中的收纳单元的存取。例如，存取控制子系统将一些或者全部收纳抽屉保持在闭合位置，直到身份鉴权装置对用户授权，可以存取所述收纳子系统。存取控制子系统可以使用一个或多个存取授权方法，用以确认用户的鉴权等级， 比如通过使用键盘输入访问码或者口令、通过钥匙卡读卡器从钥匙卡或者钥匙圈(fob)读取持有所述卡片或者钥匙圈的用户的授权等级、使用比如指纹读取器或者视网膜扫描的生物测量法(biometric method)、面部识别、磁性ID卡或者射频ID卡、接近传感器、占位传感器、和/或手工进入或其它方法。在一个实施方式中，独立地控制和授权对于各收纳系统 300的存取。基于赋予用户的授权等级或者存取等级，用户能够被授权存取一个或多个抽屉，但不能存取其它的抽屉。(4)供电子系统供电子系统提供和管理供给到库存存取控制系统的电力。供电子系统包括一个或者多个电源，该电源包括连接到一个或者多个AC电源和/或到一个或多个储电装置，比如电池和/或电池充电器。该子系统还可以包括用于跟踪系统的例如AC电源和电池电源之间的切换的供电状态、监测电池的充电状态所需要的电路和控制器。可以设置外部充电器， 从而电池可以在系统外部被充电并保存，用于快速更换系统中失效的电池。在一个实施方式中，远程电池充电器可以连接到与库存控制系统联接的数据网络，以报告在远程充电器处被充电的电池的充电状态。在另一个实施方式中，供电子系统联接到相对于库存控制系统远程的主计算机，向主计算机提供关于库存控制系统的供电状态的信息，比如电源失效、 充电状态、可用供电等。(5)用户接口子系统用户接口子系统包括用于与库存控制系统的用户通信的装置，比如一个或多个显示器、麦克风、扬声器、键盘、鼠标或者任意其它的将信息输出到用户和/或允许用户输入信息的装置。用户可以是意图存取库存控制系统中的物品或者工具的技师，或者是管理系统的库存状态的管理人员。
(6)数据处理子系统数据处理子系统，比如计算机，负责处理由成像子系统捕获的图像和/或生成库存状态的报告。图像感应装置捕获或形成的图像由数据处理系统处理，用于判定库存状态。 本公开全文中使用的术语“库存状态”指与物品的存在状态或者不存在状态相关的信息。数据处理子系统可以是库存控制系统的一体的部分；或者是具有比如有线链路 (link)或者无线链路的数据链的远程计算机，该远程计算机联接到库存控制系统；或者是整合在库存控制系统中的计算机与相对于库存控制系统远程的计算机的组合。将简要说明形成图像和判定库存状态的细节操作。在一个实施方式中，数据处理子系统保持用户和/或物品信息和历史。用户可以查询数据处理子系统以获得状态、建立用户、处理异常、系统维护等。在另一个实施方式中，设置有库存控制系统之外的主系统，所述主系统联接到经由数据链路或者网络整合在库存控制系统中的计算机，用于提供监管或维护功能，观察监测图像、提供各项状态和区位 (location)的报告和总结等。(7)传感器子系统根据所需的功能，在成像子系统之外，可以设置传感器子系统，用于感应关注的物品或区域或者它们周围环境的属性。这些属性可以用来与成像子系统的图像感应装置获得的图像信息结合，以增强对物品或者其状态的识别。传感器子系统可以包括用于感应条件， 比如压强、光、力、应力、磁场、容性感应、RFID、电场、力矩、加速度、定向、位置、定位、GPSjt 频三角测量(triangulation)、光三角测量、接近、地心场强和/或方向的传感器，可以包括接触和简单地手工进入或交互作为输入。(8)网络子系统网络子系统允许子系统在子系统和/或具有数据通信网络的接口和/或另一库存控制系统外部的用于实现数据通信的数据处理系统之间形成数据通信。实现网络接口的装置的示例包括一个或多个以太网接口、RS-232、RS-422、RS-485、访问总线、I2C、IE总线、 LIN总线、MI总线、超精细总线、MOST、MPI总线、SMBus、SPI (串行外围接口)、USB、WiFi或者其它无线以太网、光纤、Zigbee、IEEE 802. 15. 4、Rubee、蓝牙、UWB (Ultra-Wideband，超宽带)、IrDA、或者任意其它的适当的窄带或者宽带的数据通信技术。可以在库存控制系统内部和/或外部使用各种通信接口的组合。根据一个实施方式，如下进行一个操作循环存取控制子系统接收用户的识别信息。数据处理子系统使用户生效并且分别由经由以太网和TCP/IP发送指令以激活图像感应装置、调节成像子系统使用的照明并解除锁定。图像感应装置获取收纳单元的图像，并将捕获的图像组合在一起，用于评估与物体相关的关注区域。成像子系统计算捕获的图像的属性并且将所述属性经由以太网通信网络发送到数据处理子系统以进一步评估。数据处理子系统评估所述属性并判定库存状态、更新库存数据库中的记录并且向用户反馈。一旦用户退出系统，数据处理子系统经由以太网通信网络发出指令以结束对话、固定(secure)抽屉、和关闭成像子系统中的照明和图像感应装置。图3示出了实现为根据本发明的用于收纳工具的工具收纳系统300的示例性库存控制系统。收纳系统300包括显示器305 ；比如读卡器的存取控制装置306，用于验证意图存取收纳系统300的用户的身份和鉴权等级；用于收纳工具的多个工具收纳抽屉330。工具收纳系统300包括构造用以捕获系统的内容物或者收纳单元的图像的图像感应装置。图像感应装置可以是基于镜头的照相机、CCD照相机、CMOS照相机、视频摄像机或者捕获图像的任意其它类型的装置。系统300包括比如计算机的数据处理系统，用于处理由图像感应装置捕获的图像。图像感应装置捕获或者形成的图像由数据处理系统处理，用于判定系统的或者各收纳抽屉的库存状态。全公开全文中使用的术语“库存状态”指与收纳系统中的物品的存在或者不存在相关的信息。数据处理系统可以是工具收纳系统300的一部分；可以是具有比如有线链路或者无线链路的数据链路的、联接到工具收纳系统300的远程计算机；或者可以是整合在收纳系统300中的计算机与收纳系统300的远程计算机的组合。将简要说明形成图像和判定库存状态的详细操作。抽屉330类似于图Ia中所示的那些抽屉120。显示器305是收纳系统330的输入和/或输出装置，构造成用以向用户显示信息。可以经由各种类型的输入装置输入信息，比如键盘、鼠标、声音识别、触摸板等。存取控制装置306用以限制或者允许对于工具收纳抽屉330的存取。存取控制装置306通过使用一个或多个锁定装置，将一些或者全部的收纳抽屉330锁定在闭合位置，直到存取控制装置306授权用户存取收纳系统300的权限。存取控制装置306可以使用一个或者多个存取授权部件，以确认用户的授权等级，比如通过使用键盘输入访问码、使用读卡器以从钥匙卡或者钥匙中读取持有所述卡或者钥匙的用户的授权等级、比如指纹读取器或者视网膜扫描的生物学方法、或者其它的方法。如果存取控制装置306判定用户被授权存取收纳系统300，则存取控制装置306根据用户的授权等级解锁一些或者全部的收纳抽屉330，允许用户移除或者更换工具。在一个实施方式中，独立地控制和授权对于各收纳抽屉300的存取。基于赋予的授权等级或者访问等级，可以授权用户存取系统300的一个或者多个抽屉，但不能存取其它的抽屉。在一个实施方式中，存取控制装置306在用户闭合抽屉之后重新锁定收纳抽屉330。存取控制装置306的位置并不局限于收纳系统300的前部。其可以布置在系统的顶部或者布置在系统的侧面。在一个实施方式中，存取控制装置306与显示器305整合在一起。用于授权目的的用户信息可以通过具有触摸功能的显示装置、面部检测照相机、指纹读取器、视网膜扫描器或者任何其它类型的用于确认对于用户存取收纳系统300的授权的装置输入。图如和图4b示出了工具收纳系统300中的成像子系统的局部立体图。如图如所示，采用读卡器形式的存取控制装置306被布置于系统的侧面。收纳系统300包括成像舱330，所述成像舱330容纳包括三个照相机310和一个光重定向装置的图像感应装置，所述光重定向装置比如是具有向下相对于竖直面成大约45°角的反射面的镜312，用于将从抽屉330反射的光重定向到照相机310。重定向后的光在到达照相机310后，使照相机310 形成抽屉330的图像。镜312下方的阴影区340表示工具收纳系统300的图像感应装置的视场。镜312的宽度等于或大于各收纳抽屉的宽度，并且将照相机的视角重定向为向下朝向抽屉。图4e是系统300的说明性侧视图，其示出了照相机310、镜312和抽屉330之间的相对位置。从任意抽屉330反射向镜312的光被重定向到照相机310。图4b是与图如相同的立体图，不同之处在于移除了成像舱330的盖以显示设计的细节。各照相机310均关联于一个视场311。如图4b所示，照相机310的组合的视场形成了图像感应装置的视场340。视场340具有χ的深度。例如，视场340的深度可以近似为 2英寸。图如是图如中所示的工具收纳系统300的替换立体图，不同之处在于收纳抽屉 336正在允许部分地存取其内容物或者收纳抽屉336中的收纳单元的打开模式中操作。照相机310和镜312在图如至图如中的该配置使得照相机310能够从顶部抽屉向底部抽屉捕获图像，而不需要较大地变化其焦距。在一个实施方式中，照相机310在各收纳抽屉开启或关闭时捕获各收纳抽屉的多个部分图像。由照相机310捕获的各图像可以与唯一的ID或者标识图像捕获时间的时间戳(time stamp)关联。图像采集由工具收纳系统300中的数据处理器控制。在一个实施方式中，捕获的图像覆盖抽屉的全宽，但深度仅近似地为2英寸。捕获的图像在深度上和/ 或宽度上有些重叠。如图4D所示，不同照相机310在不同时间点处获取的部分图像41-45 可以组合在一起，以形成部分或者整个抽屉和其内容物和/或收纳单元的单幅图像。该组合可以由数据处理器或者由所安装的计算机或者远程的计算机使用脱壳(off-the-shell) 程序或者定制开发的软件程序进行。由于以近似两英寸的片断捕获图像，各照相机捕获多个图像片断。可以在各抽屉中包括一个或者多个可视刻度(visible scale)。处理器可以以类似于视频监控的快速成像模式监测图像的包含刻度的部分。当刻度到达特定的位置或者计算出的位置时，数据处理系统控制图像感应装置以捕获和记录图像片断。该刻度还可以协助图片组合。另外，比如栅格的图案可以施加到抽屉的表面。所述图案可用以协助组合或者协助图像捕获处理。在另一个实施方式中，图像感应装置包括更大的镜和具有广角镜头的照相机，以生成更深的视场X，使得降低或者完全消除对于图像组合的需求。在一个实施方式中，使用一个或多个线性扫描照相机来实现图像感应装置。线性扫描照相机沿大致的一维方向捕获图像。所述图像将具有依赖于传感器的显著的宽度，但图像深度仅是一个像素。线性扫描照相机捕获横跨工具抽屉的宽度的但仅一个像素深的图像带(image strip)。每次抽屉330移动过预定的部分量，照相机将捕获另一个图像带。在本示例中，图像带必须组合在一起以形成可用的全幅抽屉图像。这同样是许多复印机中用以捕获原稿图像的操作。原稿移动过线性扫描照相机，多个图像带被组合在一起以形成整个原稿的图像。除了镜之外，应明白比如如下的其它装置可用以实现光重定向装置以用于将来自物品的光定向朝向远程照相机，例如棱镜；包括平面镜、凹透镜和/或凸透镜的不同类型透镜的组合；光导纤维；或任何其它能够将光从一个点定向到另一个点的装置。另一种可选方案是使用光导纤维。使用光重定向装置可能向捕获的图像中引入失真。可以进行校准或者图像处理以消除该失真。例如，照相机310可以首先观察由光重定向装置反射的已知的简单栅格图案，并生成失真映像供数据处理处理器用以调整捕获图像以补偿镜失真 (mirror distortion)。为更好地进行图像捕获和处理，期望校准照相机。照相机可以包括一定的与图像失真或焦距相关的安装变量。照相机能够以类似于减小镜失真的方式被校准以减小失真。 实际上，镜校准能够补偿照相机失真和镜失真，并且其也许是所使用的唯一的失真校准。另外，各个照相机可以用特定的夹具(fixture)校准，以确定它们的透镜的实际焦距，并且能够用软件补偿单个系统中的照相机与照相机之间的差异。在一个实施方式中，图像感应装置并不包括任何的镜。而是，一个或多个照相机被配置在布置镜312的位置处。在本示例中，照相机直接向下指向收纳抽屉330。在另一个实施方式中，各收纳抽屉330具有一个或多个用于捕获该收纳抽屉的图像的照相机。判定库存状杰在示例性系统300中，抽屉330中的各收纳单元被构造成收纳预先指定的物品，比如预先指定的工具。例如，如图2所示，各抽屉330包括具有多个用于收纳预设的工具的工具切除部181的泡沫层泡沫基部180。各工具切除部具有大致类似于收纳在切除部中的工具箱的轮廓的形状。系统300基于一个或多个预定关注区域(ROI)的图像数据判定各物品的存在或者缺失。关注区域(ROI)是如下的预先定义的区域该区域的图像数据包括判定特定收纳单元处的物品的存在或缺失的有用信息。ROI可以由系统设计者定义，ROI可以覆盖或者重叠工具切除区的一部分或者整个切除部，或者根本不覆盖或者重叠工具切除部。 收纳系统300通过分析预先定义的ROI的图像数据而判定物品或者工具的库存。将简要说明使用ROI判定库存状态的细节。为改进图像数据处理和传输的效率，系统300基于一个或多个ROI的捕获的图像导出的图像信号和ROI的参考图像信号判定抽屉330中的工具的存在或者缺失。图像信号表示包括相对于各图像或者ROI唯一的特定图像或者R0I。唯一的属性包括颜色、大小、形状、宽度、高度、深度、轮廓(silhouette)或者廓线、特定的重力、重量、直径、反射率、亮度 (intensity)、热特性、粘性、尺寸、纹理、表面光洁度等中的一个或多个属性。根据一个实施方式，基于区域的一个或多个捕获图像导出这些属性的表示(representation)。将简要说明导出用于特定图像或者ROI的图像信号的细节。系统300读取标记参考数据，所述参考数据包括同一区域或者ROI在比如工具的物品存在时或者当所述物品缺失时的参考图像信号。对于各区域或者各R0I，参考图像信号可以通过在存在物品时和不存在物品时获取所述区域或者ROI的图像而生成。基于区域或者ROI的图像的图像信号与标记参考数据的相关性，系统300判定与收纳单元对应的物品存在或者缺失。例如，使用两组参考图像信号，一个与由相应的工具占用的切除部相对应，一个与未由相应的工具占用的同一切除部相对应。基于所捕获的覆盖切除部的区域的图像的图像信号与所捕获的紧密围绕切除部的区域的图像的图像信号、和同一区域的标记参考数据的相关性，判定库存状态。可以由系统300中的一个或者多个数据处理器或者安装的用于执行库存判定的计算机基于捕获的图像执行适当的软件。系统300的非易失性存储装置存储标识抽屉中的各已知收纳单元与其相应的预设物品之间的关系的信息。存储装置另外存储与关联于ROI 或者工具的各工具和参考图像信号信息相对应的预先定义的R0I。一个或多个数据处理器判定抽屉中的哪个收纳单元被它们相应的预设工具占用并判定抽屉中的哪个收纳单元未被它们相应的预设工具占用。基于所存储的标识各收纳单元与它们的相应的预设物品的关系来判定对于一个或者多个存在和/或缺失工具的识别。系统还判定工具是否错位或者工具是否被误放。现在说明图像识别和库存判定的细节。
根据本发明的示例性工具收纳系统使用独有的方法图像识别，其显著地降低了所需数据的量，并且进行所需要的计算在技术上需要的计算能力和时间更少。(1)参考数据标准如前所述，示例性系统300基于工具的和工具切除部的从捕获的图像导出的标记和参考图像信号判定工具的库存状态。本公开提出了产生参考图像信号的文件的有效并且独有的方法。为适当地有效地并且高效地处理照相机捕获的图像，系统300需要访问如下信息说明包括与各工具相联系的预先定义的ROI的参考图像信号的参考数据的信息；包括各抽屉中的工具识别、工具定位、切除部位置的信息；切除部廓线；工具轮廓的限定；指状切除部的限定；工具轮廓之间的通道；各抽屉中的工具的位置相对于泡沫的已知特性的限定；部件数目；和进行图像识别有用的任意信息。所述信息整体上称为参考数据。根据本发明的示例性系统使用称为切除部文件的现有数据文件以高度自动化的方式生成参考数据。切除部文件在工具收纳系统中使用的具有工具廓线切除部的泡沫层的制造期间生成。这些切除部文件典型地采用工业标准格式，比如.dxf格式，并且包括用于各抽屉的工具轮廓切除部和抽屉中的各工具的相对位置的信息。生成抽屉泡沫层中使用的切除部文件另外提供了额外的有用信息收纳各工具的抽屉、工具的部件号、国家序号、制造商部件号、工具序号、工具说明等。例如，由Snap-on (实耐宝)公司提供的称为True Fit (真正适配)的软件程序包括工具轮廓和与各工具相关的数据的数据库。当制造在工具收纳系统中使用的具有切除部 181的泡沫层180时，泡沫布局技师(layout technician)根据包括待被包括在工具收纳系统中的全部工具的主工具列表以特定的顺序或者以定制的方式生成各抽屉330的泡沫布局。所述列表可以由销售代表和/或客户生成。当计算机执行True Fit程序时，该程序基于主工具列表和数据库中的关于各工具的预存数据为各抽屉330产生包括泡沫层的切除部文件。切除部文件包括各切除部的信息，比如形状和大小、工具列表，并且包括各抽屉中的各切除部的位置信息。在一个实施方式中，位置信息包括各切除部的相对于各抽屉的共用坐标系统的坐标信息。然后，技师根据泡沫布局使用2D喷水切割刀(water jet cutter) 或者3D加工刀具(machining tool)切割泡沫。通过使泡沫形成中使用的比如.dxf文件的切除部文件适应图像识别中使用的参考数据，工具收纳系统现在开始存取与各抽屉中的各工具的准确位置相关的数据、及切除部的形状和比如工具数目、序号等的其它有用的信息。该处理使得不需要手工将各工具录入到工具收纳系统的库存记录中，并且还可以提供关于各抽屉中的各工具的位置及与各工具相关联的数据的精确信息。从该处理导出的额外信息包括参考图像信号和其它工具属性，比如颜色、大小、形状、面积、质心、面积转动惯量、回转半径、具体尺寸(比如扳手开度、 槽径、螺丝刀长度等)。因此，当加载了参考数据时，各工具的属性也可以由工具收纳系统读取。(2)关注区域为提高数据处理的效率，对于各个捕获的抽屉图像，示例性系统300不处理整幅图像，而是对于预定的关注区域(ROI)进行图像识别，所述关注区域(ROI)是捕获图像的子集并且由此包括的要求处理的数据很少。根据一个实施方式，各工具具有一个或多个预先定义的R0I。如先前所述，ROI可以覆盖或者重叠一部分的或者整个的工具切除部181，或者完全不覆盖或者不重叠工具切除部181。可以通过坐标系统中的切除部位置、切除部廓线、工具轮廓的限定、指状切除部的限定、工具轮廓之间的通道、各抽屉中的工具的位置相对于泡沫的已知特性的限定、工具说明、部件数目和进行图像识别有用的任意信息中的一项或多项说明关注区域。(3)(training process)计算机转换处理将切除部文件改编(adapt)为示例性工具收纳系统中使用的参考数据。转换处理中的示例性步骤说明如下a.从泡沫切除部文件中读取工具信息该步骤读取并加载切除部文件，所述切除部文件包含包括有工具位置、轮廓、泡沫颜色、背景色、属性和其它数据的工具数据。该步骤在水平方向上和竖直方向上对图像划分刻度，以将切除部文件中使用的尺寸格式转换成为基于照相机和图像的系统中使用的像素。典型地，每个点有大约8到10个像素。使用带有适当的编码的软件转换文件用以进行该转换。b.生成工具位置数据结构通过处理与工具切除部相关的形状和位置，使用泡沫布局确定R0I。整幅图像的一个角部被定义为原点。然后，确定图像内的边界框的位置。ROI位于该边界框内并且由边界框内的行数和列数确定。包含一部分ROI的边界框内的像素被具体化为有序的数对 (pairs)，其中以边界框的左上角为原点。ROI的示例性数据结构提供如下
i)fawt*r. l-4S %
SiIiKMeiif Μ( Xi 16 ()0 , BOX JD 105) DRAWER 01 JsOSil iOK S-0Ei58
fJESCRiPTIOH Wrench. Crowfoot, Open Ejk!, 1/2 {■].( 1586 2379 Vxwmr)
LkC 1 ￠87 2409 Comer) I 22 58
121 60
220 62 95 20 2 19 63 %22 2 19 64 95 20 t 18 I 6H I Κ) 7 ！ 16 70c.判定哪个照相机处理工具在使用四台照相机或者使用六台照相机来捕获抽屉图像的示例性工具收纳系统中，每个照相机具有40°宽的视场(FOV)，其中在图像中心线的每一侧具有20°的F0V。照相机之间的图像能够重叠。根据抽屉的位置，顶部抽屉中的重叠部分较小，或者底部抽屉中的重叠部分较大，其中在底部抽屉中，每个照相机能够看到整个抽屉。通过确定每个工具 ROI的质心的位置和将各个ROI赋予其中FOV中心线距离该ROI最近的照相机，工具及它们
//抽屉名称(Drawer舰me) // 方案 C {.oluiiosi) // 部分编号(Pan. nombei) “工具箱id ( ' οΙ box kl 3 “抽薩编号(Dmwer No) Ai 位置(Ρ<κ. )ιι) //描述 CDescripiiwt ) Λ·'绑定工具辍 ι'上部左麵(Ikwnding Ci fpper i ci'i)
“绑定工具箱 C下部右侧(Bounci)ii|. b ;·; (f ,ower Ri| in)
A'像素数据(绑定工具盒内，由(pi-ici tlaia Wiiliin iha bounding
縱 《赚 w“.ii.i.n ifie π ην, uite.
myd width (# pixels wi.de) y相关联的ROI被赋予照相机。如果ROI延伸到一个以上的照相机的会聚区域，则ROI被划分为多个片断并被如上所述地赋予各个照相机。d.为工具生成膨胀区(dilation zone)和缓冲区(buffer zone)在一定的情形下，即使工具被置于其相应的切除部或者收纳单元中，与工具相关的捕获的图像也会偏离参考数据。例如，工具会悬出(overhang)工具切除部的边缘，或者会被紧密压入到泡沫中而形成压缩或变形，或者工具切除部可能不处于所期望的准确位置。这些情形如果不能适当地解决，会使工具收纳系统激发虚假报警。为解决这些问题，一个示例性系统利用独有的图像数据来评估工具的库存状态。 如图5所示，围绕每个工具切除部设置膨胀区和缓冲区。缓冲区是绕工具切除部形成的环状环并且具有可调节的宽度，所述宽度比如是像素数。例如，工具切除部的缓冲区可以距离工具切除部的边界扩展离开5个像素。宽度是任意的，并且依赖于系统设计。膨胀区是围绕缓冲区的环状环并且可以赋予可调节的像素数目。例如，缓冲区可以距离缓冲区的外边界离开4个像素。该宽度是任意的并且依赖于系统设计。在一个实施方式中，评估图像时，忽略与缓冲区相关的图像数据，而评估与膨胀区相关的图像数据，用于评估比如颜色、亮度、色调和饱和度等的属性。该数据在后面将用以评估某些物体被置于工具切除部的边缘上的情形，示出错误的工具被放在收纳单元或者切除部中、或者正确的工具被不适当地旋转在收纳单元或者切除部中而错位、或者存在某些物体覆盖了至少一部分缓冲区。当这些发生时，将向用户或者管理者发出报警。4.基于图像信号的图像识别每个图像包括表示所述图像的独有的特性的属性。这些属性包括颜色、大小、形状、宽度、高度、深度、轮廓或者廓线、特定的重力、重量、直径、反射率、亮度、热特性、粘性、 尺寸、纹理、表面光洁度等。根据本发明的示例性系统利用独有的方法从捕获图像中提取表示每个ROI的信息。所提取的信息独有地说明了 ROI的属性，称为ROI的图像信号。如前所述，系统300中的非易失性存储装置存储与预先定义的ROI相关的数据，其中所述预先定的的ROI的图像数据需要由系统300处理。预存储的对照表可用以识别每个工具、识别每个工具的相应的切除部信息、和识别其中图像数据可用以判定工具的库存状态的预选择的R0I。基于与工具关联的每个ROI的基于捕获的图像和参考图像信号导出的图像信号，判定工具的库存状态。由于用图像信号而不是原始图像数据来判定库存状态，显著地提高了信号处理和数据传输的效率。现在说明产生图像的图像信号的处理。说明了一个使用图像色调和饱和度的样本图像信号。还能够设想使用各种图像属性的其它标记用以判定库存系统中的各项的存在、 缺失或者识别。该处理的示例性算法提供如下RGB (红、绿、蓝)到HIS (亮度、色调、饱和度)的转换
权利要求
1.一种用于判定系统中收纳的物品的库存状态的库存控制系统，所述系统包括 至少一个收纳抽屉，各收纳抽屉包括多个用于收纳物品的收纳单元；数据存储装置，存储用于各收纳抽屉的参考数据，其中对于与各个收纳抽屉相对应的关注区域，所述参考数据包括表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号，和表示所关注区域不存在收纳的物品时的属性的至少一个参考图像信号； 数据处理器被构造成使用所捕获的抽屉的图像，导出用于表示与所述抽屉对应的关注区域的属性的图像信号；和根据所存储的与所关注区域相应的参考数据和所导出的用于表示与所述抽屉对应的关注区域的属性的图像信号判定所述抽屉的库存状态。
2.根据权利要求1所述的系统，其特征在于，基于图像相对于预设图像属性的像素数目分布导出所述图像信号。
3.根据权利要求2所述的系统，其特征在于，所述数据处理器以如下方式产生所述图像信号获取包括相对于预设图像属性的像素数目分布的数据； 基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素； 基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；基于所识别的像素组的共同图像属性产生图像信号。
4.根据权利要求1所述的系统，其特征在于 各收纳单元被构造成收纳预先指定的工具；各收纳单元与一个或多个预先定义的关注区域相关联；和所述数据处理器基于与所述收纳单元相关联的各关注区域的所述图像信号和对应于与所述收纳单元相关联的各关注区域的所述参考图像信号的相关性判定各收纳单元的所述预先指定的工具的库存状态。
5.一种在库存控制系统中使用的用于判定收纳在系统中的物品的库存状态的方法，所述系统包括至少一个用于收纳物品的收纳抽屉；存储用于各收纳抽屉的参考数据的数据存储装置，其中针对与各个收纳抽屉相对应的关注区域，所述参考数据包括至少一个表示所关注区域存在收纳的物品时的属性的参考图像信号；和至少一个表示所关注区域不存在收纳的物品时的属性的参考图像信号；所述方法包括捕获抽屉的图像；导出表示与所述抽屉对应的至少一个关注区域的属性的图像信号；和根据所存储的与对应于所述抽屉的关注区域对应的参考数据和所导出的表示对应于所述收纳抽屉的关注区域的属性的图像信号判定所述抽屉的库存状态。
6.根据权利要求5所述的方法，其特征在于，基于相对于预设图像属性的图像的像素数目分布导出所述图像信号。
7.根据权利要求6所述的方法，其特征在于，通过如下导出所述图像的图像信号 获取包括相对于预设图像属性的像素数目分布的数据；基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素；基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；基于所识别的像素组的共同图像属性产生所述图像信号。
8.根据权利要求5所述的方法，其特征在于，各收纳单元被构造成收纳预先指定的工具；各收纳单元与一个或多个预先定义的关注区域相关联；和所述数据处理器基于与所述收纳单元相关联的各关注区域的所述图像信号和对应于与所述收纳单元相关联的各关注区域的所述参考图像信号的相关性判定各收纳单元的所述预先指定的工具的库存状态。
9.一种用于判定系统中收纳的物品的库存状态的库存控制系统，所述系统包括至少一个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；图像传感器，构造成捕获一个所述收纳抽屉的图像；数据存储系统，其存储对应于各收纳抽屉的参考数据，其中所述参考数据包括与抽屉中各收纳单元相对应以及与抽屉中各收纳单元存储的物品相对应的一个或多个预先设定的关注区域的信息；数据处理器被构造成获取捕获的所述抽屉的图像；获取与所述抽屉对应的所述参考数据；基于存储的与所述抽屉对应的所述参考数据和捕获的所述收纳抽屉的图像判定所述抽屉的库存状态；其中，基于生成的所述泡沫层的切除部，从数据文件取得所述参考数据。
10.根据权利要求1所述的系统，其特征在于，所述数据处理器基于生成的所述泡沫层的切除部引入所述数据文件并且从所述数据文件导出所述参考数据。
11.一种在库存控制系统中使用的用于判定系统中收纳的物品的库存状态的参考数据的准备方法，所述系统包括至少一个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；所述系统基于捕获的所述各抽屉的图像和所述参考数据判定各个抽屉的库存状态，所述方法包括基于生成的各抽屉用的所述泡沫层的切除部从数据库引入数据文件，其中所述数据文件包括所述各抽屉中的各切除部的位置信息；和根据所引入的数据文件，使用数据处理装置生成用于指定各个抽屉中的各切除部和与各切除部对应的至少一个关注区域的位置信息的数据结构。
全文摘要
基于捕获图像监测物品的库存状态的系统。一种示例性系统包括至少一个收纳抽屉，各收纳抽屉均包括多个用于存储物品的存储单元；和数据存储装置，其存储用于各收纳抽屉的参考数据。针对所关注的与各个收纳抽屉对应的区域，所述参考数据包括至少一个表示所关注区域在存在收纳的物品时的属性的参考图像信号；和至少一个表示所关注区域在不存在收纳的物品时的属性的参考图像信号。系统的数据处理器被构造成使用所捕获的抽屉的图像导出表示与抽屉对应的所关注区域的属性的图像信号；根据所存储的与所关注区域相关的参考数据和所导出的表示所捕获的关注区域的图像的属性的图像信号判定所述抽屉的库存状态。
文档编号G06Q10/00GK102177524SQ200980140153
公开日2011年9月7日 申请日期2009年8月7日 优先权日2008年8月8日
发明者A·杰克逊 大卫, J·罗杰斯 弗雷德里克, L·格利克曼 斯蒂芬, 普雷斯顿·菲利普斯, J·立普斯 马太 申请人:实耐宝公司
最新回复(0)