质量有保证的制造
质量有保证的制造
【技术领域】
[0001]本发明涉及制造环境技术领域，举例来说，诸如车体制造、飞机制造、机械制造等。这种环境通常被设置为组装线或者制造单元。
[0002]本发明总体上还涉及根据权利要求1的制造环境中的工具定位系统和涉及根据权利要求12的在制造环境中对手持工具进行定位的方法。
【背景技术】
[0003]US 2011/087360中示出了一种用于制造环境的自主型工业机器人，所述机器人配备有摄像头和力量传感器。计算装置被具体实施为基于摄像头和传感器数据来计算希望的机器人运动，使得机器人可以自动地将部件组装至随机移动的工件的预定位置，例如，将轮胎组装至车体。
[0004]除了由机器人执行的自动化步骤以外，这种制造中还存在许多步骤，这些步骤涉及人工处理和安装。这些人工制造步骤通常通过手持工具来进行，例如，像螺丝刀、扳手、卷边工具(crimping tool)、铆接工具、钻头、点胶机等。优选的是，所述工具是动力工具，例如可以通过电力或气压来驱动。由于完全自动化在经济上并不明智，许多制造步骤因此通过工人来执行。尽管如此，工人仍可能是过失、不准确、忽略或其它人为错误的潜在来源。因此，开发了用于最小化这种人为错误的技术。
[0005]JP 2000 111450示出了这样一种组装线，其中，每一个组装台处的制造步骤都由摄像头来记录。在检查阶段，所记录工作文档和组装手册的再现内容在分屏显示器上提供，这样，检查员能够检查该工作。
[0006]在WO 2010/053422或WO 2012/107300中，存在用于在制造或组装环境中对可移动工具和/或组装货物进行位置定位的系统，位置定位通过像无线电通信系统的局部GNSS来进行，这有时还被称为RTLS或RFID定位。那些系统基于超宽带(UWB)无线电通信。该环境配备有处于已知地点的多个固定RF传感器，并且所述工具配备有对应的有源电子标签。根据由此确定的三维工作位置，可以保证正确地进行组装，例如，在正确的地点、利用正确的工具、按正确的量、利用正确的工具参数并且是否例如实现希望的扣紧程度的结果。鉴于在制造环境中变得越来越突出的无线通信系统的潜在影响，实现UWB系统趋于棘手。而且，必须考虑规章限制(像FCC)，其限制了可实现的性能。如在上述文献中提到的，而且对UWB链路的屏蔽影响、信号反映、多路径以及散射问题或其它干扰限制了这种系统的实际可用性和性能。因此，这种系统的能够保证的实际上可实现的位置准确度大约为50cm，这与要制造的工件处的容差相比非常不准确。在大多数情况下，不能以扣紧点的间隔相对应的准确度可靠地区别工具位置。
[0007]在WO 00/17719中，使用拍摄预定加工区域的图像的图像拍摄装置，所述图像拍摄装置可以通过处于加工工具中或该处的图像拍摄装置来帮助。所述图像通过图案感知来评估，以确定操作员执行预定数量的加工操作，但不会遗漏工件上的任何加工点。
[0008]这些现有技术设计的缺点在于，例如大约50cm的定位准确度仅足够用于分段成粗糙工作区，其可以帮助避免某些严重的错误(例如，将工具锁定在粗糙限定的环境范围之外)，但这不足以确保高质量标准。
[0009]另外，现有技术系统的缺点还在于它们对于制造环境来说非常静态的事实。而且，它们的安装需要安装专用基础设施。就不断变化的制造环境、产品变型以及灵活的面向订单的制造而言，现有技术系统必须跟踪产品或环境中的每一个变化，并且所跟踪的每一个变化必须通过重新编程等而映射到那些系统中。
【发明内容】
[0010]因此，本发明的目的是改进制造工序，特别是改进用于制造过程的质量保证和文档提供系统。
[0011]特定目的是改进其中工人利用手持工具工作的制造环境的灵活性，特别是制造环境的变化(由于移动工人、可变供应库存、移动供应车、服务和维护人员以及设备等造成的周围变化)。
[0012]另一特定目的是改进这种系统的灵活性，特别是制造产品的变化，像不同的产品、型号或版本、变型、改进、可定制选项等。
[0013]另一目的是提供一种可以在所建立的制造环境中容易使用的系统，该系统优选地不需要或几乎不需要该环境中的任何物理改变和/或安装、或者专用基础设施的安装。
[0014]这些目的通过实现独立权利要求的特征来实现。按另选或有利方式进一步开发本发明的特征在从属专利权利要求中进行了描述。
[0015]根据本发明，建立了一种针对制造环境中的手持工具的工具定位系统。在所述制造环境中，通过使用那些手持工具来制造工件，特别是在诸如组装线处或制造单元中的车体、飞机或机械制造中的多个制造台处。
[0016]手动可移动工具配备有用于拍摄图像的摄像头，所述图像被提供给所述定位系统。所述定位系统包括诸如计算单元的数值评估装置，其被构建成基于来自所述摄像头的图像通过同时定位和绘图(SLAM)导航计算来确定所述工具的工具定位。
[0017]通过静态的制造环境，与其有关地限定全局坐标系。根据本发明，所述工具定位基于来自所述摄像头的所述图像的包含所述制造环境的视图的部分，通过所述SLAM导航而与所述环境有关地针对全局坐标系来确定。
[0018]而且，所述工件限定与其有关的局部坐标系。特别地，所述局部坐标系可以相对于所述全局坐标系移动，例如，在组装线排布结构中。根据本发明，所述工具定位基于来自所述摄像头的所述图像的包含所述工件的视图的部分，通过所述SLAM导航而与所述工件有关地针对局部坐标系来确定。
[0019]如果所述摄像头的实际视场仅包括所述环境的一部分而不包括所述工件的一部分(或者至少合理的一部分)，则所述工具定位因此可仅在所述全局坐标系中确定。
[0020]如果所述摄像头的实际视场仅包括所述工件的一部分而不包括所述环境的一部分(或者至少合理的一部分)，则所述工具定位因此可仅在所述局部坐标系中确定。
[0021]如果所述摄像头的实际视场包括所述环境的一部分和所述工件的一部分，则所述工具定位基于来自同一摄像头的图像，在全局坐标系和局部坐标系中确定。所述摄像头可以具有包括所述工具的工作范围的至少一部分的视场。
[0022]其中，确定所述工具定位可涉及将所述SLAM导航与所述工件和/或所述环境的已知空间信息进行匹配，所述已知空间信息特别是CAD或点云数据形式的空间信息。
[0023]所述评估装置可以被构建成建立所述工具定位在所述局部坐标系与所述全局坐标系之间的无缝转换，特别是利用所述局部坐标系相对于所述全局坐标系的现场更新参照。
[0024]所述工具可以特别是安装工具，例如，螺丝刀工具、扳手工具、夹持工具或铆接工具，优选为扭矩监视和/或位置监视动力工具。所述工具还可以包括惯性测量单元(MU)，并且确定所述工具定位可以涉及基于来自所述IMU的数据通过惯性导航算法导出的信息。
[0025]所述工具还可以包括用于感测所述工具工作的工作过程参数的传感器装置。该工作过程参数可以由通信接口与对应的工具定位一起提供为工具监视数据，特别是提供给用于所述工件的制造历史的管理和/或文档制作的制造管理系统，优选地，其中，所述工具监视数据包括来自所述摄像头的描绘所述工具工作的工作过程结果的图像。
[0026]另外，所述工具可以包括通信接口，特别是无线通信接口，优选为实时通信接口，所述通信接口被构建成与制造管理系统和/或其它工具交换其定位和/或图像信息。
[0027]所述制造环境和/或所述工件可以包括被构建成要在所述摄像头的图像中标识的多个协作和/或主动发光目标，特别是可用于支持SLAM导航的对比面(contrast face)、反射器或LED。
[0028]所述工件可以相对于所述全局坐标系移动，并且还可以配备有用于在所述全局坐标系中的工件定位的SLAM导航的摄像头，特别是按照与所述工具定位相同的方式进行，特别是其中，所述工件定位和所述工具定位被组合，优选地由此建立所述全局坐标系和所述局部坐标系的参照。其中，可以通过基于来自所述工件处的所述摄像头的图像对所述工具的定位和基于来自所述工具处的所述摄像头的图像对所述工件的定位来建立所述工具定位与所述工件定位之间的反向参照。
[0029]本发明还涉及用于制造环境的工具监视系统，其中，所述制造环境包括固定物品和可移动物品。所述可移动物品包括要制造的工件和/或其部件以及要由工人操作的工具。所述工具监视系统还包括如在此描述的用于工人的工具的工具定位系统。
[0030]在所述工具监视系统中，所述制造环境可以配备有:用于对所述制造环境进行成像的多个全局摄像头，特别是固定全局摄像头；以及图像处理装置，该图像处理装置被构建成标识/检测所述制造环境中的所述固定物品和可移动物品，并且确定它们在全局环境坐标系中的全局位置坐标，特别是在至少三个维度中的全局位置坐标。其中，所述全局位置坐标可以与确定的所述工具定位相匹配，特别是其中，通过利用所述环境处的所述摄像头对所述工具的全局定位和利用所述工具处的所述摄像头相对于所述环境对所述环境的全局定位来建立所述工具导航与所述环境导航之间的反向参照。
[0031]所述摄像头可以是将光学辐射变换成电信号的2D光敏装置，优选地利用光敏单元的二维矩阵排布结构，并且具有用于将视场成像到所述光敏装置上的光学装置。示例有CCD或CMOS摄像头，优选的是，其中，拍摄的图像被数字化并被提供为用于进一步处理的数字图像或视频数据。
[0032]同时定位和绘图(SLAM-SimultaneousLocat1n And Mapping)技术(有时还指用于可视SLAM的VSLAM)包含策略，其中，优选地来自单一摄像头的图像不仅用于自主标识该图像内的先前未知特征，而且基于该图像导出摄像头定位，并且生成所成像周围环境的3D地图。例如，US 8274406或US 2012/121161示出了通过使用视觉系统将同时定位和绘图(SLAM)技术用于机器人导航的示例性实施方式。为实现SLAM导航，所述摄像头相对于被成像物体移动，为此，“从运动恢复结构(Structure from Mot1n) ”(SfM)也是结合使用的术语。对于位于工人操作的手持式工具处的摄像头来说，当所述工具按其希望方式操作时，该摄像头(和工具)移动的纵横比根据其类型给出。
[0033]尽管如此，在制造环境中，摄像头视场不仅与单一环境相对，而且对所述制造环境、所述工件或者制造 物品进行成像，或者所述图像包括两者的一部分。因此，可以限定所述工具可参照的全局制造环境坐标系，并且可以限定所述工具也可以参照的所述工件的局部坐标系。
[0034]尽管所述全局坐标系与局部坐标系之间存在关系，但所述关系并不一定是恒定或精确已知的。例如，在移动组装线构造中，这两个坐标系和它们在所述图像中的对应视图将彼此相对移动，而且当然还伴随着所述工具的移动。而且，所述制造环境包括许多移动物品、像工人、图纸、供应库存、部件，叉车机器人等。那些物品既不可以用于单一特征绘图也不适于SLAM使用。
[0035]本发明还涉及一种用于定位制造工件的制造环境中的手持工具的对应方法，例如，车体、飞机或机械制造的具有多个制造台的环境，优选地在组装线排布结构中。所述手持工具配备有摄像头，使得可以进行利用针对所述工具的限定参照来拍摄图像。根据本发明，进行基于来自所述摄像头的所述图像通过SLAM导航计算对所述手持式工具的工具定位的确定，并且从所述图像的包括所述制造环境的视图的部分与所述制造环境有关地相对于全局坐标系来确定所述工具定位，并且还从所述图像的包括所述工件的视图的部分与所述工件有关地相对于局部坐标系来确定所述工具定位。特别是其中，所述局部坐标系可以相对于所述全局坐标系移动。
[0036]确定所述工具定位可以涉及将所述SLAM导航与所述工件和/或所述环境的已知空间信息进行匹配，所述已知空间信息特别是CAD或点云数据形式的空间信息。
[0037]而且，所述方法可以涉及由所述工具处的传感器装置感测工作过程参数，并且通过通信接口将所述工具定位与所述对应工作过程参数一起提供为工具监视数据，特别是将所述监视数据提供给用于管理所述工件的制造和/或为所述工件的制造提供文件的制造管理系统，优选地与提供来自所述摄像头的、在所述对应工具定位处的工作过程结果的图像一起。
[0038]所述方法(或者其涉及计算的至少那些部分)还可以具体实施为一个或更多个计算机程序产品，所述计算机程序产品被存储在机器可读介质上。除了介质上的存储以外，所述计算机程序产品还可以被具体实施为电磁波(如有线或无线数据信号等)。
[0039]因此，本发明还涉及用于基于来自制造工件的制造环境中的工具处的摄像头的图像来执行在此描述的SLAM导航算法的这种计算机程序产品，所述制造环境优选地在组装线构造中具有移动工件。在计算的SLAM导航中，通过所述图像的描绘所述环境的部分相对于与所述环境相关的全局坐标系并且还通过所述图像的描绘所述工件的部分相对于与所述工件相关的局部坐标系来建立所述工具的定位。所述计算机程序产品由此特别在所述全局与局部坐标系和相应的图像部分之间区分。
【附图说明】
[0040]下面，参照附图中示意性地示出的可行示例，完全通过示例的方式对根据本发明的系统、装置、方法以及设置进行更详细描述或说明。具体地，
[0041]图1示意性地示出了根据本发明第一实施方式的示例；
[0042]图2示出了根据本发明第二实施方式的示例；
[0043]图3示出了根据本发明第三实施方式的示例；
[0044]图4示出了根据本发明的在制造环境中的组装线处的工具定位的示例；
[0045]图5示出了根据本发明的实施方式的在组装线中的不同用途的示例。
[0046]以下附图中的图不应被视为按比例绘制。在合适的情况下，相同标号被用于相同特征或者具有相似功能的特征。针对标号的不同下标被用于在示例性地示出的特征的不同实施方式之间区别。
【具体实施方式】
[0047]图1示出了根据本发明一实施方式的草图，以例示工具定位极其背景。在制造环境2中存在工件3 (为了简化起见，仅示出并引用了该环境中的一些主要物体)。工件3在组装线29上前进，其以恒定速度或者逐步地沿箭头所示方向移动。工人28使用手持式工具1，工人28来回移动以履行针对工件3的期望任务。通过该工具3，该工人例如将螺钉7附接至工件3，如所示虚点箭头所示。根据本发明，工具I配备有拍摄用于SLAM导航的图像的摄像头4a。摄像头4a对工件3和/或环境2进行成像，如虚线箭头所示。根据工具I对摄像头4a的姿势，图像包括仅工件3、仅环境2，或者图像的一部分包括工件3的一段，而图像的另一部分包括环境2的一段。根据本发明，SLAM导航由此根据摄像头4a的实际视场，针对所述图像的环境部分在环境全局坐标系和/或针对图像的工件部分在工件局部坐标系中分别执行。
[0048]这通过例如可以是所存储计算机程序或代码的一部分的从运动恢复结构(SfM)或同时定位和绘图(SLAM)算法来进行。所述算法可以基于具有观察源的立体或仿射摄像头投影模型，其折衷处理多个图像和/或视频序列以及特征(token)类型，诸如稀疏特征对应性、密集光流场、线或曲线、或者不从该图像提取任何特征的直接SfM技术。
[0049]用于工具定位的SLAM方法不是对来自摄像头图像中的结构性数据中的先前已知特征的普通图像匹配，因为SLAM不需要这种先前已知信息用于导航，而是自主地评估摄像头图片的有用信息。因此，SLAM方法还可用于先前未知的环境中，其中，对先前已知特征的评估将不适用。
[0050]作为示例，描述了以下的SfM算法，该算法折衷处理其中针对由摄像头在不同位置处收集的一组多个图像中的至少一些图像发现了多个图像对应性的步骤。这是利用诸如SIFT、SURF, BRISK、BRIEF等的特征检测和匹配算法来进行的。另选地，在视频序列的情况下，所述对应性可以利用针对每一个视频帧的跟踪算法来发现。跟踪可以例如利用Kanade-Lucas-Tomasi (KLT)特征跟踪器或另一跟踪算法来进行。
[0051]利用合适的图像，相对的摄像头姿势特别是位置和取向在图像坐标帧中确定。该算法优选地使用鲁棒搜索来发现所选择图像的摄像头的3D平移和旋转，例如，第二图像关于第一图像的相对位置和取向。利用这些相对位置，利用前方交会(forwardintersect1n)来计算在两个图像中看到的所有特征的3D位置。这给出了一组3D点和两个初始帧的位置与取向。
[0052]在下一个步骤中，将附加帧添加至现有重构。利用已经重构的3D点，可以利用后方交会(resect1n)来计算该摄像头在拍摄图像期间具有的位置和取向。在添加新的图像后，利用重构的帧中的所有测量来改善3D点的位置。
[0053]作为最终或中间步骤，利用束调整(bundle adjustment)来改善总体解决方案。这部分算法例如可以通过重投影误差的非线性最小二乘方最小化来进行。其将所有摄像头位置和所有3D点的定位和取向最优化。
[0054]如果记录包含来自同一地点的多个图像，例如当摄像头围绕物体移动并且返回至起始点和/或超过起始点时，来自同一地点的图像导致匹配的交叠并由此闭合环绕该物体的环路。这将提高总体准确度。
[0055]附加约束(例如，来自全局测量的摄像头位置、来自predeceasing测量的参照目标位置或已知构造数据)可以被包括在束调整中以增加该算法的鲁棒性。例如，该图示出了具有位于工具3处的用于如前所述SLAM导航的附加摄像头4b的可选实施方式。该附加工件摄像头4b可以用于工件3相对于全局坐标系统的SLAM定位，或者根据摄像头视场，当工具I在摄像头4的视场内移动时还具有针对工具I的附加反向参照。由此，可以获得上述附加约束，并且可以改进导航解决方案。其它附加约束例如可以从工件3和/或环境2的已知构造信息提取，例如，结合组装线环境2的已知CAD或坐标参照，或者通过对环境2的初始扫描而确定的空间数据。环境2由此可以通过诸如速测仪、全站仪。激光跟踪器或激光扫描器的测量装置而初始地测量。根据该测量，可以生成初始的优选未填充制造环境2的诸如点云或CAD文件的数字模型。环境2还可以优选地基于如在此讨论的具有从不同观看方向和位置(姿势)的移动摄像头的SLAM导航而初始地测量，并且可以通过SLAM(同时定位和绘图)或SfM(从运动恢复结构)算法等来导出环境点云。
[0056]另选地，与上述相比，可以使用以上描述的SLAM或SfM算法以外的其它SLAM或SFM算法来恢复摄像头4a/4b的位置和取向、以及分别附接了摄像头4a和4b的工具I和工件3的位置和取向。
[0057]根据本发明的具有摄像头4的工具I的实施方式还可以可选地包括MU，通过MU，可以获得进一步的约束和导航信息，并且可以改进相对定位性能。特别是在移动的动态非常高以致不能充分执行基于导航技术的纯粹图像时的情况下，可以在中间使用MU导航，直到SLAM导航返回至正常操作为止。IMU由此还可以通过从根据成像SLAM计算出的已知运动而导出的速度更新来校准。
[0058]在附加实施方式中，进一步的附加约束可以添加至根据本发明的SLAM导航，例如，通过添加可以放置在环境中以及物体(车体)上或者环境中以支持针对高度关键区域中的特定位置的高精度参照的协作目标。这种协作目标例如可以通过回射标记、LED或2D或3D对比或编码面来具体实施。这些目标还可以像在EP 1066497中描述地或者与QR编码类似地具体实施。尽管如此，根据本发明的工具定位方法仍基于SLAM，并且仅通过这种附加测量来辅助，因此，在未建立到这种协作目标中的任一个的直接视线时，基于摄像头的导航仍然工作。
[0059]在另一可选实施方式中，摄像头4a或工具I可以另外包括照明装置，例如，环绕摄像头光学装置的环形LED解决方案。
[0060]在组装操作中，松散或不适当的拧紧关节可能导致问题，对制造方和/或终端用户的产生后果。这些问题可在许多不同的制造工业的领域出现，例如，在家用电器和消费电子装置领域，而且在航空航天或汽车工业中出现。在许多情况下，不仅就消费者满意度和避免故障而言，而且对于安全要求来说，保证和质量控制程序都是强制性的，并且要针对可能的保修索赔或诉讼来准备。
[0061]在用于制造的这种质量保证系统63中，紧固件例如可以通过它们的扭矩、角以及/或脉冲需求来表征。通过本发明，可以收集该信息。这种质量控制系统63的数据库62可以记录制造的货物的完整的制造历史，而且还记录每一个工具的使用、校准历史。而且，图形和/或统计分析(例如，用于工具的更换和校准预测)可以从这种数据库生成。拧紧容差(可根据工具而不同)、拧紧以及工具应用可以在这种分析中予以考虑。由此，不管使用工具I的操作员28如何，都可以保持恒定质量。
[0 062]由此，可以避免对离开组装线的每一个产品3的最终检查，或者至少减少到仅一些随机样品，因为已经在制造过程中确保了对每一个关节应用了正确的扭矩。针对产品的工作后检查可以缩减至绝对最小值，或者对关键关节的附加检查可以避免，这是由于所述检查已在生产线29处直接做出。与人工操纵相反，在呈现的自动化电子数据库系统还可以保证所收集的数据100%完整和准确，减少行政和文书工作并且更容易储存和备用。工序和工具I的控制由于工具定位和工具状况有关的信息给出，并且还可以提供工具I在何时与何地被校准、谁最后使用该工具1、工具I被用于哪个工件3和哪处拧紧的更加详细的信息以及最近自测试和诊断结果。
[0063]根据本发明的SLAM导航不仅允许在不依靠周围环境的精确的预先获知的空间信息的情况下自主的工件定位，而且可以另外用于获得有关工件3和环境2的动态更新信息。这种信息可以由通信装置60收集并且由观察和/或安全系统61来评估，观察和/或安全系统61可以识别并评估环境中的所有变化并且可以提供用于警告、防撞或制造流程管理的信息。
[0064]通过利用根据本发明的工具定位系统，不仅实际的工作进展控制(例如，检查是否在正确位置和正确的顺序将关节拧紧在正确位置并处于正确序列，或者胶水是否以正确量施加在正确位置)，而且还可以建立起全自动的文档制作。通过当前描述的系统，可以无缝地记录是否所有工具作业任务都已经执行以及它们是否成功(例如，处于正确的地点/位置、在正确的物体/车体处、组装正确部件和处于正确时间等)。利用通过根据本发明的摄像头4a/4b，这些所得文档可以例如与安装的部件、以正确扭矩拧紧的螺丝钉的摄像头4a图像，或者所施敷的胶水的图像等组合。例如，所施加的螺母的图像可以与扭矩曲线、组装时间和工具定位再加上另一些参数一起提供并存储在数据库62中。
[0065]用于数据收集、过程改进以及组装过程控制的软件应用可以在计算装置63上运行。所准备的制造信息数据(像历史数据、统计信息、能力指标等)例如还可以由另一计算机64经由数据库访问或标准web浏览器访问。这允许实时虚拟地跟随生产。本发明允许收集所有拧紧结果并将它们存储在数据库62中。可以从数据库62生成与指定的时段或产品有关的自动报告，例如用于过程改进、工具维护、质量变化、可追溯性、变化管理、法律文件等。这种信息非常有价值，特别是在保证召回方面。
[0066]由于实现为实时系统，操作员还可以例如通过他的工作台或工具处的信号灯而被提供对他的工作的反馈，因此如果出现问题则他可以应用自我纠正措施。例如，通过在工具位置处监测拧紧过程期间的圈数或角度，该系统可以自动检测拉丝或交叉螺纹(strippedand crossed thread)，确保紧固件完全运行到头，检测丢失垫圈，警告材料或线缆是否看起来无意中压在螺栓头下面等。
[0067]由于本发明与其它系统相比在工具使用上具有较高的灵活性，因而还可以用于修理台、灵活组装单元以及用于体积小、价值高的组件的组装。
[0068]如果工具可以被工人使用可互换螺母、钻头或工具尖端(tooltip)，则该摄像头图像还可以被用于工具尖端识别。根据摄像头视场(其优选地相当大)，使用该工具的工人还可以通过图像中的面部识别来识别，以使例如该工具不能被不熟练操作员操作用来应用关键关节。
[0069]图2示出了本发明的另一例示图，其中，工具I配备有拍摄用于工具定位的SLAM导航的图像的摄像头4a。在工件3处，通过目标位置6a至6e的局部坐标系例示了必须应用工具I的希望目标位置6a至6e。SLAM确定的工具定位针对局部工件坐标系来参照，并且工具作业参数可以适于每一个位置，例如，与6c和6d或6e相比，针对位置6a和6b限定了不同的扭矩需求。根据工具定位，还可以确保所有位置6a至6e已经按它们的正确次序作业，为此，现有技术UWB系统的分辨率将不足。为确定扭矩或其它加工参数，工件I可以包括用于确定相应信息的传感器装置。该图还示出了附加MU 8的选项，以帮助如前所述的工具导航。
[0070]所示工具I还包括通信装置9。该通信装置在此被示出为无线的，因为这在许多实例中是优选选项，但在另一实施方式中也可以是有线的，例如，如果无论如何都存在电源线。由此，工具作业数据和工具定位数据可以发送至控制台计算机61，控制台计算机61也具有通信链路9。显而易见的是，通信可以经由一些中间设备来路由，其中，仅选定信息可以传递，或者信息被预处理和/或重新格式化。
[0071]而且，在该实施方式中示出了参照工具I的可选外部摄像头4c。该可选摄像头4c也可以建立通信链路9，并且可以将由此收集的信息与来自工具I的SLAM导航的信息组合。在这个示例性实施方式中，工具I还配备有可视标记15，以在用于参照制造环境2中的工具I的摄像头4c的图像中跟踪。
[0072]图3示出了工具I在两个坐标系中的移动，所述两个坐标系还可以彼此相对移动。
[0073]在工具I的最下侧视图中，工具I的摄像头4对制造环境2进行成像，根据图像，在对应的全局坐标系40中进行SLAM导航以确定工具定位。
[0074]在该工具的中间视图中，环境2和工件3两者都被包括在摄像头4的视场中。SLAM导航在图像的包括环境2的至少一部分(与全局坐标系20有关)的视图的一部分上并且还在图像的包括工件3的至少一部分(与局部坐标系30有关)的视图的一部分上进行。由此，在两个坐标系中获知该工具定位。
[0075]在最上侧的视图中，工具I相对于工件3的局部坐标系30的移动，这是基于摄像头4的现在仅示出工件3的图像通过SLAM导航确定的。与由此确定的工具定位(例如，由局部和/或全局坐标系中的定位信息58示出)有关地，工具使用的扭矩曲线被记录并与对应于该工具定位58的期望范围相比较。如果期望的结果56 (如在所示示例中)在希望位置58处实现，则发出OK信号，其还可以向操作工具I的工人指示。
[0076]根据本发明，基于摄像头的SLAM导航系统(包括至少一个光学摄像头4)被用于工具位置确定。由此，建立了制造环境2中的工具I的跟踪，但本发明还可以扩展至制造环境2中的其它可移动物品。
[0077]针对交互和数据交换，通信系统9 (特别是诸如WIF1、长距Bluetooth或等同物的无线通信系统)也被包括在根据本发明的设置中。通信系统9被构建成交换与制造过程有关的数据，如上述位置信息58和/或工具参数56、57 (像锁定、解锁、期望任务的参数、工具状况、校准状况、电池水平等)。
[0078]通信例如可以涉及摄像头4实体、工具传感器系统、引导和控制系统、制造规划软件、质量管理系统、控制终端、制造数据的数据库、服务器等。通信可以发生在工具I上的测量传感器之间、工件3和环境2之间、机器/机器人或存储和后勤系统之间、以及与其它工具I之间。通信可以由中央组装线管理系统61或智能分配系统来管理。例如，工具定位所需的信息可以通过从摄像头4、服务器61等获得必要的信息而局部地组织。环境控制还可以通过向中央系统推送用于处理那些数据的信息来建立。这种网络化组装线环境还可以具有针对一些中间件的接口，以将传感器连接至企业网络。可以使用像在US 7，735，060、US8，015，547、US 8，095，923或US 2008/0005721中提出的示例的方法来连接本发明及其位置和/或传感器数据和诸如制造规划工具、物资供应软件、文档制作软件、现有的质量管理系统、企业网络等的其它系统。
[0079]图4中示出的本发明的实施方式涉及用于组装线29中的工件3 (如所示的车体制造)的示例性制造环境2。这种组装线29的范围可以超出60…10m甚或更多，因而图4仅例示了其一小部分。尽管环境2可以被划分成多个逻辑区段，甚至可以是在地理上分离的，尽管如此，仍需要整个组装线的概观以规划和控制制造。就灵活制造而言，不仅静态的组装线29被用于沿制造环境2中的明确限定轨道来移动工件，而且现今许多自主推车(未物理连接至轨道(像在轨道引导系统中那样))被另选地用于静态的组装线29以输送工件3。特别是在这种灵活的系统中，由于该环境中的工件位置不总是精确已知，因此本发明可以获得附加优点。
[0080]由此，制造环境2与对应的全局或世界坐标系20相关联。根据本发明，确定制造环境2中的工具I的定位，特别是针对例如需要限定旋转扭矩或工具操作的另一参数(就工件质量而言其可能是关键的)的工具2。
[0081]全局坐标系20还可以通过组装线信息(例如，如CAD信息的数字数据格式)或者用于制造控制的组装线信息系统来表示。组装线信息可以包括移动组装线、沿组装线的关联存储、制造机器人以及其它固定物品，但也存在诸如推车、工人、服务和维护设备等。组装线信息及其坐标参照可以从工作环境的设计文件中提取，和/或可以例如通过利用激光扫描对组装线环境的初始测量或扫描或基于图像的从运动恢复结构或SLAM技术来生成或核实。该信息可以基于确定的点方式、线方式或2D/3D元件地理空间信息或与确定的点方式、线方式或2D/3D元件地理空间信息组合地存储在环境信息模型中。
[0082]在扩展实施方式中，根据本发明的系统的摄像头4不仅可以布置在工具I上，而且可以布置在制造物品3上，例如，布置在组装线中的车体的引擎罩上。这样，通过根据本发明的SLAM导航(优选地，实时)，不仅工具I而且移动的车体3都可以在较大组装线环境中定位。
[0083]车体3系统还在局部坐标系30中表示，例如可以根据车体的计算机辅助设计(CAD)信息来限定。局部坐标系30构建了车体处用于制造工作的参照，为此，使用了专用工具I。
[0084]工具I可以分别在全局制造坐标系20并且在局部车体坐标系30这二者中定位，因为它们可以彼此相关联。
[0085]根据本发明，摄像头4被用于从运动恢复结构或SLAM算法以导出位置信息，特别是结合导出环境特征位置。其中，绝对工具定位可以在全局坐标系20中确定，特别是通过已知环境信息来辅助。结合导出工件或制造物体特征位置，可以确定(可能移动的)工件(例如，车体)系统中的局部坐标30，特别是还可以通过工件3的已知CAD来辅助。根据在摄像头的实际视场收集到的图像，可以执行基于局部、全局或者两种摄像头的SLAM坐标确定。这样，还可以发生全局20与局部30参照系之间的无缝转换，例如，在将工具I移动到车体中时，其中，工具上的摄像头根本不能或至少不能充分地对外部世界系统参照进行成像，以应用SLAM导 航。当工具I被再次移出车体时，反之亦然。
[0086]转换到车体局部坐标系30中允许相对于工件3(S卩，车体)本身的直接工具定位，其中在工件3中实际发生工具作业。使用移动坐标系来确定期望和/或实际的工具作业定位将妨碍并将使事情复杂化。在车体外部使用全局世界坐标系20在非工具作业阶段期间是必需的，并且全局坐标系信息优选地总是可用(至少平行地)以保证为了安全/碰撞避免和其它警告或者为了工作协调/组织(诸如可用性检查、部件拾取/递送等)而对工具(和工人)进行的监视。
[0087]确定车体3的与全局世界系统20相关地潜在移动的局部坐标系30可以通过车体上(例如，引擎盖上)的测量系统来支持，其也基于SLAM导航。对于SLAM导航来说，如果摄像头4具有相当宽阔的视场，则可以是有利的。
[0088]在此使用的同时定位和绘图(SLAM)还可以被描述为同时构建周围环境的地图的过程(特别是基于周围环境内的固定特征或地标)，并且利用该地图来确定摄像头在该地图内的位置。该方法可以以摄像头的未知位置开始并且不需要例如其在周围环境中的位置或地标位置的先验知识。
[0089]基于视觉的系统被用于向SLAM算法提供数据，以形成用于测量系统的定位系统。该技术(还已知为可视SLAM(VSLAM))使用经由摄像头的被动感测来提供低功率和动态定位系统。图像处理被用于确定和定位由摄像头获取的图像中的特征，特别是该环境在不同图像中的相同点。这些特征被SLAM算法使用，然后SLAM算法准确地计算每一个特征的三维位置，并由此在摄像头围绕空间移动时开始构建三维地图。摄像头4可以利用较大的视场来实现，或者实现为提供围绕至少一个轴的最大360°的视场的全景摄像头。
[0090]作为示例，下面对可能算法的简化示例进行描述，其折衷处理了针对一组图像中的至少一些图像发现了多个图像对应性的步骤。这利用诸如SIFT、SURF, BRISK、BRIEF等的特征检测和匹配算法来进行的。另选地，在视频序列的情况下，该对应性可以利用针对每个视频帧的跟踪算法来发现。跟踪可以例如利用Kanade-Lucas-Tomasi (KLT)特征跟踪器或另一跟踪算法来进行。
[0091]利用一系列(特别是连续的)图像，在对应的坐标帧中确定相对摄像头姿势，即，位置和取向。该算法使用鲁棒搜索来发现图像的摄像头的3D平移和旋转，例如，第二图像相对于第一图像的相对位置和取向。基于这些相对位置，在多个图像中看到的特征的3D位置利用前方交会来计算。这给出一组3D点和那些图像的位置与取向信息。在下一步骤中，可以将附加图像添加至现有的重构。利用已经重构的3D点，可以利用后方交会来计算摄像头在拍摄图像期间所具有的位置和取向。在添加新图像之后，利用重构中的所有测量来改善3D点的位置。
[0092]根据SLAM系统的特定实施方式，控制和评估单元被设置成使得按这样的方式来控制和执行空间表示生成功能，即，在整个周围环境以空间上包容且涵盖的方式生成点云。
[0093]在本申请中，摄像头4可以实际上面临超过一个坐标系，这些坐标系彼此可以移动。用于对此进行处理的方法是从收集的图像中动态地淡出不期望的部分以便改进工序。
[0094]因此，该工具定位系统包括要被用于SLAM导航的摄像头模块4和控制与估计单元，SLAM导航适于确定被工人移动的手持工具I的位置信息。摄像头模块4可被设计成附接至工具I或集成到工具I中，并且包括用于拍摄图像的至少一个摄像头4。该控制与评估单元已存储了具有程序代码的程序，以控制并执行SLAM位置功能。
[0095]当沿贯穿周围环境的路径移动摄像头4时，利用至少一个摄像头4拍摄周围环境的一系列图像。该系列图像包括以摄像头4的不同姿势拍摄的许多图像，所述姿势表示摄像头4的相应位置和取向。接着，基于该系列图像标识一组图像点，这些图像点表示参照点场的参照点。其中，每一个参照点都出现在该系列图像中的至少两个图像中，并且利用那些图像点基于后方交会来确定针对这些图像的姿势。
[0096]为了处理包括工件3以及环境2的可能视图，识别该系列图像中的这种差异并且不被关注的图像部分被限定为干扰物体，例如通过特征识别技术和/或图像的比较。接着，所识别的干扰物体部分在涉及的图像中淡出，而且在标识一组图像点和/或确定针对所述图像的姿势方面不加以关注。由此，该评估不太费事而是更鲁棒且更准确，从而抑制了干扰。
[0097]根据SLAM导航的实施方式，控制和评估单元被设置成使得按这样的方式来控制和执行空间表示生成功能，即，基于运动检测算法特别是通过特征跟踪，将移动物体识别为干扰物体。根据本发明，特别是将人、其它移动物体的推车标识为干扰物体从而不加以考虑O
[0098]在图中，示出了摄像头4的图像40。该图像示出了摄像头4的还包括工具的工作范围的视场。由此，例如，在保存图像时，还记录使用的提示信息的种类和/或条件。
[0099]对于SLAM导航来说，图像40被不同地考虑，即，仅针对物体3的局部坐标系30来分析图像40，通过图片43例示。在图片43中，环境淡出，如黑色部分所示，例如，如前所述。(明显地，在实际的实施方式中，不期望的图像部分不必按所示方式涂黑，但可以以数值方式淡出)。因此，SLAM导航将该工件考虑在内并且确定关于局部坐标系30的工具定位信息。
[0100]在图片42中，成像环境2在SLAM导航中被考虑，并且该图像的与工件3有关的部分出于考虑而淡出(仍然通过黑色图像部分例示)。由此，关于环境2的全局坐标系20来确定工具定位。
[0101]除了之前已讨论的原理以外，还将背景-前景分析应用至摄像头图像，以确定环境2和工件3图像部分。
[0102]干扰物体的检测和淡出还允许较快速的数据处理，这是因为为了确定位置而不得不考虑的图像数据的量较少。而且，与仅考虑整个图像的方法相比，所计算的位置包括更高的精确度。
[0103]该控制和评估单元还可以存储具有程序代码的程序以执行摄像头校准功能，其中，例如，涵盖限定的参照图案的图像由至少一个摄像头拍摄，并且关于位置测量资源与摄像头之间的固定空间关系的校准参数被确定。该图像表示还可以借助于有关已知的绝对参照的指定信息(像工件3和/或环境2的一些结构性数据)来缩放。例如，该空间表示的垂直取向可以利用已知为垂直的参照来确定，但頂U也可以在该过程中给予帮助，并且例如，如果摄像头视场未按假定的倾度呈现，则可以发出警告。
[0104]如上所述，相对于摄像头固定的惯性测量单元(MU)还可以帮助确定摄像头移动。所测量的加速度和角速度可以用于通过积分来测量图像之间的相对位置和取向。利用这些相对位置，可以发现使所测量的相对位置与变换的摄像头位置的相对位置之间的差异最小化的点云的移位旋转和缩放。另一方面，针对这种IMU已知的漂移问题可以通过不受那些漂移影响的SLAM导航来检测并补偿。
[0105]图5示出了本发明的特殊实施方式，其中，示出了本发明的多个选项和实施方式，它们可以分离地或者彼此组合地使用。
[0106]示出的组装线29按特定速度输送车体3工件，还可以根据制造进度或针对不同变型的工作量来改变速度。移动是相对于由固定设备(像柱子、机器人底座、工作间、柜子、电气柜等)例示的工作环境2的全局坐标系20的。每个车体3限定其局部坐标系30。
[0107]工人28在使用根据本发明的手持工具I以组装车体3。那些工具配备有摄像头4，摄像头4用于在全局和/局部坐标系中对工具I的基于SLAM的工具定位。
[0108]图中示出的本发明的特殊实施方式另外使用观察制造环境2的至少一部分的一组固定摄像头4c。由此，还限定了全局坐标系20，其中，可以限定例如可与制造物品、货物或工件3或其一部分相关的一个或更多个局部坐标系30。这些局部坐标系30例如是从制造的货物3的结构性数据知道的或者与制造的货物3的结构性数据有关。在像工具环境2的构造的组装线的所示示例中，局部坐标系30可以相对于全局坐标系20移动。该移动可以是沿着预定引导轨道连续的或逐步的，但该移动还可以是灵活的，例如，在被引导的自主或人工可移动的推车等上。尽管还可应用于小规模环境，但本发明所瞄准的制造环境2因所使用SLAM导航原理没有范围限制并且事实上在任何地方工作，因而可以具体覆盖超出60m或10m或以上的范围，因而，工具可以被移动和交换，不需要针对它们进行任何修改。
[0109]制造或组装步骤总是针对特定局部坐标系30来执行，并且在许多实例中，使用一些工具I (具体来说，动力工具)。这种工具I例如可以是动力扳手、螺丝刀、夹持工具、铆接工具、钻孔工具、点胶机等。它们可以配备有动力供应线路，如电力或气压，或者可以具有像电池等的可移动动力源。本发明的特殊实施方式还可以在附接至提供工具I的几乎为零的重力支承和/或吸收扭矩反作用的定位扭矩臂或关节臂的工具I上使用。尽管如此，因为SLAM导航被用于确定根据本发明的工具定位，所以本发明不需要可以通过集成的定位传感器来提供空间信息的架空轨道系统、关节臂或类似。工具I是可移动的，优选地在工作环境2内用手移动，但它们有时还可以离开并进入工作环境2，例如，在更换、修理或校准的情况下，而且还在其它规划或未规划的场合。
[0110]除了所述工具以外，而且制造的物品或工件3和要组装至制造的物品或工件3的部件与全局坐标系20和/或局部坐标系30中的坐标相关联。但如上所述，鉴于制造过程，相应局部坐标系30鉴于要通过工具I执行的制造步骤而更加相关。尽管如此，全局坐标系20例如可以对管理目的和故障保护(像避免在制造环境2的错误阶段的拧紧)具有相关性。
[0111]根据在此示出的本发明的特殊实施方式，工作环境2的全局坐标系20由一组多个优选为固定的摄像头4c来观察。通过该摄像头系统，工作环境2中的工具I和物品3的位置信息可以优选地以厘米(cm)范围的准确度或更好的准确度来确定，并且还可以定位和跟踪可移动的物品。该全局坐标系评估还可以涉及有关工作环境2、工具I以及物品3的几何信息(例如从数字设计数据导出)。为进一步改进全局坐标系20内的可定位性，工具1、物品3和/或环境2可以另外配备有特定关键位置处的专用标记。例如，可以应用像在EP1066497中讨论的原理。
[0112]通过全局参照，可以跟踪物品3和工具1，并且基于该信息，可以建立物品和工具的指配，不需要要求在应用该工具之前明确地扫描该物品处的标识码。
[0113] 根据在此所示的本发明的实施方式，不仅通过工具环境2处的摄像头4c来进行全局坐标系参照，而且还通过工具I处的摄像头装置4a和/或物品或工件3处的摄像头装置4b来进行局部坐标系参照。其中，局部参照通过将SfM算法的SLAM应用至摄像头图像来进行，根据所述算法，从摄像头图像导出导航信息。工具处的摄像头4a特别按这样的方式来设置，即，摄像头4a的视场包括工具工作范围的至少一部分，以使可以对实际工作过程及其位置进行成像。
[0114]工具SLAM导航是根据实际视场和/或基于全局参照的信息，针对全局坐标系20和/或局部坐标30来进行的。制造环境2和要制造的工件3两者很大程度上包括已知几何形状的事实还可以通过提供另一些限制来使得SLAM导航容易。例如，组装线20包括可以在局部摄像头图像中标识的许多固定物品。有关制造环境的空间信息通常基于施工图来获知。另选地或另外地，该空间信息还可以例如通过初始测量、激光扫描、通过基于移动摄像头的测量系统的SLAM技术、或者其它已知技术而变得可用，这些技术导致可被存储为已知信息模型的空间信息。全局参照坐标系20中的固定物品允许针对全局参照的反向参照，由此，来自固定和自由移动摄像头两者的信息的组合可以用于改进参照准确度和可靠性。
[0115]尽管如此，根据本发明使用的SLAM导航还能够应付改变的工具环境。这种改变的环境在本发明所瞄准的制造环境2中是几乎难于避免的成分。例如，工人28、移动机器人、推车、供应库存和供应交付、服务和维护人员和/或设备、制造序列和设施中的采用和最优化等导致制造环境的动态改变部分。因此，完全静态导航方法将趋于失败或故障。
[0116]在示例性的特殊实施方式中，局部坐标系30 —般被视为大部分已知的，为此，来自用于根据本发明的SLAM导航的工具摄像头4a的图像另外还可以被用于主动检测和指示可因不正确执行的先前制造步骤而造成的某些偏离。尽管如此，该工具定位系统本身免受这种偏离，以使导致不期望的摄像头图像的灵活制造方法或制造物品的多个可能选项不妨碍工具定位。
[0117]SLAM方法允许针对其自身的位置确定，例如，像在其中来自环境上固定的台的全局参照无法提供有效或准确信息的位置处。因此，即使在从全局参照遮蔽工具的情况来说(例如，通过物品的一部分、工人以及/或其它障碍物)，也保持有效的位置信息。如果手持工具I上的摄像头4面对物品3和/或工作环境2的很奇怪且非常规的视图，则本发明也工作，例如，如果(不管是什么原因)工人以不方便的方式手持或放置工具。
[0118]此外，一些实施方式还可以配备有惯性测量单元(MU)，MU可以提供可叠加至SLAM导航的附加导航信息。这种IMU对于处理工具I的快速、高动态移动并保持位置信息有效可以特别有利。MU例如还可以被用于检测工具I的意外掉落或误用，并接着可以指出可能需要工具I的质量控制和/或校准以便确保正确操作。
[0119]操作员引导(例如，通过工具I上的显示装置)(范围从简单指示灯至显示装置)提供了图形或图像信息、或者声音或触觉指示。操作员引导例如还可以通过由显示器或由VR眼镜提供的增强现实来进行，增强现实通过有关要执行的任务的图形信息交叠真实图像(例如，来自摄像头的图像)，其还可以包括位置引导。
[0120]技术人员获知的事实在于，在此参照不同实施方式示出和说明的细节在本发明的意义上也可以在其它置换例中组合。
【主权项】
1.一种用于制造工件的制造环境中的手持工具的工具定位系统，该工具定位系统特别是在车体、飞机或机械制造中的多个制造台处， 其中，可用手移动的所述工具配备有用于拍摄图像的摄像头， 其特征在于， 所述定位系统包括数字评估装置，所述数字评估装置被构建成基于来自所述摄像头的所述图像，通过同时定位和绘图SLAM导航计算来确定所述工具的工具定位，其中， ?所述工具定位是从所述图像的包含所述制造环境的视图的部分，相对于与所述制造环境相关的全局坐标系来确定的，并且 ?所述工具定位是从所述图像的包含所述工件的视图的部分，相对于与所述工件相关的局部坐标系来确定的， 特别地，其中，所述局部坐标系在组装线结构中相对于所述全局坐标系移动。2.根据权利要求1所述的系统，其特征在于， 确定所述工具定位涉及将所述SLAM导航与所述工件和/或所述环境的已知空间信息进行匹配，特别是CAD或点云数据形式的空间信息。3.根据权利要求1或2所述的系统，其特征在于， 所述评估装置被构建成建立所述工具定位在所述局部坐标系与所述全局坐标系之间的无缝转换，特别是相对于所述全局坐标系对所述局部坐标系的现场更新参照。4.根据权利要求1至3中任一项所述的系统，其特征在于， 所述工具包括惯性测量单元IMU，并且确定所述工具定位涉及从在惯性导航算法中使用的所述MU中收集的信息。5.根据权利要求1至4中任一项所述的系统，其特征在于， 所述制造环境和/或所述工件包括被构建成要在所述摄像头图像中标识的多个协作和/或主动发光目标，所述多个协作和/或主动发光目标特别是对比面、反射器或LED。6.根据权利要求1至5中任一项所述的系统，其特征在于， 所述工具包括通信接口，所述通信接口特别是无线通信接口，优选为实时通信接口，所述通信接口被构建成与制造管理系统和/或其它工具交换其定位和/或图像信息。7.根据权利要求6所述的系统，其特征在于， 所述工具包括用于感测工具操作的工作过程参数的传感器装置，并且 其中，所述工作过程参数与对应的工具定位一起作为工具监视数据被所述通信接口提供给特别是所述工件的制造历史的管理和/或文档制作的所述制造管理系统，优选地，其中，所述工具监视数据包括来自所述摄像头的描绘所述工具操作的工作过程结果的图像。8.根据权利要求1至7中任一项所述的系统，其特征在于， 所述工具是安装工具，特别是螺丝刀工具、扳手工具、夹持工具或铆接工具，优选为通过电力或压缩空气驱动的扭矩监测和/或位置监测动力工具，并且 所述摄像头具有包括所述工具的操作范围的至少一部分的视场。9.根据权利要求1至8中任一项所述的系统，其特征在于， 所述工具是可移动的，并且还配备有用于特别是按照与针对所述工具相同的方式在所述全局坐标系中对所述工件定位的SLAM导航的摄像头，特别地，其中，所述工件定位和所述工具定位被组合，优选地由此建立所述全局坐标系和所述局部坐标系的参照， 其中，通过利用所述工件处的摄像头对所述工具的定位和利用所述工具处的摄像头对所述工件的定位来建立所述工具与所述工件导航之间的反向参照。10.一种用于制造环境的工具监视系统， 其中，所述制造环境包括: ?固定物品，以及 ?可移动物品，所述可移动物品包括: ο要制造的工件和/或要制造的工件的部件， ο将由工人操纵的工具，以及 根据权利要求1至9中任一项的用于所述工具的工具定位系统。11.根据权利要求10所述的工具监视系统，其特征在于， 所述制造环境配备有: ?用于对所述制造环境成像的多个全局摄像头，所述多个全局摄像头特别是固定全局摄像头，以及 ?图像处理装置，该图像处理装置被构建成标识/检测所述制造环境中的所述固定物品和所述可移动物品，并且确定所述固定物品和所述可移动物品在全局环境坐标系中的全局位置坐标，所述全局位置坐标特别是至少三个维度的，并且 其中，所述全局位置坐标与确定的所述工具定位匹配，其中，通过利用所述环境处的摄像头对所述工具的定位和利用所述工具处的摄像头对所述环境的定位来建立所述工具与所述环境导航之间的反向参照。12.—种用于在制造工件的制造环境中定位手持工具的方法，所述制造环境特别是具有车体、飞机或机械制造的多个制造台的环境，优选为组装线排布结构， 其中，所述工具配备有用于拍摄图像的摄像头， 其特征在于，该方法包括以下步骤: 基于来自所述摄像头的所述图像，通过SLAM导航计算来确定所述工具的工具定位，其中 ?从所述图像的包含所述制造环境的视图的部分，相对于与所述制造环境相关的全局坐标系来确定所述工具定位，并且 ?从所述图像的包含所述工件的视图的部分，相对于与所述工件相关的局部坐标系来确定所述工具定位， 特别地，其中，所述局部坐标系相对于所述全局坐标系移动。13.根据前述权利要求12所述的方法，其特征在于， 确定所述工具定位涉及将所述SLAM导航与所述工件和/或所述环境的已知空间信息匹配，所述已知空间信息特别是CAD或点云数据形式的空间信息。14.根据前述权利要求12或13中任一项所述的方法，其特征在于，该方法包括: 通过所述工具处的传感器装置感测工作过程参数，并且通过通信接口将所述工具定位与对应的工作过程参数一起提供作为工具监视数据，特别是将所述监视数据提供给用于管理所述工件的制造和/或对所述工件的制造进行文档制作的制造管理系统，优选地与来自所述摄像头的具有对应的工具定位处的工作过程结果的图像一起。15.—种包括存储在机器可读介质上的程序代码的计算机程序产品，或者具体实施为电磁波的计算机数据信号，用于基于来自制造工件的制造环境中的工具处的摄像头的图像来执行SLAM导航算法，所述工件优选地是组装线构造中的移动工件，其中，所述工具定位?通过所述图像的描绘所述环境的部分相对于与所述环境有关的全局坐标系，以及?通过所述图像的描绘所述工件的部分相对于与所述工件有关的局部坐标系建立， 尤其是用于计算根据权利要求12至14中任一项的方法，特别是在根据权利要求1至11中任一项所述的工具定位或监视系统的计算装置中执行。
【专利摘要】质量有保证的制造。本发明涉及一种用于制造环境中的手持工具的工具定位系统，其中，所述工具配备有用于拍摄图像的摄像头。根据本发明，所述定位系统包括数值评估装置，其被构建成基于来自摄像头的所述图像通过同时定位和绘图(SLAM)导航计算来确定所述工具的工具定位。其中，所述工具定位从所述图像的包含所述制造环境的视图的部分，相对于与所述制造环境有关的全局坐标系来确定，并且所述工具定位从所述图像的包含所述工件的视图的部分，相对于与所述工件有关的局部坐标系来确定。
【IPC分类】B25B23/00, B25B11/00
【公开号】CN104889904
【申请号】CN201510100446
【发明人】波·佩特尔松, 克努特·西尔克斯, 贝内迪克特·泽布霍塞尔
【申请人】赫克斯冈技术中心
【公开日】2015年9月9日
【申请日】2015年3月6日
【公告号】EP2916189A1, US20150253766
【技术领域】
[0001]本发明涉及制造环境技术领域，举例来说，诸如车体制造、飞机制造、机械制造等。这种环境通常被设置为组装线或者制造单元。
[0002]本发明总体上还涉及根据权利要求1的制造环境中的工具定位系统和涉及根据权利要求12的在制造环境中对手持工具进行定位的方法。
【背景技术】
[0003]US 2011/087360中示出了一种用于制造环境的自主型工业机器人，所述机器人配备有摄像头和力量传感器。计算装置被具体实施为基于摄像头和传感器数据来计算希望的机器人运动，使得机器人可以自动地将部件组装至随机移动的工件的预定位置，例如，将轮胎组装至车体。
[0004]除了由机器人执行的自动化步骤以外，这种制造中还存在许多步骤，这些步骤涉及人工处理和安装。这些人工制造步骤通常通过手持工具来进行，例如，像螺丝刀、扳手、卷边工具(crimping tool)、铆接工具、钻头、点胶机等。优选的是，所述工具是动力工具，例如可以通过电力或气压来驱动。由于完全自动化在经济上并不明智，许多制造步骤因此通过工人来执行。尽管如此，工人仍可能是过失、不准确、忽略或其它人为错误的潜在来源。因此，开发了用于最小化这种人为错误的技术。
[0005]JP 2000 111450示出了这样一种组装线，其中，每一个组装台处的制造步骤都由摄像头来记录。在检查阶段，所记录工作文档和组装手册的再现内容在分屏显示器上提供，这样，检查员能够检查该工作。
[0006]在WO 2010/053422或WO 2012/107300中，存在用于在制造或组装环境中对可移动工具和/或组装货物进行位置定位的系统，位置定位通过像无线电通信系统的局部GNSS来进行，这有时还被称为RTLS或RFID定位。那些系统基于超宽带(UWB)无线电通信。该环境配备有处于已知地点的多个固定RF传感器，并且所述工具配备有对应的有源电子标签。根据由此确定的三维工作位置，可以保证正确地进行组装，例如，在正确的地点、利用正确的工具、按正确的量、利用正确的工具参数并且是否例如实现希望的扣紧程度的结果。鉴于在制造环境中变得越来越突出的无线通信系统的潜在影响，实现UWB系统趋于棘手。而且，必须考虑规章限制(像FCC)，其限制了可实现的性能。如在上述文献中提到的，而且对UWB链路的屏蔽影响、信号反映、多路径以及散射问题或其它干扰限制了这种系统的实际可用性和性能。因此，这种系统的能够保证的实际上可实现的位置准确度大约为50cm，这与要制造的工件处的容差相比非常不准确。在大多数情况下，不能以扣紧点的间隔相对应的准确度可靠地区别工具位置。
[0007]在WO 00/17719中，使用拍摄预定加工区域的图像的图像拍摄装置，所述图像拍摄装置可以通过处于加工工具中或该处的图像拍摄装置来帮助。所述图像通过图案感知来评估，以确定操作员执行预定数量的加工操作，但不会遗漏工件上的任何加工点。
[0008]这些现有技术设计的缺点在于，例如大约50cm的定位准确度仅足够用于分段成粗糙工作区，其可以帮助避免某些严重的错误(例如，将工具锁定在粗糙限定的环境范围之外)，但这不足以确保高质量标准。
[0009]另外，现有技术系统的缺点还在于它们对于制造环境来说非常静态的事实。而且，它们的安装需要安装专用基础设施。就不断变化的制造环境、产品变型以及灵活的面向订单的制造而言，现有技术系统必须跟踪产品或环境中的每一个变化，并且所跟踪的每一个变化必须通过重新编程等而映射到那些系统中。
【发明内容】
[0010]因此，本发明的目的是改进制造工序，特别是改进用于制造过程的质量保证和文档提供系统。
[0011]特定目的是改进其中工人利用手持工具工作的制造环境的灵活性，特别是制造环境的变化(由于移动工人、可变供应库存、移动供应车、服务和维护人员以及设备等造成的周围变化)。
[0012]另一特定目的是改进这种系统的灵活性，特别是制造产品的变化，像不同的产品、型号或版本、变型、改进、可定制选项等。
[0013]另一目的是提供一种可以在所建立的制造环境中容易使用的系统，该系统优选地不需要或几乎不需要该环境中的任何物理改变和/或安装、或者专用基础设施的安装。
[0014]这些目的通过实现独立权利要求的特征来实现。按另选或有利方式进一步开发本发明的特征在从属专利权利要求中进行了描述。
[0015]根据本发明，建立了一种针对制造环境中的手持工具的工具定位系统。在所述制造环境中，通过使用那些手持工具来制造工件，特别是在诸如组装线处或制造单元中的车体、飞机或机械制造中的多个制造台处。
[0016]手动可移动工具配备有用于拍摄图像的摄像头，所述图像被提供给所述定位系统。所述定位系统包括诸如计算单元的数值评估装置，其被构建成基于来自所述摄像头的图像通过同时定位和绘图(SLAM)导航计算来确定所述工具的工具定位。
[0017]通过静态的制造环境，与其有关地限定全局坐标系。根据本发明，所述工具定位基于来自所述摄像头的所述图像的包含所述制造环境的视图的部分，通过所述SLAM导航而与所述环境有关地针对全局坐标系来确定。
[0018]而且，所述工件限定与其有关的局部坐标系。特别地，所述局部坐标系可以相对于所述全局坐标系移动，例如，在组装线排布结构中。根据本发明，所述工具定位基于来自所述摄像头的所述图像的包含所述工件的视图的部分，通过所述SLAM导航而与所述工件有关地针对局部坐标系来确定。
[0019]如果所述摄像头的实际视场仅包括所述环境的一部分而不包括所述工件的一部分(或者至少合理的一部分)，则所述工具定位因此可仅在所述全局坐标系中确定。
[0020]如果所述摄像头的实际视场仅包括所述工件的一部分而不包括所述环境的一部分(或者至少合理的一部分)，则所述工具定位因此可仅在所述局部坐标系中确定。
[0021]如果所述摄像头的实际视场包括所述环境的一部分和所述工件的一部分，则所述工具定位基于来自同一摄像头的图像，在全局坐标系和局部坐标系中确定。所述摄像头可以具有包括所述工具的工作范围的至少一部分的视场。
[0022]其中，确定所述工具定位可涉及将所述SLAM导航与所述工件和/或所述环境的已知空间信息进行匹配，所述已知空间信息特别是CAD或点云数据形式的空间信息。
[0023]所述评估装置可以被构建成建立所述工具定位在所述局部坐标系与所述全局坐标系之间的无缝转换，特别是利用所述局部坐标系相对于所述全局坐标系的现场更新参照。
[0024]所述工具可以特别是安装工具，例如，螺丝刀工具、扳手工具、夹持工具或铆接工具，优选为扭矩监视和/或位置监视动力工具。所述工具还可以包括惯性测量单元(MU)，并且确定所述工具定位可以涉及基于来自所述IMU的数据通过惯性导航算法导出的信息。
[0025]所述工具还可以包括用于感测所述工具工作的工作过程参数的传感器装置。该工作过程参数可以由通信接口与对应的工具定位一起提供为工具监视数据，特别是提供给用于所述工件的制造历史的管理和/或文档制作的制造管理系统，优选地，其中，所述工具监视数据包括来自所述摄像头的描绘所述工具工作的工作过程结果的图像。
[0026]另外，所述工具可以包括通信接口，特别是无线通信接口，优选为实时通信接口，所述通信接口被构建成与制造管理系统和/或其它工具交换其定位和/或图像信息。
[0027]所述制造环境和/或所述工件可以包括被构建成要在所述摄像头的图像中标识的多个协作和/或主动发光目标，特别是可用于支持SLAM导航的对比面(contrast face)、反射器或LED。
[0028]所述工件可以相对于所述全局坐标系移动，并且还可以配备有用于在所述全局坐标系中的工件定位的SLAM导航的摄像头，特别是按照与所述工具定位相同的方式进行，特别是其中，所述工件定位和所述工具定位被组合，优选地由此建立所述全局坐标系和所述局部坐标系的参照。其中，可以通过基于来自所述工件处的所述摄像头的图像对所述工具的定位和基于来自所述工具处的所述摄像头的图像对所述工件的定位来建立所述工具定位与所述工件定位之间的反向参照。
[0029]本发明还涉及用于制造环境的工具监视系统，其中，所述制造环境包括固定物品和可移动物品。所述可移动物品包括要制造的工件和/或其部件以及要由工人操作的工具。所述工具监视系统还包括如在此描述的用于工人的工具的工具定位系统。
[0030]在所述工具监视系统中，所述制造环境可以配备有:用于对所述制造环境进行成像的多个全局摄像头，特别是固定全局摄像头；以及图像处理装置，该图像处理装置被构建成标识/检测所述制造环境中的所述固定物品和可移动物品，并且确定它们在全局环境坐标系中的全局位置坐标，特别是在至少三个维度中的全局位置坐标。其中，所述全局位置坐标可以与确定的所述工具定位相匹配，特别是其中，通过利用所述环境处的所述摄像头对所述工具的全局定位和利用所述工具处的所述摄像头相对于所述环境对所述环境的全局定位来建立所述工具导航与所述环境导航之间的反向参照。
[0031]所述摄像头可以是将光学辐射变换成电信号的2D光敏装置，优选地利用光敏单元的二维矩阵排布结构，并且具有用于将视场成像到所述光敏装置上的光学装置。示例有CCD或CMOS摄像头，优选的是，其中，拍摄的图像被数字化并被提供为用于进一步处理的数字图像或视频数据。
[0032]同时定位和绘图(SLAM-SimultaneousLocat1n And Mapping)技术(有时还指用于可视SLAM的VSLAM)包含策略，其中，优选地来自单一摄像头的图像不仅用于自主标识该图像内的先前未知特征，而且基于该图像导出摄像头定位，并且生成所成像周围环境的3D地图。例如，US 8274406或US 2012/121161示出了通过使用视觉系统将同时定位和绘图(SLAM)技术用于机器人导航的示例性实施方式。为实现SLAM导航，所述摄像头相对于被成像物体移动，为此，“从运动恢复结构(Structure from Mot1n) ”(SfM)也是结合使用的术语。对于位于工人操作的手持式工具处的摄像头来说，当所述工具按其希望方式操作时，该摄像头(和工具)移动的纵横比根据其类型给出。
[0033]尽管如此，在制造环境中，摄像头视场不仅与单一环境相对，而且对所述制造环境、所述工件或者制造 物品进行成像，或者所述图像包括两者的一部分。因此，可以限定所述工具可参照的全局制造环境坐标系，并且可以限定所述工具也可以参照的所述工件的局部坐标系。
[0034]尽管所述全局坐标系与局部坐标系之间存在关系，但所述关系并不一定是恒定或精确已知的。例如，在移动组装线构造中，这两个坐标系和它们在所述图像中的对应视图将彼此相对移动，而且当然还伴随着所述工具的移动。而且，所述制造环境包括许多移动物品、像工人、图纸、供应库存、部件，叉车机器人等。那些物品既不可以用于单一特征绘图也不适于SLAM使用。
[0035]本发明还涉及一种用于定位制造工件的制造环境中的手持工具的对应方法，例如，车体、飞机或机械制造的具有多个制造台的环境，优选地在组装线排布结构中。所述手持工具配备有摄像头，使得可以进行利用针对所述工具的限定参照来拍摄图像。根据本发明，进行基于来自所述摄像头的所述图像通过SLAM导航计算对所述手持式工具的工具定位的确定，并且从所述图像的包括所述制造环境的视图的部分与所述制造环境有关地相对于全局坐标系来确定所述工具定位，并且还从所述图像的包括所述工件的视图的部分与所述工件有关地相对于局部坐标系来确定所述工具定位。特别是其中，所述局部坐标系可以相对于所述全局坐标系移动。
[0036]确定所述工具定位可以涉及将所述SLAM导航与所述工件和/或所述环境的已知空间信息进行匹配，所述已知空间信息特别是CAD或点云数据形式的空间信息。
[0037]而且，所述方法可以涉及由所述工具处的传感器装置感测工作过程参数，并且通过通信接口将所述工具定位与所述对应工作过程参数一起提供为工具监视数据，特别是将所述监视数据提供给用于管理所述工件的制造和/或为所述工件的制造提供文件的制造管理系统，优选地与提供来自所述摄像头的、在所述对应工具定位处的工作过程结果的图像一起。
[0038]所述方法(或者其涉及计算的至少那些部分)还可以具体实施为一个或更多个计算机程序产品，所述计算机程序产品被存储在机器可读介质上。除了介质上的存储以外，所述计算机程序产品还可以被具体实施为电磁波(如有线或无线数据信号等)。
[0039]因此，本发明还涉及用于基于来自制造工件的制造环境中的工具处的摄像头的图像来执行在此描述的SLAM导航算法的这种计算机程序产品，所述制造环境优选地在组装线构造中具有移动工件。在计算的SLAM导航中，通过所述图像的描绘所述环境的部分相对于与所述环境相关的全局坐标系并且还通过所述图像的描绘所述工件的部分相对于与所述工件相关的局部坐标系来建立所述工具的定位。所述计算机程序产品由此特别在所述全局与局部坐标系和相应的图像部分之间区分。
【附图说明】
[0040]下面，参照附图中示意性地示出的可行示例，完全通过示例的方式对根据本发明的系统、装置、方法以及设置进行更详细描述或说明。具体地，
[0041]图1示意性地示出了根据本发明第一实施方式的示例；
[0042]图2示出了根据本发明第二实施方式的示例；
[0043]图3示出了根据本发明第三实施方式的示例；
[0044]图4示出了根据本发明的在制造环境中的组装线处的工具定位的示例；
[0045]图5示出了根据本发明的实施方式的在组装线中的不同用途的示例。
[0046]以下附图中的图不应被视为按比例绘制。在合适的情况下，相同标号被用于相同特征或者具有相似功能的特征。针对标号的不同下标被用于在示例性地示出的特征的不同实施方式之间区别。
【具体实施方式】
[0047]图1示出了根据本发明一实施方式的草图，以例示工具定位极其背景。在制造环境2中存在工件3 (为了简化起见，仅示出并引用了该环境中的一些主要物体)。工件3在组装线29上前进，其以恒定速度或者逐步地沿箭头所示方向移动。工人28使用手持式工具1，工人28来回移动以履行针对工件3的期望任务。通过该工具3，该工人例如将螺钉7附接至工件3，如所示虚点箭头所示。根据本发明，工具I配备有拍摄用于SLAM导航的图像的摄像头4a。摄像头4a对工件3和/或环境2进行成像，如虚线箭头所示。根据工具I对摄像头4a的姿势，图像包括仅工件3、仅环境2，或者图像的一部分包括工件3的一段，而图像的另一部分包括环境2的一段。根据本发明，SLAM导航由此根据摄像头4a的实际视场，针对所述图像的环境部分在环境全局坐标系和/或针对图像的工件部分在工件局部坐标系中分别执行。
[0048]这通过例如可以是所存储计算机程序或代码的一部分的从运动恢复结构(SfM)或同时定位和绘图(SLAM)算法来进行。所述算法可以基于具有观察源的立体或仿射摄像头投影模型，其折衷处理多个图像和/或视频序列以及特征(token)类型，诸如稀疏特征对应性、密集光流场、线或曲线、或者不从该图像提取任何特征的直接SfM技术。
[0049]用于工具定位的SLAM方法不是对来自摄像头图像中的结构性数据中的先前已知特征的普通图像匹配，因为SLAM不需要这种先前已知信息用于导航，而是自主地评估摄像头图片的有用信息。因此，SLAM方法还可用于先前未知的环境中，其中，对先前已知特征的评估将不适用。
[0050]作为示例，描述了以下的SfM算法，该算法折衷处理其中针对由摄像头在不同位置处收集的一组多个图像中的至少一些图像发现了多个图像对应性的步骤。这是利用诸如SIFT、SURF, BRISK、BRIEF等的特征检测和匹配算法来进行的。另选地，在视频序列的情况下，所述对应性可以利用针对每一个视频帧的跟踪算法来发现。跟踪可以例如利用Kanade-Lucas-Tomasi (KLT)特征跟踪器或另一跟踪算法来进行。
[0051]利用合适的图像，相对的摄像头姿势特别是位置和取向在图像坐标帧中确定。该算法优选地使用鲁棒搜索来发现所选择图像的摄像头的3D平移和旋转，例如，第二图像关于第一图像的相对位置和取向。利用这些相对位置，利用前方交会(forwardintersect1n)来计算在两个图像中看到的所有特征的3D位置。这给出了一组3D点和两个初始帧的位置与取向。
[0052]在下一个步骤中，将附加帧添加至现有重构。利用已经重构的3D点，可以利用后方交会(resect1n)来计算该摄像头在拍摄图像期间具有的位置和取向。在添加新的图像后，利用重构的帧中的所有测量来改善3D点的位置。
[0053]作为最终或中间步骤，利用束调整(bundle adjustment)来改善总体解决方案。这部分算法例如可以通过重投影误差的非线性最小二乘方最小化来进行。其将所有摄像头位置和所有3D点的定位和取向最优化。
[0054]如果记录包含来自同一地点的多个图像，例如当摄像头围绕物体移动并且返回至起始点和/或超过起始点时，来自同一地点的图像导致匹配的交叠并由此闭合环绕该物体的环路。这将提高总体准确度。
[0055]附加约束(例如，来自全局测量的摄像头位置、来自predeceasing测量的参照目标位置或已知构造数据)可以被包括在束调整中以增加该算法的鲁棒性。例如，该图示出了具有位于工具3处的用于如前所述SLAM导航的附加摄像头4b的可选实施方式。该附加工件摄像头4b可以用于工件3相对于全局坐标系统的SLAM定位，或者根据摄像头视场，当工具I在摄像头4的视场内移动时还具有针对工具I的附加反向参照。由此，可以获得上述附加约束，并且可以改进导航解决方案。其它附加约束例如可以从工件3和/或环境2的已知构造信息提取，例如，结合组装线环境2的已知CAD或坐标参照，或者通过对环境2的初始扫描而确定的空间数据。环境2由此可以通过诸如速测仪、全站仪。激光跟踪器或激光扫描器的测量装置而初始地测量。根据该测量，可以生成初始的优选未填充制造环境2的诸如点云或CAD文件的数字模型。环境2还可以优选地基于如在此讨论的具有从不同观看方向和位置(姿势)的移动摄像头的SLAM导航而初始地测量，并且可以通过SLAM(同时定位和绘图)或SfM(从运动恢复结构)算法等来导出环境点云。
[0056]另选地，与上述相比，可以使用以上描述的SLAM或SfM算法以外的其它SLAM或SFM算法来恢复摄像头4a/4b的位置和取向、以及分别附接了摄像头4a和4b的工具I和工件3的位置和取向。
[0057]根据本发明的具有摄像头4的工具I的实施方式还可以可选地包括MU，通过MU，可以获得进一步的约束和导航信息，并且可以改进相对定位性能。特别是在移动的动态非常高以致不能充分执行基于导航技术的纯粹图像时的情况下，可以在中间使用MU导航，直到SLAM导航返回至正常操作为止。IMU由此还可以通过从根据成像SLAM计算出的已知运动而导出的速度更新来校准。
[0058]在附加实施方式中，进一步的附加约束可以添加至根据本发明的SLAM导航，例如，通过添加可以放置在环境中以及物体(车体)上或者环境中以支持针对高度关键区域中的特定位置的高精度参照的协作目标。这种协作目标例如可以通过回射标记、LED或2D或3D对比或编码面来具体实施。这些目标还可以像在EP 1066497中描述地或者与QR编码类似地具体实施。尽管如此，根据本发明的工具定位方法仍基于SLAM，并且仅通过这种附加测量来辅助，因此，在未建立到这种协作目标中的任一个的直接视线时，基于摄像头的导航仍然工作。
[0059]在另一可选实施方式中，摄像头4a或工具I可以另外包括照明装置，例如，环绕摄像头光学装置的环形LED解决方案。
[0060]在组装操作中，松散或不适当的拧紧关节可能导致问题，对制造方和/或终端用户的产生后果。这些问题可在许多不同的制造工业的领域出现，例如，在家用电器和消费电子装置领域，而且在航空航天或汽车工业中出现。在许多情况下，不仅就消费者满意度和避免故障而言，而且对于安全要求来说，保证和质量控制程序都是强制性的，并且要针对可能的保修索赔或诉讼来准备。
[0061]在用于制造的这种质量保证系统63中，紧固件例如可以通过它们的扭矩、角以及/或脉冲需求来表征。通过本发明，可以收集该信息。这种质量控制系统63的数据库62可以记录制造的货物的完整的制造历史，而且还记录每一个工具的使用、校准历史。而且，图形和/或统计分析(例如，用于工具的更换和校准预测)可以从这种数据库生成。拧紧容差(可根据工具而不同)、拧紧以及工具应用可以在这种分析中予以考虑。由此，不管使用工具I的操作员28如何，都可以保持恒定质量。
[0 062]由此，可以避免对离开组装线的每一个产品3的最终检查，或者至少减少到仅一些随机样品，因为已经在制造过程中确保了对每一个关节应用了正确的扭矩。针对产品的工作后检查可以缩减至绝对最小值，或者对关键关节的附加检查可以避免，这是由于所述检查已在生产线29处直接做出。与人工操纵相反，在呈现的自动化电子数据库系统还可以保证所收集的数据100%完整和准确，减少行政和文书工作并且更容易储存和备用。工序和工具I的控制由于工具定位和工具状况有关的信息给出，并且还可以提供工具I在何时与何地被校准、谁最后使用该工具1、工具I被用于哪个工件3和哪处拧紧的更加详细的信息以及最近自测试和诊断结果。
[0063]根据本发明的SLAM导航不仅允许在不依靠周围环境的精确的预先获知的空间信息的情况下自主的工件定位，而且可以另外用于获得有关工件3和环境2的动态更新信息。这种信息可以由通信装置60收集并且由观察和/或安全系统61来评估，观察和/或安全系统61可以识别并评估环境中的所有变化并且可以提供用于警告、防撞或制造流程管理的信息。
[0064]通过利用根据本发明的工具定位系统，不仅实际的工作进展控制(例如，检查是否在正确位置和正确的顺序将关节拧紧在正确位置并处于正确序列，或者胶水是否以正确量施加在正确位置)，而且还可以建立起全自动的文档制作。通过当前描述的系统，可以无缝地记录是否所有工具作业任务都已经执行以及它们是否成功(例如，处于正确的地点/位置、在正确的物体/车体处、组装正确部件和处于正确时间等)。利用通过根据本发明的摄像头4a/4b，这些所得文档可以例如与安装的部件、以正确扭矩拧紧的螺丝钉的摄像头4a图像，或者所施敷的胶水的图像等组合。例如，所施加的螺母的图像可以与扭矩曲线、组装时间和工具定位再加上另一些参数一起提供并存储在数据库62中。
[0065]用于数据收集、过程改进以及组装过程控制的软件应用可以在计算装置63上运行。所准备的制造信息数据(像历史数据、统计信息、能力指标等)例如还可以由另一计算机64经由数据库访问或标准web浏览器访问。这允许实时虚拟地跟随生产。本发明允许收集所有拧紧结果并将它们存储在数据库62中。可以从数据库62生成与指定的时段或产品有关的自动报告，例如用于过程改进、工具维护、质量变化、可追溯性、变化管理、法律文件等。这种信息非常有价值，特别是在保证召回方面。
[0066]由于实现为实时系统，操作员还可以例如通过他的工作台或工具处的信号灯而被提供对他的工作的反馈，因此如果出现问题则他可以应用自我纠正措施。例如，通过在工具位置处监测拧紧过程期间的圈数或角度，该系统可以自动检测拉丝或交叉螺纹(strippedand crossed thread)，确保紧固件完全运行到头，检测丢失垫圈，警告材料或线缆是否看起来无意中压在螺栓头下面等。
[0067]由于本发明与其它系统相比在工具使用上具有较高的灵活性，因而还可以用于修理台、灵活组装单元以及用于体积小、价值高的组件的组装。
[0068]如果工具可以被工人使用可互换螺母、钻头或工具尖端(tooltip)，则该摄像头图像还可以被用于工具尖端识别。根据摄像头视场(其优选地相当大)，使用该工具的工人还可以通过图像中的面部识别来识别，以使例如该工具不能被不熟练操作员操作用来应用关键关节。
[0069]图2示出了本发明的另一例示图，其中，工具I配备有拍摄用于工具定位的SLAM导航的图像的摄像头4a。在工件3处，通过目标位置6a至6e的局部坐标系例示了必须应用工具I的希望目标位置6a至6e。SLAM确定的工具定位针对局部工件坐标系来参照，并且工具作业参数可以适于每一个位置，例如，与6c和6d或6e相比，针对位置6a和6b限定了不同的扭矩需求。根据工具定位，还可以确保所有位置6a至6e已经按它们的正确次序作业，为此，现有技术UWB系统的分辨率将不足。为确定扭矩或其它加工参数，工件I可以包括用于确定相应信息的传感器装置。该图还示出了附加MU 8的选项，以帮助如前所述的工具导航。
[0070]所示工具I还包括通信装置9。该通信装置在此被示出为无线的，因为这在许多实例中是优选选项，但在另一实施方式中也可以是有线的，例如，如果无论如何都存在电源线。由此，工具作业数据和工具定位数据可以发送至控制台计算机61，控制台计算机61也具有通信链路9。显而易见的是，通信可以经由一些中间设备来路由，其中，仅选定信息可以传递，或者信息被预处理和/或重新格式化。
[0071]而且，在该实施方式中示出了参照工具I的可选外部摄像头4c。该可选摄像头4c也可以建立通信链路9，并且可以将由此收集的信息与来自工具I的SLAM导航的信息组合。在这个示例性实施方式中，工具I还配备有可视标记15，以在用于参照制造环境2中的工具I的摄像头4c的图像中跟踪。
[0072]图3示出了工具I在两个坐标系中的移动，所述两个坐标系还可以彼此相对移动。
[0073]在工具I的最下侧视图中，工具I的摄像头4对制造环境2进行成像，根据图像，在对应的全局坐标系40中进行SLAM导航以确定工具定位。
[0074]在该工具的中间视图中，环境2和工件3两者都被包括在摄像头4的视场中。SLAM导航在图像的包括环境2的至少一部分(与全局坐标系20有关)的视图的一部分上并且还在图像的包括工件3的至少一部分(与局部坐标系30有关)的视图的一部分上进行。由此，在两个坐标系中获知该工具定位。
[0075]在最上侧的视图中，工具I相对于工件3的局部坐标系30的移动，这是基于摄像头4的现在仅示出工件3的图像通过SLAM导航确定的。与由此确定的工具定位(例如，由局部和/或全局坐标系中的定位信息58示出)有关地，工具使用的扭矩曲线被记录并与对应于该工具定位58的期望范围相比较。如果期望的结果56 (如在所示示例中)在希望位置58处实现，则发出OK信号，其还可以向操作工具I的工人指示。
[0076]根据本发明，基于摄像头的SLAM导航系统(包括至少一个光学摄像头4)被用于工具位置确定。由此，建立了制造环境2中的工具I的跟踪，但本发明还可以扩展至制造环境2中的其它可移动物品。
[0077]针对交互和数据交换，通信系统9 (特别是诸如WIF1、长距Bluetooth或等同物的无线通信系统)也被包括在根据本发明的设置中。通信系统9被构建成交换与制造过程有关的数据，如上述位置信息58和/或工具参数56、57 (像锁定、解锁、期望任务的参数、工具状况、校准状况、电池水平等)。
[0078]通信例如可以涉及摄像头4实体、工具传感器系统、引导和控制系统、制造规划软件、质量管理系统、控制终端、制造数据的数据库、服务器等。通信可以发生在工具I上的测量传感器之间、工件3和环境2之间、机器/机器人或存储和后勤系统之间、以及与其它工具I之间。通信可以由中央组装线管理系统61或智能分配系统来管理。例如，工具定位所需的信息可以通过从摄像头4、服务器61等获得必要的信息而局部地组织。环境控制还可以通过向中央系统推送用于处理那些数据的信息来建立。这种网络化组装线环境还可以具有针对一些中间件的接口，以将传感器连接至企业网络。可以使用像在US 7，735，060、US8，015，547、US 8，095，923或US 2008/0005721中提出的示例的方法来连接本发明及其位置和/或传感器数据和诸如制造规划工具、物资供应软件、文档制作软件、现有的质量管理系统、企业网络等的其它系统。
[0079]图4中示出的本发明的实施方式涉及用于组装线29中的工件3 (如所示的车体制造)的示例性制造环境2。这种组装线29的范围可以超出60…10m甚或更多，因而图4仅例示了其一小部分。尽管环境2可以被划分成多个逻辑区段，甚至可以是在地理上分离的，尽管如此，仍需要整个组装线的概观以规划和控制制造。就灵活制造而言，不仅静态的组装线29被用于沿制造环境2中的明确限定轨道来移动工件，而且现今许多自主推车(未物理连接至轨道(像在轨道引导系统中那样))被另选地用于静态的组装线29以输送工件3。特别是在这种灵活的系统中，由于该环境中的工件位置不总是精确已知，因此本发明可以获得附加优点。
[0080]由此，制造环境2与对应的全局或世界坐标系20相关联。根据本发明，确定制造环境2中的工具I的定位，特别是针对例如需要限定旋转扭矩或工具操作的另一参数(就工件质量而言其可能是关键的)的工具2。
[0081]全局坐标系20还可以通过组装线信息(例如，如CAD信息的数字数据格式)或者用于制造控制的组装线信息系统来表示。组装线信息可以包括移动组装线、沿组装线的关联存储、制造机器人以及其它固定物品，但也存在诸如推车、工人、服务和维护设备等。组装线信息及其坐标参照可以从工作环境的设计文件中提取，和/或可以例如通过利用激光扫描对组装线环境的初始测量或扫描或基于图像的从运动恢复结构或SLAM技术来生成或核实。该信息可以基于确定的点方式、线方式或2D/3D元件地理空间信息或与确定的点方式、线方式或2D/3D元件地理空间信息组合地存储在环境信息模型中。
[0082]在扩展实施方式中，根据本发明的系统的摄像头4不仅可以布置在工具I上，而且可以布置在制造物品3上，例如，布置在组装线中的车体的引擎罩上。这样，通过根据本发明的SLAM导航(优选地，实时)，不仅工具I而且移动的车体3都可以在较大组装线环境中定位。
[0083]车体3系统还在局部坐标系30中表示，例如可以根据车体的计算机辅助设计(CAD)信息来限定。局部坐标系30构建了车体处用于制造工作的参照，为此，使用了专用工具I。
[0084]工具I可以分别在全局制造坐标系20并且在局部车体坐标系30这二者中定位，因为它们可以彼此相关联。
[0085]根据本发明，摄像头4被用于从运动恢复结构或SLAM算法以导出位置信息，特别是结合导出环境特征位置。其中，绝对工具定位可以在全局坐标系20中确定，特别是通过已知环境信息来辅助。结合导出工件或制造物体特征位置，可以确定(可能移动的)工件(例如，车体)系统中的局部坐标30，特别是还可以通过工件3的已知CAD来辅助。根据在摄像头的实际视场收集到的图像，可以执行基于局部、全局或者两种摄像头的SLAM坐标确定。这样，还可以发生全局20与局部30参照系之间的无缝转换，例如，在将工具I移动到车体中时，其中，工具上的摄像头根本不能或至少不能充分地对外部世界系统参照进行成像，以应用SLAM导 航。当工具I被再次移出车体时，反之亦然。
[0086]转换到车体局部坐标系30中允许相对于工件3(S卩，车体)本身的直接工具定位，其中在工件3中实际发生工具作业。使用移动坐标系来确定期望和/或实际的工具作业定位将妨碍并将使事情复杂化。在车体外部使用全局世界坐标系20在非工具作业阶段期间是必需的，并且全局坐标系信息优选地总是可用(至少平行地)以保证为了安全/碰撞避免和其它警告或者为了工作协调/组织(诸如可用性检查、部件拾取/递送等)而对工具(和工人)进行的监视。
[0087]确定车体3的与全局世界系统20相关地潜在移动的局部坐标系30可以通过车体上(例如，引擎盖上)的测量系统来支持，其也基于SLAM导航。对于SLAM导航来说，如果摄像头4具有相当宽阔的视场，则可以是有利的。
[0088]在此使用的同时定位和绘图(SLAM)还可以被描述为同时构建周围环境的地图的过程(特别是基于周围环境内的固定特征或地标)，并且利用该地图来确定摄像头在该地图内的位置。该方法可以以摄像头的未知位置开始并且不需要例如其在周围环境中的位置或地标位置的先验知识。
[0089]基于视觉的系统被用于向SLAM算法提供数据，以形成用于测量系统的定位系统。该技术(还已知为可视SLAM(VSLAM))使用经由摄像头的被动感测来提供低功率和动态定位系统。图像处理被用于确定和定位由摄像头获取的图像中的特征，特别是该环境在不同图像中的相同点。这些特征被SLAM算法使用，然后SLAM算法准确地计算每一个特征的三维位置，并由此在摄像头围绕空间移动时开始构建三维地图。摄像头4可以利用较大的视场来实现，或者实现为提供围绕至少一个轴的最大360°的视场的全景摄像头。
[0090]作为示例，下面对可能算法的简化示例进行描述，其折衷处理了针对一组图像中的至少一些图像发现了多个图像对应性的步骤。这利用诸如SIFT、SURF, BRISK、BRIEF等的特征检测和匹配算法来进行的。另选地，在视频序列的情况下，该对应性可以利用针对每个视频帧的跟踪算法来发现。跟踪可以例如利用Kanade-Lucas-Tomasi (KLT)特征跟踪器或另一跟踪算法来进行。
[0091]利用一系列(特别是连续的)图像，在对应的坐标帧中确定相对摄像头姿势，即，位置和取向。该算法使用鲁棒搜索来发现图像的摄像头的3D平移和旋转，例如，第二图像相对于第一图像的相对位置和取向。基于这些相对位置，在多个图像中看到的特征的3D位置利用前方交会来计算。这给出一组3D点和那些图像的位置与取向信息。在下一步骤中，可以将附加图像添加至现有的重构。利用已经重构的3D点，可以利用后方交会来计算摄像头在拍摄图像期间所具有的位置和取向。在添加新图像之后，利用重构中的所有测量来改善3D点的位置。
[0092]根据SLAM系统的特定实施方式，控制和评估单元被设置成使得按这样的方式来控制和执行空间表示生成功能，即，在整个周围环境以空间上包容且涵盖的方式生成点云。
[0093]在本申请中，摄像头4可以实际上面临超过一个坐标系，这些坐标系彼此可以移动。用于对此进行处理的方法是从收集的图像中动态地淡出不期望的部分以便改进工序。
[0094]因此，该工具定位系统包括要被用于SLAM导航的摄像头模块4和控制与估计单元，SLAM导航适于确定被工人移动的手持工具I的位置信息。摄像头模块4可被设计成附接至工具I或集成到工具I中，并且包括用于拍摄图像的至少一个摄像头4。该控制与评估单元已存储了具有程序代码的程序，以控制并执行SLAM位置功能。
[0095]当沿贯穿周围环境的路径移动摄像头4时，利用至少一个摄像头4拍摄周围环境的一系列图像。该系列图像包括以摄像头4的不同姿势拍摄的许多图像，所述姿势表示摄像头4的相应位置和取向。接着，基于该系列图像标识一组图像点，这些图像点表示参照点场的参照点。其中，每一个参照点都出现在该系列图像中的至少两个图像中，并且利用那些图像点基于后方交会来确定针对这些图像的姿势。
[0096]为了处理包括工件3以及环境2的可能视图，识别该系列图像中的这种差异并且不被关注的图像部分被限定为干扰物体，例如通过特征识别技术和/或图像的比较。接着，所识别的干扰物体部分在涉及的图像中淡出，而且在标识一组图像点和/或确定针对所述图像的姿势方面不加以关注。由此，该评估不太费事而是更鲁棒且更准确，从而抑制了干扰。
[0097]根据SLAM导航的实施方式，控制和评估单元被设置成使得按这样的方式来控制和执行空间表示生成功能，即，基于运动检测算法特别是通过特征跟踪，将移动物体识别为干扰物体。根据本发明，特别是将人、其它移动物体的推车标识为干扰物体从而不加以考虑O
[0098]在图中，示出了摄像头4的图像40。该图像示出了摄像头4的还包括工具的工作范围的视场。由此，例如，在保存图像时，还记录使用的提示信息的种类和/或条件。
[0099]对于SLAM导航来说，图像40被不同地考虑，即，仅针对物体3的局部坐标系30来分析图像40，通过图片43例示。在图片43中，环境淡出，如黑色部分所示，例如，如前所述。(明显地，在实际的实施方式中，不期望的图像部分不必按所示方式涂黑，但可以以数值方式淡出)。因此，SLAM导航将该工件考虑在内并且确定关于局部坐标系30的工具定位信息。
[0100]在图片42中，成像环境2在SLAM导航中被考虑，并且该图像的与工件3有关的部分出于考虑而淡出(仍然通过黑色图像部分例示)。由此，关于环境2的全局坐标系20来确定工具定位。
[0101]除了之前已讨论的原理以外，还将背景-前景分析应用至摄像头图像，以确定环境2和工件3图像部分。
[0102]干扰物体的检测和淡出还允许较快速的数据处理，这是因为为了确定位置而不得不考虑的图像数据的量较少。而且，与仅考虑整个图像的方法相比，所计算的位置包括更高的精确度。
[0103]该控制和评估单元还可以存储具有程序代码的程序以执行摄像头校准功能，其中，例如，涵盖限定的参照图案的图像由至少一个摄像头拍摄，并且关于位置测量资源与摄像头之间的固定空间关系的校准参数被确定。该图像表示还可以借助于有关已知的绝对参照的指定信息(像工件3和/或环境2的一些结构性数据)来缩放。例如，该空间表示的垂直取向可以利用已知为垂直的参照来确定，但頂U也可以在该过程中给予帮助，并且例如，如果摄像头视场未按假定的倾度呈现，则可以发出警告。
[0104]如上所述，相对于摄像头固定的惯性测量单元(MU)还可以帮助确定摄像头移动。所测量的加速度和角速度可以用于通过积分来测量图像之间的相对位置和取向。利用这些相对位置，可以发现使所测量的相对位置与变换的摄像头位置的相对位置之间的差异最小化的点云的移位旋转和缩放。另一方面，针对这种IMU已知的漂移问题可以通过不受那些漂移影响的SLAM导航来检测并补偿。
[0105]图5示出了本发明的特殊实施方式，其中，示出了本发明的多个选项和实施方式，它们可以分离地或者彼此组合地使用。
[0106]示出的组装线29按特定速度输送车体3工件，还可以根据制造进度或针对不同变型的工作量来改变速度。移动是相对于由固定设备(像柱子、机器人底座、工作间、柜子、电气柜等)例示的工作环境2的全局坐标系20的。每个车体3限定其局部坐标系30。
[0107]工人28在使用根据本发明的手持工具I以组装车体3。那些工具配备有摄像头4，摄像头4用于在全局和/局部坐标系中对工具I的基于SLAM的工具定位。
[0108]图中示出的本发明的特殊实施方式另外使用观察制造环境2的至少一部分的一组固定摄像头4c。由此，还限定了全局坐标系20，其中，可以限定例如可与制造物品、货物或工件3或其一部分相关的一个或更多个局部坐标系30。这些局部坐标系30例如是从制造的货物3的结构性数据知道的或者与制造的货物3的结构性数据有关。在像工具环境2的构造的组装线的所示示例中，局部坐标系30可以相对于全局坐标系20移动。该移动可以是沿着预定引导轨道连续的或逐步的，但该移动还可以是灵活的，例如，在被引导的自主或人工可移动的推车等上。尽管还可应用于小规模环境，但本发明所瞄准的制造环境2因所使用SLAM导航原理没有范围限制并且事实上在任何地方工作，因而可以具体覆盖超出60m或10m或以上的范围，因而，工具可以被移动和交换，不需要针对它们进行任何修改。
[0109]制造或组装步骤总是针对特定局部坐标系30来执行，并且在许多实例中，使用一些工具I (具体来说，动力工具)。这种工具I例如可以是动力扳手、螺丝刀、夹持工具、铆接工具、钻孔工具、点胶机等。它们可以配备有动力供应线路，如电力或气压，或者可以具有像电池等的可移动动力源。本发明的特殊实施方式还可以在附接至提供工具I的几乎为零的重力支承和/或吸收扭矩反作用的定位扭矩臂或关节臂的工具I上使用。尽管如此，因为SLAM导航被用于确定根据本发明的工具定位，所以本发明不需要可以通过集成的定位传感器来提供空间信息的架空轨道系统、关节臂或类似。工具I是可移动的，优选地在工作环境2内用手移动，但它们有时还可以离开并进入工作环境2，例如，在更换、修理或校准的情况下，而且还在其它规划或未规划的场合。
[0110]除了所述工具以外，而且制造的物品或工件3和要组装至制造的物品或工件3的部件与全局坐标系20和/或局部坐标系30中的坐标相关联。但如上所述，鉴于制造过程，相应局部坐标系30鉴于要通过工具I执行的制造步骤而更加相关。尽管如此，全局坐标系20例如可以对管理目的和故障保护(像避免在制造环境2的错误阶段的拧紧)具有相关性。
[0111]根据在此示出的本发明的特殊实施方式，工作环境2的全局坐标系20由一组多个优选为固定的摄像头4c来观察。通过该摄像头系统，工作环境2中的工具I和物品3的位置信息可以优选地以厘米(cm)范围的准确度或更好的准确度来确定，并且还可以定位和跟踪可移动的物品。该全局坐标系评估还可以涉及有关工作环境2、工具I以及物品3的几何信息(例如从数字设计数据导出)。为进一步改进全局坐标系20内的可定位性，工具1、物品3和/或环境2可以另外配备有特定关键位置处的专用标记。例如，可以应用像在EP1066497中讨论的原理。
[0112]通过全局参照，可以跟踪物品3和工具1，并且基于该信息，可以建立物品和工具的指配，不需要要求在应用该工具之前明确地扫描该物品处的标识码。
[0113] 根据在此所示的本发明的实施方式，不仅通过工具环境2处的摄像头4c来进行全局坐标系参照，而且还通过工具I处的摄像头装置4a和/或物品或工件3处的摄像头装置4b来进行局部坐标系参照。其中，局部参照通过将SfM算法的SLAM应用至摄像头图像来进行，根据所述算法，从摄像头图像导出导航信息。工具处的摄像头4a特别按这样的方式来设置，即，摄像头4a的视场包括工具工作范围的至少一部分，以使可以对实际工作过程及其位置进行成像。
[0114]工具SLAM导航是根据实际视场和/或基于全局参照的信息，针对全局坐标系20和/或局部坐标30来进行的。制造环境2和要制造的工件3两者很大程度上包括已知几何形状的事实还可以通过提供另一些限制来使得SLAM导航容易。例如，组装线20包括可以在局部摄像头图像中标识的许多固定物品。有关制造环境的空间信息通常基于施工图来获知。另选地或另外地，该空间信息还可以例如通过初始测量、激光扫描、通过基于移动摄像头的测量系统的SLAM技术、或者其它已知技术而变得可用，这些技术导致可被存储为已知信息模型的空间信息。全局参照坐标系20中的固定物品允许针对全局参照的反向参照，由此，来自固定和自由移动摄像头两者的信息的组合可以用于改进参照准确度和可靠性。
[0115]尽管如此，根据本发明使用的SLAM导航还能够应付改变的工具环境。这种改变的环境在本发明所瞄准的制造环境2中是几乎难于避免的成分。例如，工人28、移动机器人、推车、供应库存和供应交付、服务和维护人员和/或设备、制造序列和设施中的采用和最优化等导致制造环境的动态改变部分。因此，完全静态导航方法将趋于失败或故障。
[0116]在示例性的特殊实施方式中，局部坐标系30 —般被视为大部分已知的，为此，来自用于根据本发明的SLAM导航的工具摄像头4a的图像另外还可以被用于主动检测和指示可因不正确执行的先前制造步骤而造成的某些偏离。尽管如此，该工具定位系统本身免受这种偏离，以使导致不期望的摄像头图像的灵活制造方法或制造物品的多个可能选项不妨碍工具定位。
[0117]SLAM方法允许针对其自身的位置确定，例如，像在其中来自环境上固定的台的全局参照无法提供有效或准确信息的位置处。因此，即使在从全局参照遮蔽工具的情况来说(例如，通过物品的一部分、工人以及/或其它障碍物)，也保持有效的位置信息。如果手持工具I上的摄像头4面对物品3和/或工作环境2的很奇怪且非常规的视图，则本发明也工作，例如，如果(不管是什么原因)工人以不方便的方式手持或放置工具。
[0118]此外，一些实施方式还可以配备有惯性测量单元(MU)，MU可以提供可叠加至SLAM导航的附加导航信息。这种IMU对于处理工具I的快速、高动态移动并保持位置信息有效可以特别有利。MU例如还可以被用于检测工具I的意外掉落或误用，并接着可以指出可能需要工具I的质量控制和/或校准以便确保正确操作。
[0119]操作员引导(例如，通过工具I上的显示装置)(范围从简单指示灯至显示装置)提供了图形或图像信息、或者声音或触觉指示。操作员引导例如还可以通过由显示器或由VR眼镜提供的增强现实来进行，增强现实通过有关要执行的任务的图形信息交叠真实图像(例如，来自摄像头的图像)，其还可以包括位置引导。
[0120]技术人员获知的事实在于，在此参照不同实施方式示出和说明的细节在本发明的意义上也可以在其它置换例中组合。
【主权项】
1.一种用于制造工件的制造环境中的手持工具的工具定位系统，该工具定位系统特别是在车体、飞机或机械制造中的多个制造台处， 其中，可用手移动的所述工具配备有用于拍摄图像的摄像头， 其特征在于， 所述定位系统包括数字评估装置，所述数字评估装置被构建成基于来自所述摄像头的所述图像，通过同时定位和绘图SLAM导航计算来确定所述工具的工具定位，其中， ?所述工具定位是从所述图像的包含所述制造环境的视图的部分，相对于与所述制造环境相关的全局坐标系来确定的，并且 ?所述工具定位是从所述图像的包含所述工件的视图的部分，相对于与所述工件相关的局部坐标系来确定的， 特别地，其中，所述局部坐标系在组装线结构中相对于所述全局坐标系移动。2.根据权利要求1所述的系统，其特征在于， 确定所述工具定位涉及将所述SLAM导航与所述工件和/或所述环境的已知空间信息进行匹配，特别是CAD或点云数据形式的空间信息。3.根据权利要求1或2所述的系统，其特征在于， 所述评估装置被构建成建立所述工具定位在所述局部坐标系与所述全局坐标系之间的无缝转换，特别是相对于所述全局坐标系对所述局部坐标系的现场更新参照。4.根据权利要求1至3中任一项所述的系统，其特征在于， 所述工具包括惯性测量单元IMU，并且确定所述工具定位涉及从在惯性导航算法中使用的所述MU中收集的信息。5.根据权利要求1至4中任一项所述的系统，其特征在于， 所述制造环境和/或所述工件包括被构建成要在所述摄像头图像中标识的多个协作和/或主动发光目标，所述多个协作和/或主动发光目标特别是对比面、反射器或LED。6.根据权利要求1至5中任一项所述的系统，其特征在于， 所述工具包括通信接口，所述通信接口特别是无线通信接口，优选为实时通信接口，所述通信接口被构建成与制造管理系统和/或其它工具交换其定位和/或图像信息。7.根据权利要求6所述的系统，其特征在于， 所述工具包括用于感测工具操作的工作过程参数的传感器装置，并且 其中，所述工作过程参数与对应的工具定位一起作为工具监视数据被所述通信接口提供给特别是所述工件的制造历史的管理和/或文档制作的所述制造管理系统，优选地，其中，所述工具监视数据包括来自所述摄像头的描绘所述工具操作的工作过程结果的图像。8.根据权利要求1至7中任一项所述的系统，其特征在于， 所述工具是安装工具，特别是螺丝刀工具、扳手工具、夹持工具或铆接工具，优选为通过电力或压缩空气驱动的扭矩监测和/或位置监测动力工具，并且 所述摄像头具有包括所述工具的操作范围的至少一部分的视场。9.根据权利要求1至8中任一项所述的系统，其特征在于， 所述工具是可移动的，并且还配备有用于特别是按照与针对所述工具相同的方式在所述全局坐标系中对所述工件定位的SLAM导航的摄像头，特别地，其中，所述工件定位和所述工具定位被组合，优选地由此建立所述全局坐标系和所述局部坐标系的参照， 其中，通过利用所述工件处的摄像头对所述工具的定位和利用所述工具处的摄像头对所述工件的定位来建立所述工具与所述工件导航之间的反向参照。10.一种用于制造环境的工具监视系统， 其中，所述制造环境包括: ?固定物品，以及 ?可移动物品，所述可移动物品包括: ο要制造的工件和/或要制造的工件的部件， ο将由工人操纵的工具，以及 根据权利要求1至9中任一项的用于所述工具的工具定位系统。11.根据权利要求10所述的工具监视系统，其特征在于， 所述制造环境配备有: ?用于对所述制造环境成像的多个全局摄像头，所述多个全局摄像头特别是固定全局摄像头，以及 ?图像处理装置，该图像处理装置被构建成标识/检测所述制造环境中的所述固定物品和所述可移动物品，并且确定所述固定物品和所述可移动物品在全局环境坐标系中的全局位置坐标，所述全局位置坐标特别是至少三个维度的，并且 其中，所述全局位置坐标与确定的所述工具定位匹配，其中，通过利用所述环境处的摄像头对所述工具的定位和利用所述工具处的摄像头对所述环境的定位来建立所述工具与所述环境导航之间的反向参照。12.—种用于在制造工件的制造环境中定位手持工具的方法，所述制造环境特别是具有车体、飞机或机械制造的多个制造台的环境，优选为组装线排布结构， 其中，所述工具配备有用于拍摄图像的摄像头， 其特征在于，该方法包括以下步骤: 基于来自所述摄像头的所述图像，通过SLAM导航计算来确定所述工具的工具定位，其中 ?从所述图像的包含所述制造环境的视图的部分，相对于与所述制造环境相关的全局坐标系来确定所述工具定位，并且 ?从所述图像的包含所述工件的视图的部分，相对于与所述工件相关的局部坐标系来确定所述工具定位， 特别地，其中，所述局部坐标系相对于所述全局坐标系移动。13.根据前述权利要求12所述的方法，其特征在于， 确定所述工具定位涉及将所述SLAM导航与所述工件和/或所述环境的已知空间信息匹配，所述已知空间信息特别是CAD或点云数据形式的空间信息。14.根据前述权利要求12或13中任一项所述的方法，其特征在于，该方法包括: 通过所述工具处的传感器装置感测工作过程参数，并且通过通信接口将所述工具定位与对应的工作过程参数一起提供作为工具监视数据，特别是将所述监视数据提供给用于管理所述工件的制造和/或对所述工件的制造进行文档制作的制造管理系统，优选地与来自所述摄像头的具有对应的工具定位处的工作过程结果的图像一起。15.—种包括存储在机器可读介质上的程序代码的计算机程序产品，或者具体实施为电磁波的计算机数据信号，用于基于来自制造工件的制造环境中的工具处的摄像头的图像来执行SLAM导航算法，所述工件优选地是组装线构造中的移动工件，其中，所述工具定位?通过所述图像的描绘所述环境的部分相对于与所述环境有关的全局坐标系，以及?通过所述图像的描绘所述工件的部分相对于与所述工件有关的局部坐标系建立， 尤其是用于计算根据权利要求12至14中任一项的方法，特别是在根据权利要求1至11中任一项所述的工具定位或监视系统的计算装置中执行。
【专利摘要】质量有保证的制造。本发明涉及一种用于制造环境中的手持工具的工具定位系统，其中，所述工具配备有用于拍摄图像的摄像头。根据本发明，所述定位系统包括数值评估装置，其被构建成基于来自摄像头的所述图像通过同时定位和绘图(SLAM)导航计算来确定所述工具的工具定位。其中，所述工具定位从所述图像的包含所述制造环境的视图的部分，相对于与所述制造环境有关的全局坐标系来确定，并且所述工具定位从所述图像的包含所述工件的视图的部分，相对于与所述工件有关的局部坐标系来确定。
【IPC分类】B25B23/00, B25B11/00
【公开号】CN104889904
【申请号】CN201510100446
【发明人】波·佩特尔松, 克努特·西尔克斯, 贝内迪克特·泽布霍塞尔
【申请人】赫克斯冈技术中心
【公开日】2015年9月9日
【申请日】2015年3月6日
【公告号】EP2916189A1, US20150253766
最新回复(0)