机械手、机械手系统、控制装置以及控制方法

机械手、机械手系统、控制装置以及控制方法
【技术领域】
[0001] 本发明涉及机械手、机械手系统、控制装置、以及控制方法。
[0002] 本申请基于2014年3月7日提出的日本专利申请2014 - 045752号主张优先权， 并在此引用其内容。
【背景技术】
[0003] 正在研宄、开发基于由力传感器取得的信息、即与作用于机械手的把持部、把持部 所把持的操作对象的力相关的信息、以及由拍摄部拍摄到的拍摄图像，来进行机械手的顺 应运动控制的技术。
[0004] 与此相关联，例如已知有一种如下所述的控制装置：在使机械手进行将操作对象 和组装对象组装成规定的状态的组装作业的情况下，通过从拍摄图像逐次取得对操作对象 定义的顺应运动控制的坐标轴的朝向，即使在作业中操作对象的姿势变化，也控制机械手， 以保持初始状态下的对于顺应运动控制的各轴设定的运动特性，进行良好的组装作业。而 且，已知有一种在这样的控制装置中，通过根据施加于操作对象的旋转力矩，将操作对象进 行旋转运动时的旋转中心设定为操作对象的规定位置，来控制机械手以便进行良好的组装 作业的方法（参照非专利文献1)。
[0005] 非专利文献 I 〖Proceedings of the 2001 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 1477-1482,2001.
[0006] 然而，在现有的方法中，若因在作业中操作对象与组装对象接触，导致旋转中心的 位置与把持部和操作对象的相对位置一起变化，则存在无法检测出该旋转中心的位置的变 化，不能进行良好的组装作业的情况。

【发明内容】

[0007] 因此，本发明鉴于上述现有的方法的问题而完成的，提供能够进行良好的组装作 业的机械手、机械手系统、控制装置、以及控制方法。
[0008] 本发明的一个方式涉及的机械手包括手部、以及使上述手部动作的控制部，上述 控制部基于包括上述手部和第1物体的拍摄图像，通过上述手部使上述第1物体以上述第 1物体的规定位置为中心旋转，来使上述第1物体相对于第2物体相对移动。
[0009] 通过该构成，机械手基于包括手部和第1物体的拍摄图像，通过手部使第1物体以 第1物体的规定位置为中心旋转，使第1物体相对于第2物体相对移动。因此，机械手能够 进行良好的组装作业。
[0010] 另外，本发明的一个方式也可以采用如下的构成，在机械手中，上述规定位置是与 上述第1物体一起移动的坐标原点，上述控制部除了使上述第1物体旋转以外，还使上述第 1物体平移。
[0011] 通过该构成，机械手将旋转的情况下的旋转中心作为与第1物体一起移动的坐标 原点，通过旋转和平移使第1物体相对于第2物体相对移动。因此，机械手能够进行良好的 组装作业。
[0012] 另外，本发明的一个方式也可以采用如下的构成，在机械手中，上述控制部基于上 述拍摄图像来进行视觉伺服控制。
[0013] 通过该构成，机械手基于拍摄图像进行视觉伺服控制。因此，由于机械手能够使第 1物体相对于第2物体逐次相对移动，所以结果能够进行高精度的良好的组装作业。
[0014] 上述控制部也可以采用如下的构成：按照上述规定位置以及对各轴向设定的运动 特性来进行顺应运动控制。
[0015] 通过该构成，机械手按照规定位置以及对各轴向设定的运动特性来进行顺应运动 控制。因此，机械手能够不破坏第2物体地对于第2物体组装第1物体。
[0016] 另外，本发明的一个方式也可以使用如下的构成，在机械手中，上述控制部基于上 述拍摄图像，导出在上述手部设定的位置与在上述第1物体设定的位置的相对位置关系， 基于上述导出的位置关系来更新上述规定位置。
[0017] 通过该构成，机械手基于拍摄图像，导出在手部设定的位置与在第1物体设定的 位置的相对位置关系，基于导出的位置关系来更新规定位置。因此，即使手部与规定位置的 位置关系因外力而偏移，机械手也能够以偏移后的规定位置为中心使第1物体相对于第2 物体相对移动，结果，能够进行良好的组装作业。
[0018] 另外，本发明的一个方式也可以采用如下的构成，在机械手中，上述控制部基于上 述导出的位置关系、以及在上述第1物体设定的位置与上述规定位置的相对位置关系，来 更新上述规定位置。
[0019] 通过该构成，机械手导出在手部设定的位置与在第1物体设定的位置的相对位置 关系，基于导出的位置关系、以及在第1物体设定的位置与规定位置的相对位置关系来更 新规定位置。因此，即使手部与规定位置的位置关系因外力而偏移，机械手也能够经由在第 1物体设定的位置，间接地根据在手部设定的位置与规定位置的相对位置关系，来识别偏移 后的规定位置，结果，能够以偏移后的规定位置为中心使第1物体相对于第2物体相对移 动。
[0020] 另外，本发明的一个方式也可以采用如下的构成，机械手具备表示对作用于上述 手部的外力进行检测的力传感器的位置的标记，上述拍摄图像还包括上述标记，在机械手 中，在上述手部设定的位置由上述力传感器的位置表示，上述控制部基于从上述拍摄图像 检测出的上述标记的位置，导出在上述手部设定的位置与上述规定位置的相对位置关系， 并基于上述导出的在上述手部设定的位置与上述规定位置的相对位置关系，来更新上述规 定位置。
[0021] 通过该构成，机械手基于对从拍摄图像检测出的力传感器的位置进行表示的标记 的位置，导出在手部设定的位置与规定位置的相对位置关系，并基于导出的在手部设定的 位置与规定位置的相对位置关系，来更新规定位置。因此，即使在力传感器被机械手的臂 部的部件覆盖的情况下，机械手也能够将表示力传感器的标记的位置作为标识，来识别第1 物体的位置，结果，能够进行良好的组装作业。
[0022] 另外，本发明的一个方式也可以采用如下的构成，机械手具备对作用于上述手部 的外力进行检测的力传感器，在上述手部设定的位置由上述力传感器的位置表示，在机械 手中，上述控制部基于上述力传感器的初始状态下的位置以及姿势，导出在上述手部设定 的位置与上述规定位置的相对位置关系，并基于上述导出的在上述手部设定的位置与上述 规定位置的相对位置关系来更新上述规定位置。
[0023] 通过该构成，机械手基于力传感器的初始状态下的位置以及姿势，导出在手部设 定的位置与规定位置的相对位置关系，并基于导出的在手部设定的位置与规定位置的相对 位置关系来更新规定位置。因此，即使包括力传感器的机械手的臂部从拍摄部的视角偏移 的情况下，机械手也能够识别第1物体的位置，结果，能够进行良好的组装作业。
[0024] 另外，本发明的一个方式是机械手系统，包括具备手部的机械手、以及拍摄上述手 部和第1物体的拍摄部，上述机械手基于由上述拍摄部拍摄到的包括上述手部和上述第1 物体的拍摄图像，使上述第1物体以上述第1物体的规定位置为中心旋转，来使上述第1物 体相对于第2物体相对移动。
[0025] 通过该构成，机械手系统基于包括手部和第1物体的拍摄图像，使第1物体以第1 物体的规定位置为中心旋转，来使第1物体相对于第2物体相对移动。因此，机械手系统能 够通过机械手进行良好的组装作业。
[0026] 另外，本发明的一个方式是使具备手部的机械手动作的控制装置，基于包括上述 手部和第1物体的拍摄图像，通过上述机械手使上述第1物体以上述第1物体的规定位置 为中心旋转，来使上述第1物体相对于第2物体相对移动。
[0027] 通过该构成，控制装置基于包括手部和第1物体的拍摄图像，通过机械手使第1物 体以第1物体的规定位置为中心旋转，来使第1物体相对于第2物体相对移动。因此，控制 装置能够通过机械手进行良好的组装作业。
[0028] 另外，本发明的一个方式是使具备手部的机械手动作的控制方法，包括：取得包括 上述手部和第1物体的拍摄图像的步骤；和基于上述拍摄图像，使上述第1物体以上述第1 物体的规定位置为中心旋转，来使上述第1物体相对于第2物体相对移动的步骤。
[0029] 通过该构成，控制方法基于拍摄图像使第1物体以第1物体的规定位置为中心旋 转，来使第1物体相对于第2物体相对移动。因此，控制方法能够进行良好的组装作业。
[0030] 综上所述，机械手、机械手系统、控制装置、以及控制方法基于包括手部和第1物 体的拍摄图像，通过手部使第1物体以第1物体的规定位置为中心旋转，来使第1物体相对 于第2物体相对移动。因此，机械手、机械手系统、控制装置、以及控制方法能够进行良好的 组装作业。
【附图说明】
[0031] 图1是表示第1实施方式所涉及的机械手系统1的一个例子的构成图。
[0032] 图2是表不在机械手系统1中使用的坐标系的一个例子的图。
[0033] 图3是表示控制装置30的硬件构成的一个例子的图。
[0034] 图4是表示控制装置30的功能构成的一个例子的图。
[0035] 图5是表示控制装置30用于控制机械手20以使其将操作对象M和组装对象O组 装的处理的流程的一个例子的流程图。
[0036] 图6是表示第2实施方式所涉及的机械手系统2的一个例子的构成图。
[0037] 图7是示意性地表示由第3实施方式所涉及的机械手系统1进行的规定的作业的 一个例子的图。
[0038] 图8是表示控制装置30的控制部36用于使机械手20动作以便利用扳手Ml拧紧 螺栓Ol的处理的流程的一个例子的流程图。
【具体实施方式】
[0039] 〈第1实施方式〉
[0040] 以下，参照附图对本发明的第1实施方式进行说明。图1是表示第1实施方式所 涉及的机械手系统1的一个例子的构成图。机械手系统1具备拍摄部10、机械手20、以及 控制装置30。
[0041] 拍摄部10例如是具备将汇聚的光转换为电信号的作为拍摄元件的CCD(Charge Coupled Device:点和親合器件）、CMOS(Complementary Metal Oxide Semiconductor:互 补金属氧化物半导体）等的照相机。另外，拍摄部10是由2台照相机构成的立体相机，不 过例如也可以由3台以上的照相机构成，还可以是通过1台照相机来拍摄二维图像的构成。
[0042] 拍摄部10通过线缆与控制装置30连 接成能够进行通信。经由线缆的有线通信例 如根据以太网（注册商标）、USB(Universal Serial Bus:通用串行总线）等标准来进行。 此外，拍摄部10和控制装置30也可以是通过利用Wi - Fi (注册商标）等通信标准进行的 无线通信而连接的构成。
[0043] 拍摄部10将包括机械手20、机械手20的把持部HND所把持的操作对象M、通过机 械手20组装操作对象M的组装对象0的范围设置为能够拍摄的位置。操作对象M例如是通 过以规定的状态向组装对象〇组装，来形成一个工业产品的部件。其中，在以下的说明中， 以操作对象M预先被机械手20的把持部HND把持为前提。
[0044] 如图1所示，组装对象0在能够通过机械手20组装操作对象M的范围内，通过夹 具等被预先设置于远离机械手20的位置。
[0045] 机械手20例如是具备把持部HND (末端执行器）、力传感器22、臂部ARM(机械手）、 以及未图示的多个致动器的单臂机械手。此外，机械手系统1也可以不是具备单臂机械手 的构成，而是具备双臂机械手的构成。关于机械手系统1具备双臂机械手的构成的实施例， 将在第2实施方式中进行说明。
[0046] 机械手20的臂为6轴垂直多关节型，能够通过支承台、臂部ARM、以及把持部HND 利用致动器实现的联合的动作来进行6轴自由度的动作。此外，机械手20的臂也可以是以 5自由度（5轴）以下来动作的部件，还可以是以7自由度（7轴）以上来动作的部件。以 下，对通过具备把持部HND以及臂部ARM的臂而进行的机械手20的动作进行说明。其中， 把持部HND是手部（hand)的一个例子。
[0047] 机械手20例如通过线缆与控制装置30连接成能够进行通信。经由线缆的有线通 信例如根据以太网（注册商标）、USB等标准来进行。此外，机械手20和控制装置30也可 以通过根据Wi - Fi (注册商标）等通信标准进行的无线通信来连接。另外，在机械手系统 1中，如图1所示，机械手20成为与设置于机械手20的外部的控制装置30连接的构成，但 也可以代替该构成而构成为控制装置30被内置于机械手20。
[0048] 机械手20的把持部HND具备能够把持物体的爪部。
[0049] 力传感器22设置于机械手20的把持部HND与臂部ARM之间，检测作用于把持部 HND (或者把持部HND所把持的操作对象M)的力、力矩。力传感器22将表示检测到的力、力 矩的信息通过通信向控制装置30输出。表示由力传感器22检测到的力、力矩的信息例如 被用于由控制装置30执行的机械手20的顺应运动控制等。
[0050] 机械手20从控制装置30取得基于操作对象M、组装对象0、力传感器22各个的相 对位置关系的控制信号，基于取得的控制信号来对操作对象M进行规定的作业。规定的作 业例如是使机械手20的把持部HND所把持的操作对象M从当前位置移动而组装于组装对 象0的作业等。
[0051] 控制装置30进行控制以使机械手20进行规定的作业。更具体而言，控制装置30 基于由拍摄部10拍摄到的拍摄图像、即拍摄到包括机械手20、机械手20的把持部HND所把 持的操作对象M、以及被机械手20组装操作对象M的组装对象0的范围的拍摄图像，来导出 操作对象M、组装对象0以及力传感器22的相对位置关系。
[0052] 然后，控制装置30基于导出的相对位置关系来控制机械手20以使机械手20进行 规定的作业。即，控制装置30通过把持部HND以及臂部ARM使操作对象M相对于组装对象 〇相对移动，来控制机械手20以使操作对象M组装到组装对象0。
[0053] 另外，控制装置30在使操作对象M相对于组装对象0相对移动时，存在控制机械 手20以便机械手20使由把持部HND把持的操作对象M旋转的情况。该情况下，控制装置 30控制机械手20以使操作对象M以设定于操作对象M的规定位置（以下称为旋转中心位 置）为中心旋转。其中，以下将旋转中心位置处的操作对象M的姿势称为旋转中心姿势。
[0054] 在该控制中，即使在操作对象M与力传感器22的相对位置以及姿势（相对位置关 系）变化了的情况下，控制装置30也从由拍摄部10拍摄到的拍摄图像中检测相对的位置 关系变化之后的旋转中心位置以及旋转中心姿势。基于检测出的旋转中心位置以及旋转中 心姿势，控制装置30总是以设定于操作对象M的旋转中心位置为中心，并以旋转中心姿势 为基准来使操作对象M旋转。其中，旋转中心位置由用户设定为操作对象M上的任意的位 置。另外，虽然旋转中心姿势设为旋转中心位置处的操作对象M的姿势，但如果是与操作对 象M的姿势相对应的姿势，则也可以不与操作对象M的姿势一致。
[0055] 这里，参照图2对在机械手系统1中使用的坐标系进行说明。图2是例示在机械 手系统1中使用的坐标系的图。其中，在以下的说明中，以" _ "之后记载的文字表示" _ "近 前的文字的下标的方式来进行说明。如图2所示，机械手系统1的控制装置30使用7个三 维正交坐标系，即拍摄部坐标系2_c、作业坐标系Σ_?、工具坐标系Σ_?、重心坐标系Σ_ g、操作对象坐标系Σ_πι、外力坐标系Σ_θ、以及组装对象坐标系Σ_〇,来进行用于以机械 手20进行规定的作业的方式加以控制的处理。这7个坐标系的原点以及坐标轴的方向由 用户设定（存储或者登记）于控制装置30。
[0056] 这7个坐标系的原点均被设定成跟随对象X而移动，以便表示对象X (在当前情况 为拍摄部10、机械手20的支承台、力传感器22、操作对象M的重心、操作对象M的旋转中 心、操作对象Μ、组装对象0)的位置。另外，这7个坐标系的坐标轴的方向均被设定成跟随 对象X的姿势变化而移动，以便表示对象X的姿势。此外，用户也可以在能够将对象X的位 置与坐标系的原点的位置建立关联，并且能够将对象X的倾斜度与坐标系的方向建立关联 的前提下，将对于对象X设定的坐标系的原点的位置和坐标轴的方向设定为任意的位置和 方向。
[0057] 拍摄部坐标系2_c是表示拍摄部10的位置（例如，将拍摄元件上预先决定的位 置作为原点）以及姿势的坐标系。
[0058] 作业坐标系Σ_?是表示机械手20的支承台的位置以及姿势的坐标系。
[0059] 工具坐标系Σ_?是被设定为力传感器22的位置（例如，将力传感器22的重心、 表示力传感器22的位置的标记的位置作为原点）以及姿势的坐标系。其中，在本实施方式 中，为了简化说明，工具坐标系2_t表示力传感器22的位置以及姿势，并且表示把持部HND 的位置以及姿势。一般，表示力传感器21的位置以及姿势的传感器坐标系不与表示把持部 HND的位置以及姿势的手指尖（把持部）坐标系一致，控制装置30使用作业坐标系与传感 器坐标系的相对位置关系、以及传感器坐标系与手指尖坐标系的相对位置关系，来计算作 业坐标系与手指尖坐标系的相对位置关系，基于计算出的作业坐标系与手指尖坐标系的相 对位置关系来进行机械手20的控制。
[0060] 重心坐标系2_g是表示操作对象M的重心的位置以及姿势的坐标系。
[0061] 操作对象坐标系Σ_πι是表示操作对象M(例如，在初始状态下最远离把持部HND 的操作对象M上的位置等）的位置以及姿势的坐标系。
[0062] 外力坐标系Σ_θ是定义作用于对象物的外力以及外力矩的坐标系。另外，在本说 明书中，使定义基于顺应运动控制的运动的坐标系与外力坐标系Σ_θ -致。即，基于顺应 运动控制的旋转运动以外力坐标系2_e的姿势作为基准，由外力坐标系Σ_θ的围绕原点 的旋转表示。不过，这些也可以不一致，用户能够任意地配置。此外，以下只要不需要进行 区别，便将作用于对象物的外力（即，由力传感器检测到的外力）简称为力，将外力矩（即， 由力传感器检测到的力矩）称为力矩。如上所述，旋转中心位置能够由用户设定为任意的 位置，但在本实施方式中，对被设定为操作对象M上的规定位置的情况进行说明。
[0063] 组装对象坐标系Σ_〇是表示组装对象O (例如，最接近操作对象M的组装对象O 上的位置）的位置以及姿势的坐标系。
[0064] 在以下的说明中，由于坐标系跟随对象X而移动，所以将坐标系a中的坐标系b的 原点的位置作为设定有坐标系b的对象X的位置来进行说明。例如，将作业坐标系Σ_?中 的操作对象坐标系Σ_πι的原点的位置称为作业坐标系2_w中的操作对象M的位置。与此 相同，将坐标系a中的坐标系b的姿势作为设定有坐标系b的对象X的姿势进行说明。例 如，将作业坐标系2_w中的操作对象坐标系Σ_πι的姿势称为作业坐标系2_w中的操作对 象M的姿势。
[0065] 这里，在记载更具体的说明之前，表示对控制装置30进行的处理进行说明所使用 的公式的表示方法。首先，在以下的说明中，以" Λ "之后记载的文字表示" Λ "近前的文字 的上标来进行说明。另外，将附注有"（一）"的最近前的文字作为向量来进行说明。另外， 将附注有"（Λ )"的最近前的文字作为矩阵来进行说明。
[0066] 在这些表示方法下，在坐标系a中，将表示设定有坐标系b的对象X的位置的向量 表示为位置向量p_b Λ a(-)。如以下的公式（1)所示，位置向量p_b Λ a(-)由坐标系 b中的对象X的X坐标X " b、y坐标y " b、z坐标z " b定义。
[0067]
[0068] 与位置向量的表示方法相同，将表示在坐标系a中设定有坐标系b的对象X的姿 势的向量表示为姿势向量〇_b Λ a(-)。如以下的公式（2)所示，姿势向量o_b Λ a(-) 使用欧拉角（a_b Λ a，f3_b Λ a，Y_b Λ a)将其分量如以下的公式（2)那样表示。
[0069]
[0070] 这里，欧拉角为了使坐标系a的X轴、y轴以及z轴分别与坐标系b的X轴、y轴以 及z轴一致而被定义为绕坐标系a的z轴、y轴以及X轴旋转的角度，分别表示为y_b Λa、β _b " a 以及 a _b " a。
[0071] 将使由坐标系b的姿势表示的对象X的位置、姿势旋转为由坐标系a的姿势表示 的对象X的位置、姿势时的旋转矩阵表示为旋转矩阵R_b Λ a( Λ )。其中，上述的欧拉角与 旋转矩阵之间存在以下所示的公式（3)的关系。
[0072]
[0073] 这里，由上述的公式⑴~（3)表示的向量能够通过以下的变换式⑷~（6)来 切换尾标的上下。
[0074]
[0075]
[0076]< br>[0077] 这里，[R_b ' a( ' )] ' T表示R_a ' b的转置矩阵。即，旋转矩阵的尾标能够 通过对旋转矩阵进行转置而更换，向量的尾标能够通过旋转矩阵来更换。其中，以下除了必 要的情况以外，都将表示在坐标系a中设定有坐标系b的对象X的位置的位置向量p_b Λa(-)简称为坐标系a中的对象X的位置。例如，将表示对在拍摄部坐标系2_c中所示的 组装对象O设定的组装对象坐标系Σ_〇的原点的位置的位置向量p_〇 a c (―)简称为拍 摄部坐标系2_c中的组装对象O的位置。
[0078] 与位置的情况相同，以下除了必要的情况以外，都将表示在坐标系a中设定有坐 标系b的对象X的姿势的姿势向量o_b Λ a(-)简称为坐标系a中的对象X的姿势。例 如，将对在拍摄部坐标系2_c中所示的组装对象O设定的组装对象坐标系Σ_〇的姿势的 姿势向量〇_〇 Λ c(-)简称为拍摄部坐标系2_c中的组装对象O的姿势。
[0079] 接下来，参照图3对控制装置30的硬件构成进行说明。图3是表示控制装置30 的硬件构成的一个例子的图。控制装置30例如具备CPU(Central Processing Unit :中央 处理器）31、存储部32、输入受理部33、以及通信部34,经由通信部34与拍摄部10、机械手 20等进行通信。这些构成要素经由总线Bus彼此连接成能够进行通信。CPU31执行储存于 存储部32的各种程序。
[0080] 存储部 32 例如包括 HDD(Hard Disk Drive :硬盘驱动器）、SSD(Solid State Drive:固态硬盘）、EEPROM(Electrically Erasable Programmable Read - Only Memory: 带电可擦可编程只读存储器）、ROM (Read - Only Memory :只读存储器）、RAM (Random Access Memory:随机存取存储器）等，储存控制装置30处理的各种信息、图像、程序。此 外，存储部32也可以代替内置于控制装置30的存储装置，而是通过USB等数字输入输出端 口等连接的外置型存储装置。
[0081] 输入受理部33例如是键盘、鼠标、触摸板、其他的输入装置。此外，输入受理部33 也可以作为显示部发挥作用，并且还可以构成为触摸面板。
[0082] 通信部34例如构成为包括USB等数字输入输出端口、以太网端口等。
[0083] 接下来，通过参照图4,来对控制装置30的功能构成进行说明。图4是表示控制装 置30的功能构成的一个例子的图。控制装置30具备存储部32、输入受理部33、图像取得 部35、以及控制部36。这些功能部中的一部分或者全部例如通过CPU31执行存储于存储部 32的各种程序来实现。另外，这些功能部中的一部分或者全部也可以是LSI (Large Scale Integration:大规模集成电路）、ASIC(Application Specific Integrated Circuit:专用 集成电路）等硬件功能部。
[0084] 控制装置30通过在视觉伺服（Visual Servo)的循环中组装顺应运动控制，来以 不破坏操作对象M地成为组装了操作对象M和组装对象0的状态的方式使操作对象M相对 于组装对象0相对移动。更具体而言，控制装置30使用视觉伺服技术来控制机械手20,以 使操作对象M成为与预先存储于存储部32的模板图像（例如，操作对象M和组装对象0被 组装了的状态的CAD(Computer Aided Design:计算机辅助设计）图像）相同的状态。
[0085] 此时，控制装置30检测由拍摄部10拍摄到的拍摄图像中的操作对象M与力传感 器22的相对位置关系，在基于检测到的相对位置关系，通过顺应运动控制控制机械手20 时，逐次决定规定该动作的旋转中心位置以及旋转中心姿势。而且，控制装置30控制机械 手20,以便在使机械手20进行使操作对象M旋转的动作时，以旋转中心位置为中心，使操作 对象M以旋转中心姿势为基准来进行旋转。另外，控制装置30控制机械手20,以便在机械 手20使操作对象M平移时，以旋转中心姿势为基准来平移。
[0086] 另外，控制装置30具备未图示的计时部，在由计时部计时而达到的时刻，从图像 取得部35取得由拍摄部10拍摄到的拍摄图像，在与此相同的时刻，从机械手20的力传感 器22取得表示由力传感器22检测到的力以及力矩的信息。
[0087] 图像取得部35取得由拍摄部10拍摄到的拍摄图像。图像取得部35向控制部36 输出取得到的拍摄图像。
[0088] 控制部36具备目标导出部39、旋转中心位置计算部41、外力计算部43、负荷缓和 动作量计算部45、移动动作量计算部46、动作结束判定部47、以及机械手控制部49。
[0089] 目标导出部39根据由图像取得部35取得的拍摄图像，检测拍摄部坐标系2_c中 的组装对象〇的位置以及姿势。
[0090] 另外，目标导出部39基于拍摄部坐标系Σ_(：中的组装对象0的位置以及姿势，来 导出组装结束后的拍摄部坐标系2_c中的操作对象M的位置以及姿势。目标导出部39在 进行该导出时，基于上述的模板图像来检测组装结束后的操作对象M的位置以及姿势。以 下，将目标导出部39导出的组装结束后的拍摄部坐标系2_c中的操作对象M的位置以及 姿势称为目标位置以及姿势。
[0091] 旋转中心位置计算部41根据由图像取得部35取得到的拍摄图像，来检测拍摄部 坐标系2_c中的操作对象M的当前位置以及姿势。另外，旋转中心位置计算部41检测工 具坐标系Σ_?中的拍摄部10的位置以及姿势。另外，旋转中心位置计算部41基于检测到 的拍摄部坐标系2_c中的操作对象M的当前位置以及姿势、工具坐标系Σ_?中的拍摄部 10的位置以及姿势、以及由用户预先设定的操作对象坐标系Σ_πι中的旋转中心位置以及 旋转中心姿势，来计算工具坐标系Σ_?中的旋转中心位置以及旋转中心姿势。
[0092] 另外，旋转中心位置计算部41根据正向运动学来计算作业坐标系Σ_?中的力传 感器22的位置以及姿势。另外，旋转中心位置计算部41基于计算出的工具坐标系Σ_?中 的旋转中心位置以及旋转中心姿势、和作业坐标系Σ_?中的力传感器22的位置以及姿势， 来计算外力坐标系2_e中的机械手20的支承台的位置以及姿势。
[0093] 外力计算部43基于由旋转中心位置计算部41计算出的外力坐标系Σ_θ中的机 械手20的支承台的位置以及姿势，来计算将从力传感器22取得的作用于把持部HND的力 以及力矩、即在工具坐标系Σ_?中表示的力以及力矩在外力坐标系Σ_θ中表示的力以及 力矩。
[0094] 负荷缓和动作量计算部45基于由外力计算部43计算出的力、力矩、即在外力坐标 系Σ_θ中表示的力以及力矩，来计算为了使作用于机械手20的把持部HND所把持的操作 对象M的力缓和而移动操作对象M的缓和动作量、即外力坐标系Σ_θ中的缓和动作量。这 里，缓和动作量是指使操作对象M向检测到的力所作用的方向平移的微小移动量（以下，称 为微小缓和移动量）、和使操作对象M向检测出的力矩的方向旋转的微小旋转量（以下，称 为微小缓和旋转量）。负荷缓和动作量计算部45基于计算出的外力坐标系Σ_θ中的缓和 动作量，来计算作业坐标系2_w中的缓和动作量。
[0095] 移动动作量计算部46在拍摄部坐标系2_c中计算出由把持部HND使操作对象M 移动以使操作对象M的位置以及姿势与由目标导出部39计算出的目标位置以及姿势一致 的目标动作量。目标动作量是指用于使操作对象M向目标位置平移的微小移动量（以下， 称为微小目标移动量）、和用于使操作对象M向目标姿势旋转的微小旋转量（以下，称为微 小目标旋转量）。移动动作量计算部46基于计算出的拍摄部坐标系2_c中的目标动作量， 来计算作业坐标系2_w中的目标动作量。
[0096] 动作结束判定部47基于由负荷缓和动作量计算部45计算出的作业坐标系2_w 中的缓和动作量、以及由移动动作量计算部46计算出的作业坐标系2_w中的目标动作量， 来判定机械手20将操作对象M组装到组装对象O的作业是否结束。此外，动作结束判定部 47也可以仅基于由移动动作量计算部46计算出的作业坐标系2_w中的目标动作量，来判 定机械手20将操作对象M组装到组装对象O的作业是否结束。
[0097] 机械手控制部49基于由负荷缓和动作量计算部45计算出的作业坐标系Σ_￥中 的缓和动作量、以及由移动动作量计算部46计算出的作业坐标系2_w中的目标动作量，来 计算作业坐标系Σ_?中的力传感器22应该移动的位置以及姿势。而且，机械手控制部49 控制机械手20,以使力传感器22的位置以及姿势与计算出的作业坐标系2_w中的力传感 器22应该移动的位置以及姿势一致。
[0098] 以下，通过参照图5,来对控制装置30用于使机械手20动作以便组装操作对象M 和组装对象O的处理进行说明。图5是表示控制装置30用于使机械手20动作以便组装操 作对象M和组装对象O的处理流程的一个例子的流程图。
[0099] 首先，控制装置30设定由用户经由输入受理部33输入的位置和姿势，即操作对象 M和组装对象O的组装结束了的状态的操作对象坐标系Σ_πι中的组装对象O的位置ρ_〇 Λm(-)和姿势 〇_〇 " m(-)(步骤 S100)。
[0100] 接下来，控制装置30设定由用户经由输入受理部33输入的旋转中心位置和旋转 中心姿势，即操作对象坐标系Σ_ηι中的旋转中心位置p_e " m(-)和旋转中心姿势o_e ' m( - )(步骤 S110)〇
[0101] 步骤SlOO到步骤SllO是由用户进行的对控制装置30的初始设定。从此开始，对 在步骤SllO之后开始拍摄部10的拍摄，控制部36从图像取得部35取得拍摄图像的情况 进行说明。
[0102] 在控制部36取得了拍摄图像之后，控制装置30的目标导出部39基于由图像取得 部35取得的拍摄图像，来检测拍摄部坐标系2_c中的组装对象O的位置p_〇 a c( - )和 姿势 〇_〇 Λ c(-)(步骤 S120)。
[0103] 接下来，目标导出部39基于在步骤SlOO中设定的操作对象M和组装对象O的组 装结束后的状态的操作对象坐标系Σ_πι中的组装对象O的位置ρ_〇 Λ m(-)以及姿势〇_ ο Λ m(-)、和在步骤S120中检测到的拍摄部坐标系2_c中的组装对象 O的位置ρ_〇 Λc (―)以及姿势〇_〇 Λ c (―)，并根据以下所示的公式（7)，来计算操作对象M和组装对象 O的组装结束后的状态的操作对象M的目标位置和姿势，即拍摄部坐标系2_c中的操作对 象M的目标位置p_m " c (d)(-)和姿势o_m " c (d)(-)(步骤S130)。
[0104]
[0105] 这里，拍摄部坐标系2_c中的操作对象M的目标位置p_m Λ c(d)(―)以及姿势〇_m ' c(d)( -)的"（d)"是为了与在步骤S140中由旋转中心位置计算部41检测到的拍 摄部坐标系2_c中的操作对象M的位置p_m Λ c(-)以及姿势〇_m Λ c(-)区别而附 注的标号。
[0106] 步骤S120到步骤S130的处理是用于控制部36基于拍摄部10与组装对象O的相 对位置以及姿势、和操作对象M与组装对象O的组装结束后的状态的操作对象M与组装对 象O的相对位置关系（位置以及姿势），间接地计算出操作对象M和组装对象O的组装结束 后的状态的操作对象M与拍摄部10的相对位置以及姿势的处理。
[0107] 接下来，旋转中心位置计算部41根据取得到的拍摄图像，来检测拍摄部坐标系 2_c中的操作对象M的位置p_m " c (-)和姿势o_m " c (-)(步骤S140)。
[0108] 接下来，旋转中心位置计算部41根据取得到的拍摄图像，来检测工具坐标系Σ_? 中的拍摄部10的位置P_C A t (-)和姿势o_c Λ t (-)(步骤S150)。
[0109] 接下来，旋转中心位置计算部41基于在步骤S140中计算出的拍摄部坐标系2_c中的操作对象M的位置p_m " c(-)以及姿势o_m " c(-)、和在步骤S150中计算出的 工具坐标系Σ_?中的拍摄部10的位置p_c ' t(-)以及姿势〇_(： ' t(-)，并根据以 下所示的公式（8)，来计算工具坐标系Σ_?中的旋转中心的位置p_e ' t(-)和姿势o_eΛ t(-)(步骤 S160)。
[0110]
[0111] 这里，步骤S160的处理是检测力传感器22与上述的旋转中心位置以及旋转中心 姿势的相对位置关系的变化的处理。在步骤S160中计算出的工具坐标系Σ_?中的旋转中 心的位置口_0 ' t(-)和姿势o_e ' t(-)与在之前的程序中计算出的值不同的情况表 示力传感器22与旋转中心位置以及旋转中心姿势的相对位置关系因外力而变化。通过控 制部36检测该变化，即使相对于力传感器22的旋转中心位置以及旋转中心姿势因外力而 变化，也能够基于相对于变化后的力传感器22的旋转中心位置以及旋转中心姿势，控制成 机械手20总是以旋转中心位置为中心，并以旋转中心姿势为基准使操作对象M进行旋转。
[0112] 接下来，旋转中心位置计算部41基于正向运动学，来计算作业坐标系Σ_?中的力 传感器22的位置p_t " w (-)和姿势o_t " w (-)(步骤S170)。
[0113] 接下来，旋转中心位置计算部41基于在步骤S160中计算出的工具坐标系Σ_?中 的旋转中心位置口_6 " t(-)和旋转中心姿#o_e " t(-)、以及在步骤S170中计算出 的作业坐标系Σ_?中的力传感器22的位置p_t Λ w(-)及姿势o_t Λ w(-)，并根据以 下所示的公式（9)，来计算外力坐标系Σ_θ中的机械手20的支承台的位置p_w Λ e( - ) 和姿势〇_w " e (-)(步骤S180)。
[0114]
[0115] 这里，控制部36通过步骤S180的处理，来计算外力坐标系Σ_θ中的机械手20的 支承台的位置P_w " e(-)和姿势o_w " e(-)，由此能够通过下一步骤S190的处理基 于作用于力传感器22的力以及力矩来计算作用于旋转中心位置的力以及力矩。
[0116] 接下来，外力计算部43基于由力传感器22检测出的力和力矩，即工具坐标系Σ_ t中的力f Λ t(-)和力矩m Λ t(-)，并根据以下所示的牛顿?欧拉方程式（10)，来计 算外力坐标系Σ_θ中的力（g卩，作用于旋转中心位置的力）f a e( - )和力矩（g卩，在旋 转中心位置产生的力矩）m Λ e(-)(步骤S190)。
[0117]
[0118] 这里，上述的公式（10)中的上段公式表示了作用于操作对象M的旋转中心位置的 外力的分量f Λ e( - )由从力传感器22所检测出的力的分量f Λ t( - )减去了因重力 引起的分量mE( Λ )g( -)和因机械手20的臂部ARM的惯性运动引起的分量mE( Λ )p_cΛ w( - ) ( · ·)而得到的分量来表示。其中，附注了 "（ · ·）"的最近前的文字表示对于 时间进行了二次微分后的变量。另外，矩阵Ε( Λ )是单位矩阵，向量g( - )是表示重力加 速度的向量，标量m表示操作对象M的质量。
[0119] 与上述的上段公式同样，下段公式表示了通过作用于操作对象M的外力而在旋转 中心产生的力矩m " e由以下的分量表不：从将扭转力矩的分量I ( " )o_c " w( - ) ( ··)、 由科里奥利力引起的力矩的分量〇_c Λ w( - ) ( · ) X I ( Λ )o_c Λ w( - ) ( ·)、由力传感 器22检测出的力矩m Λ t( - )、因由力传感器22检测出的力的分量f Λ t( - )引起的 力矩的分量P_e ' t( -)Xf ' t(-)相加的合计值减去了因重力引起的力矩的分量p_ g Λ t( - ) XmR_w Λ t( Λ )g(-)而得到的分量。
[0120] 接下来，负荷缓和动作量计算部45基于在步骤S190中计算出的外力坐标系Σ_ e中的力f Λ e(-)以及力矩m Λ e(-)，并根据以下所示的公式（11)，来计算外力坐标 系Σ_θ中的操作对象M的缓和动作量的微小缓和移动量Λρ Λ e( - )和微小缓和旋转量 Δ 〇 Λe (-)(步骤 S200)。
[0121]
[0122] 这里，步骤S200中使用的公式（11)的ΔΡ Λe(-)以及ΛΟ Λe(-)是分别对 Δρ Λ e( - )以及Λ〇 a e( - )进行了拉普拉斯变换后的量。另外，公式（11)根据在设 定于操作对象M的旋转中心位置承受外力时，决定应该向使该外力缓和的方向移动的动作 量（微小移动量以及微小旋转量）的运动模型而不同。在本实施方式中，采用了如上述的 公式（11)所示，由与微小移动量相关的惯性质量矩阵Μ_ρ( Λ )、阻尼系数矩阵D_p( Λ )、 弹簧乘数矩阵Κ_ρ( Λ )、以及与微小旋转量相关的惯性质量矩阵Μ_ο( Λ )、阻尼系数矩阵 D_o( Λ )、弹簧乘数矩阵Κ_ο( Λ )表示的运动模型。根据这样的运动模型进行的控制被称 为顺应运动控制中的阻抗控制。其中，标量s是拉普拉斯变换所使用的变量。作为顺应运 动控制，并不局限于阻抗控制，例如也可以应用刚度控制或阻尼控制。
[0123] 接下来，负荷缓和动作量计算部45基于在步骤S200中计算出的外力坐标系Σ_θ中的操作对象M的缓和动作量，并根据以下所示的公式（12)，来计算微小缓和移动量Ap_t ' w(i)(-)和微小缓和旋转量A〇_t ' w(i)(-)作为作业坐标系Σ_?中的力传感器 22的缓和动作量（步骤S210)。
[0124]
[0125] 这里，作为缓和动作量的微小缓和移动量Ap_t ' w (i)(-)和微小缓和旋转量 △ o_t ' w(i)( -)中的"（i)"是用于区别缓和动作量和目标动作量的标号。控制部36的 机械手控制部49能够基于通过步骤S200到步骤S210的处理由负荷缓和动作量计算部45 计算出的作业坐标系Σ_?中的缓和动作量控制机械手20,以使力传感器22的位置以及姿 势移动到作用于旋转中心位置的力以及力矩被缓和的位置。
[0126] 接下来，移动动作量计算部46基于在步骤S130中计算出的操作对象M和组装对 象〇的组装结束后的状态的拍摄部坐标系2_c中的操作对象M的目标位置p_m Λ c(d) (―)以及姿势〇_m ' c(d)(―)、和在步骤S140中检测出的拍摄部坐标系2_c中的操作对 象M的位置p_m ' c(-)与姿势〇_m ' c(-)，并根据以下所示的公式（13)，来计算用于 使操作对象M向目标位置以及姿势移动的目标动作量、即微小目标移动量Δ p_m Λ c (-) 和微小目标旋转量△ 〇_m Λ c (-)作为拍摄部坐标系Σ _c中的目标动作量（步骤S220)。
[0127]
[0128] 接下来，移动动作量计算部46基于在步骤S220中计算出的拍摄部坐标系2_c中 的操作对象M的目标动作量，并根据以下所示的公式（14)，来计算微小目标移动量Λ p_t ' w(v)(-)和微小目标旋转量Δ 〇_t " w(v)(-)作为作业坐标系2_w中的力传感器22 的目标动作量（步骤S230)。
[0129]
[0130] 这里，作为目标动作量的微小目标移动量Δρ_? ' w(v)(―)和微小目标旋转量 A〇_t ' w(v)( -)中的"（V)"是用于区别目标动作量和缓和动作量的标号。
[0131] 接下来，动作结束判定部47计算如以下所示的公式（15)那样加上了在步骤S210 中计算出的缓和动作量和在步骤S230中计算出的目标动作量后的合计微小移动量Δρ_? "w (-)以及合计微小旋转量Δ 〇_t " w (-)(步骤S240)。
[0132]
[0133] 接下来，动作结束判定部47判定在步骤S240中计算出的合计微小移动量Δρ_?Λ w(-)以及合计微小旋转量Δ〇_? Λ w(-)双方是否小于针对各自设定的规定阈值 (步骤S250)。其中，上述的针对各自设定的规定阈值被分别独立设定。动作结束判定部47 在判定为合计微小移动量Ap_t ' w(-)以及合计微小旋转量A〇_t ' w(-)双方小于 针对各自设定的规定阈值的情况（步骤S250 -是）下，判断为无需再移动操作对象M而结 束处理。
[0134] 另一方面，在动作结束判定部47判定为合计微小移动量Ap_t ' w(―)以及合 计微小旋转量△〇_〖Λ w( - )中的任意一方或者双方不小于针对各自设定的规定阈值的 情况（步骤S250 -否）下，机械手控制部49基于在步骤S210中计算出的缓和动作量和在 步骤S230中计算出的目标动作 量，根据以下所示的公式（16)，来计算作业坐标系Σ _w中的 力传感器22的目标位置p_t Λ w(d)(-)以及姿势o_t Λ w(d)(-)(步骤S260)。
[0135]
[0136] 此外，动作结束判定部47也可以取代对在步骤S240中计算出的合计微小移动量 Δρ_? Λ w(-)以及合计微小旋转量Δ〇_? Λ w(-)双方是否小于针对各自设定的规定 阈值进行判定的构成，而构成为判定在步骤S230中计算出的微小目标移动量Ap_t ' w(v) (―)和微小目标旋转量Aoj Λ w(v)(―)双方是否小于针对各自设定的规定阈值。另 外，动作结束判定部47也可以构成为根据使机械手20进行的规定的作业的性质，并使用由 Ap_t " w( - ) (i)、A〇_t " w(i)、Ap_t " w( - ) (V)以及 A〇_t " w(v)构成的任意的 函数，来判定从上述函数得到的值是否小于规定阈值（是否需要进一步移动操作对象Μ)。
[0137] 接下来，机械手控制部49控制机械手20来使力传感器22移动，以便力传感器22 的位置以及姿势与在步骤S260中计算出的作业坐标系Σ_?中的力传感器22的目标位置 p_t " w(d)(-)以及姿势o_t " w(d)(-) -致（步骤S270)。控制部36进行控制，以 便通过将步骤S120~步骤S270的处理反复进行到根据步骤S250的判定而判断为无需进 一步移动操作对象M为止，使得机械手20进行规定的作业。
[0138] 此外，旋转中心位置计算部41也可以构成为在步骤S150到步骤S180的处理中， 例如在力传感器22被设置于臂部ARM的内部而从外部看不到，无法通过拍摄部10拍摄力 传感器22的情况下，具备表示上述的力传感器22的位置的标记，还可以构成为基于由用户 设定的力传感器22与旋转中心位置以及旋转中心姿势的初始状态下的相对位置关系，根 据以下所示的公式（17)~公式（19)，逐次计算外力坐标系Σ_θ中的力传感器22的位置 p_t " e (-)和姿势 o_t " e (-)。
[0139]
[0142] 上述的公式（17)~公式（19)是通过从根据拍摄图像检测出的操作对象M的移动 量减去机械手20自身移动的量，来计算力传感器22与操作对象M的相对位置关系偏移的 量的公式。其中，由控制部36基于机械手20的初始状态来计算机械手20自身移动的量。 对使用由用户设定的力传感器22与旋转中心位置及旋转中心姿势的初始状态下的相对位 置关系以及上述的公式（17)~（19)的构成而言，由于即使在操作对象M和力传感器22未 收容在拍摄部10的拍摄范围的情况下、即即便使用表示力传感器22的位置的标记也无法 检测力传感器22的位置的情况下，能够追踪操作对象M的位置以及姿势和力传感器22的 位置以及姿势，所以是有用的。
[0143] 旋转中心位置计算部41通过进行使用了上述的公式（17)~公式（19)的逐次计 算，即使在无法通过拍摄部10拍摄力传感器22的情况下，也能够与可通过拍摄部10拍摄 传感器22的情况同样地进行步骤S150到步骤S180的处理。结果，控制部36能够基于力 传感器22与设定于操作对象M的规定位置的相对位置关系，来控制机械手20以使机械手 20进行规定的作业。其中，无法通过拍摄部10拍摄力传感器22的情况例如是力传感器22 被臂部ARM的部件覆盖的情况、包括力传感器22的臂部ARM从拍摄部10的视角偏离这样 的情况等。
[0144] 如以上说明那样，第1实施方式所涉及的机械手系统1的机械手20基于包括把持 部HND和操作对象M的拍摄图像，通过把持部HND使操作对象M以操作对象M的旋转中心 位置为中心进行旋转，来使操作对象M相对于组装对象O相对移动。因此，机械手能够进行 良好的组装作业。
[0145] 另外，机械手20将进行旋转的情况下的旋转中心作为与操作对象M -起移动的坐 标原点，通过旋转和平移使操作对象M相对于组装对象O相对移动。因此，机械手能够进行 良好的组装作业。
[0146] 另外，由于机械手20能够使操作对象M相对于组装对象O逐次相对移动，所以结 果能够进行高精度的良好的组装作业。
[0147] 另外，机械手20按照规定位置以及在各轴向设定的运动特性来进行顺应运动控 制。因此，机械手20能够不破坏组装对象O地对于组装对象O组装操作对象M。
[0148] 另外，机械手20基于拍摄图像，导出在把持部HND设定的位置与在操作对象M设 定的位置的相对位置关系，基于导出的位置关系来更新旋转中心位置。因此，即使把持部 HND与旋转中心的位置关系因外力而偏移，机械手20也能以偏移后的旋转中心为中心使操 作对象M相对于组装对象O相对移动，结果，能够进行良好的组装作业。
[0149] 另外，机械手20导出在把持部HND设定的位置与在操作对象M设定的位置的相对 位置关系，并基于所导出的位置关系、和在操作对象M设定的位置与旋转中心位置的相对 位置关系来更新旋转中心位置。因此，即使把持部HND与旋转中心位置的位置关系因外力 而偏移，机械手20也能够经由在操作对象M设定的位置，间接地根据在把持部HND设定的 位置与旋转中心位置的相对位置关系，来识别偏移后的旋转中心位置，结果，能够以偏移后 的旋转中心位置为中心使操作对象M相对于组装对象O相对移动。
[0150] 另外，机械手20基于从拍摄图像检测出的表示力传感器22的位置的标记的位置， 来导出在把持部HND设定的位置与旋转中心位置的相对位置关系，基于所导出的在把持部 HND设定的位置与旋转中心位置的相对位置关系，来更新旋转中心位置。因此，即使在力传 感器22被机械手20的臂部ARM的部件覆盖的情况下，机械手20也能够将表示力传感器22 的标记的位置作为标识，来识别操作对象M的位置，结果，能够进行良好的组装作业。
[0151] 另外，机械手20基于力传感器22的初始状态下的位置以及姿势，来导出在把持部 HND设定的位置与旋转中心位置的相对位置关系，并基于导出的在把持部HND设定的位置 与旋转中心位置的相对位置关系，更新旋转中心位置。因此，即使在包括力传感器22的机 械手20的臂部ARM从拍摄部10的视角偏移的情况下，机械手20也能够识别出操作对象M 的位置，结果，能够进行良好的组装作业。
[0152] <第2实施方式>
[0153] 以下，参照附图对本发明的第2实施方式进行说明。第2实施方式涉及的机械手 系统2不是具备单臂机械手作为机械手20的构成，而是具备双臂机械手作为机械手25的 构成。其中，在第2实施方式中，对与第1实施方式相同的构成部件标注相同的符号。
[0154] 图6是表示第2实施方式所涉及的机械手系统2的一个例子的构成图。机械手系 统2具备拍摄部10、机械手25、以及控制装置30。
[0155] 在第2实施方式中，组装对象O通过夹具等被设置于工作台等台上，利用作为双臂 机械手的机械手25的任意一个臂，通过在第1实施方式中说明的规定的作业组装操作对象 M。此外，组装对象O也可以被机械手25的把持部HND2把持，通过把持部HNDl进行第1实 施方式中说明的规定的作业。另外，该情况下，把持部HNDl和把持部HND2的作用也可以相 反。
[0156] 如图6所示，机械手25例如是在各个臂具备把持部HND1、把持部HND2、力传感器 22、臂部ARM1、臂部ARM2、未图示的多个致动器的双臂机械手。
[0157] 机械手25的各臂为6轴垂直多关节型，一个臂能够通过支承台、臂部ARM1、以及把 持部HNDl基于致动器实现的联合的动作来进行6轴自由度的动作，另一个臂能够通过支承 台、臂部ARM2、以及把持部HND2基于致动器实现的联合的动作来进行6轴自由度的动作。 此外，机械手20的各臂也可以是以5自由度（5轴）以下来进行动作的部件，还可以是以7 自由度（7轴）以上来进行动作的部件。
[0158] 机械手25通过具备把持部HNDl以及臂部ARMl的臂进行在第1实施方式中说明 的由控制装置30控制的动作，但也可以通过具备把持部HND2以及臂部ARM2的臂来进行相 同的动作。其中，把持部HND1、把持部HND2分别是手部的一个例子。机械手25例如通过 线缆与控制装置30连接成能够进行通信。经由线缆的有线通信例如根据以太网（注册商 标）、USB等标准来进行。此外，机械手25和控制装置30也可以通过利用Wi - Fi (注册商 标）等通信标准进行的无线通信来连接。
[0159] 另外，机械手25构成为如图6所示那样机械手25被搭载于机械手25的内部的控 制装置30控制，但也可以取代该构成，而是控制装置30设置于机械手25的外部的构成。
[0160] 如以上说明那样，第2实施方式涉及的机械手系统2的机械手25是双臂机械手， 由于通过双臂机械手的2个臂中的任意一方或者双方，进行在第1实施方式中说明的规定 的作业，所以能够得到与第1实施方式相同的效果。
[0161] <第3实施方式>
[0162] 以下，参照附图对本发明的第3实施方式进行说明。其中，在第3实施方式中，对 与第1实施方式相同的构成部标注相同的符号。作为规定的作业，第3实施方式涉及的机 械手系统1例如将把持部HND所把持的扳手（操作对象M的一个例子）与螺栓（组装对象 O的一个例子）组装，然后通过所把持的扳手来拧紧螺栓。
[0163] 这里，参照图7对第3实施方式涉及的机械手系统1所进行的规定的作业进行说 明。图7是示意性地表示通过第3实施方式所涉及的机械手系统1进行的规定的作业的一 个例子的图。图7(A)中表示机械手20所把持的扳手Ml被组装于螺栓Ol之前的规定的初 始位置的状态。机械手系统1使扳手Ml移动到图7(A)中的由单点划线表示的扳手VMl的 位置（螺栓01的正前面的位置）。这里，在机械手系统1中预先设定有表示扳手VMl的状 态的图像，机械手系统1通过在第1实施方式中参照图5说明的处理来移动把持部HND，以 实现该状态。图7 (B)中表示通过机械手20将扳手Ml组装到螺栓01后的状态。机械手系 统1通过上述的参照图5而说明的处理，将把持部HND从图7(A)所示的扳手VMl的状态移 动到图7 (B)所示的扳手Ml与螺栓01被组装了的状态。这里，在机械手系统1中预先设定 有表示图7 (B)所示的状态的扳手Ml和螺栓01的图像，机械手系统1通过在第1实施方式 中参照图5而说明的处理来移 动把持部HND，以实现该状态。
[0164] 图7 (C)中表示通过机械手20所把持的扳手Ml使螺栓01旋转60°的情况。在 机械手系统1中预先设定有表示旋转后的状态（例如，在图7(C)中由单点划线所示的扳手 VM2和螺栓VOl的状态）的图像，机械手系统1基于上述的参照图5而说明的处理来移动把 持部HND，以实现该状态。其中，在图7(B)中，由于螺栓01和螺栓VOl是正六边形，所以被 重合表示。
[0165] 图7 (D)中表示通过机械手20所把持的扳手Ml使螺栓01旋转后的状态。在成为 图7(D)所示的通过扳手Ml使螺栓Ol旋转了的状态时，机械手系统1将扳手Ml撤离到距 离螺栓01规定距离的位置。这里，在机械手系统1中预先设定有表示扳手Ml移动到距离 螺栓01规定距离的位置的状态的图像，机械手系统1通过在第1实施方式中参照图5而说 明的处理来移动把持部HND，以实现该状态。然后，机械手系统1将把持部HND移动到成为 扳手Ml从距离螺栓01规定距离的位置移动到初始位置的状态。机械手系统1通过反复执 行进行图7(A)~图7(D)所示的动作的处理，来利用扳手Ml拧紧螺栓01。
[0166] 以下，通过参照图8,来对控制装置30的控制部36用于使机械手20动作以便利用 扳手Ml拧紧螺栓01的处理进行说明。图8是表示控制装置30的控制部36用于使机械手 20动作以便利用扳手Ml拧紧螺栓01的处理的流程的一个例子的流程图。
[0167] 以下，设机械手系统1已经进行了图5所示的步骤SlOO到步骤SllO的处理来进 行说明。首先，控制部36通过初始配置处理，将机械手20的把持部HND移动至把持部HND 所把持的扳手Ml被配置于上述的规定的初始位置为止（步骤S300)。这里，初始配置处理 是指图5所示的步骤S120到步骤S270的处理。
[0168] 接下来，控制部36通过组装处理来组装扳手Ml和螺栓01 (步骤S310)。这里，组 装处理是指通过图5所示的步骤S120到步骤S270的处理，将把持部HND移动至扳手Ml和 螺栓01成为图7 (B)所示的状态来组装扳手Ml和螺栓01的处理。
[0169] 接下来，控制部36通过螺栓紧固准备处理，进行将把持扳手Ml的把持部HND移动 到扳手Ml和螺栓01成为图7 (D)所示的状态的准备（步骤S320)。这里，螺栓紧固准备处 理是指计算用于通过图5所示的步骤S120到步骤S240的处理移动把持部HND来利用扳手 Ml使螺栓01旋转的合计微小移动量和合计微小旋转量的处理。
[0170] 接下来，控制部36通过判定在步骤S320中根据上述的公式（10)计算出的力矩 (相当于紧固扭矩）是否是规定值以上，来判定螺栓01的紧固是否结束（步骤S330)。在 判定为计算出的力矩是规定值以上的情况（步骤S330 -是）下，控制部36判定为螺栓01 的紧固结束，结束处理。另一方面，在判定为计算出的力矩小于规定值的情况（步骤S330 - 否）下，控制部36判定在步骤S320中根据上述的公式（15)计算出的合计微小移动量以及 合计微小旋转量双方是否分别小于针对各自设定的规定阈值（步骤S340)。
[0171] 在判定为合计微小移动量以及合计微小旋转量双方为针对各自设定的规定阈值 以上的情况（步骤S340 -否）下，控制部36判定为扳手Ml和螺栓01未达到图7(D)所示 的状态，基于在步骤S320中计算出的缓和动作量以及目标动作量，计算作业坐标系2_w中 的力传感器22的目标位置以及姿势（步骤S360)。接下来，为了使力传感器22的位置以及 姿势与在步骤S360中计算出的作业坐标系Σ_?中的力传感器22的目标位置以及姿势一 致，控制部36控制机械手20以使力传感器22移动，由此利用扳手Ml使螺栓01进一步旋 转（步骤S370)。其中，由于步骤S360是与步骤S260相同的处理，步骤S370是与步骤S270 相同的处理，所以省略这些步骤的详细说明。另一方面，在判定为合计微小移动量以及合计 微小旋转量双方小于针对各自设定的规定阈值的情况（步骤S340 -是）下，控制部36判 定为扳手Ml和螺栓01达到了图7 (D)所示的状态，使扳手Ml离开螺栓01 (步骤S350)，然 后，进行步骤S300的处理。
[0172] 如以上说明那样，第3实施方式涉及的机械手系统1能够基于在第1实施方式中 由图5说明的处理、以及与相当于紧固扭矩的力矩对应的步骤S330的处理，来组合基于视 觉伺服的控制、和基于力传感器的顺应运动控制，利用把持部HND所把持的扳手Ml可靠地 拧紧螺栓01。
[0173] 此外，也可以将用于实现以上说明的装置（例如，机械手系统1、2)中的任意的构 成部的功能的程序记录到计算机可读取的记录介质，使计算机系统读取该程序来执行。此 外，这里所说的"计算机系统"是指包括OS (Operating System :操作系统）、外围设备等硬 件的装置。另外，"计算机可读取的记录介质"是指软盘、光磁盘、R〇M(Read Only Memory: 只读存储器）、CD(Compact Disk) - ROM等便携式介质、内置于计算机系统的硬盘等存储装 置。并且，"计算机可读取的记录介质"还包括如经由因特网等网络、电话线路等通信线路 发送程序的情况下的成为服务器、客户端的计算机系统内部的易失性存储器（RAM :Random Access Memory:随机存取存储）那样将程序保持一定时间的介质。
[0174] 另外，上述的程序也可以从将该程序储存到存储装置等的计算机系统，经由传输 介质、或者通过传输介质中的传输波传输到其他的计算机系统。这里，传输程序的"传输介 质"是指具有如因特网等网络（通信网）、电话线路等通信线路（通信线）那样传输信息的 功能的介质。
[0175] 另外，上述的程序也可以是用于实现上述的功能的一部分的程序。并且，上述的程 序还可以是能够以与已经记录于计算机系统的程序的组合来实现上述功能的程序、所谓的 差分文件（差分程序）。
[0176] 符号说明
[0177] 1、2...机械手系统；10...拍摄部；20、25...机械手；22...力传感器；30...控 制装置；31. . . CPU ;32...存储部；33...输入受理部；34...通信部；35...图像取得部； 36...控制部；39...目标导出部；41...旋转中心位置计算部；43...外力计算部；45...负 荷缓和动作导出部；46...移动动作量计算部；47...动作结束判定部；49...机械手控制 部。
【主权项】
1. 一种机械手，其特征在于， 包括手部、和使所述手部动作的控制部， 所述控制部基于包括所述手部和第1物体的拍摄图像，通过所述手部使所述第1物体 以所述第1物体的规定位置为中心旋转，来使所述第1物体相对于第2物体相对移动。2. 根据权利要求1所述的机械手，其特征在于， 所述规定位置是与所述第1物体一起移动的坐标原点， 所述控制部除了使所述第1物体旋转以外，还使所述第1物体平移。3. 根据权利要求1或者2所述的机械手，其特征在于， 所述控制部基于所述拍摄图像来进行视觉伺服控制。4. 根据权利要求1~3中任意一项所述的机械手，其特征在于， 所述控制部按照所述规定位置以及在各轴向设定的运动特性来进行顺应运动控制。5. 根据权利要求1~4中任意一项所述的机械手，其特征在于， 所述控制部基于所述拍摄图像，导出在所述手部设定的位置与在所述第1物体设定的 位置的相对位置关系，并基于所述导出的位置关系来更新所述规定位置。6. 根据权利要求5所述的机械手，其特征在于， 所述控制部基于所述导出的位置关系、和在所述第1物体设定的位置与所述规定位置 的相对位置关系来更新所述规定位置。7. 根据权利要求1~6中任意一项所述的机械手，其特征在于， 所述机械手具备表示在所述手部设定的位置的标记， 所述拍摄图像还包括所述标记， 所述控制部基于从所述拍摄图像检测出的所述标记的位置，导出在所述手部设定的位 置与所述规定位置的相对位置关系，并基于所述导出的在所述手部设定的位置与所述规定 位置的相对位置关系来更新所述规定位置。8. 根据权利要求7所述的机械手，其特征在于， 所述控制部在检测所述标记以及所述第1物体的位置及姿势时，基于拍摄到所述标记 的第1拍摄图像、拍摄到所述第1物体的第2拍摄图像、以及拍摄了所述第1拍摄图像的第 1照相机与拍摄了所述第2拍摄图像的第2照相机之间的相对位置关系，来更新所述规定位 置。9. 根据权利要求1~6中任意一项所述的机械手，其特征在于， 所述控制部基于在所述手部设定的初始状态下的位置，导出在所述手部设定的位置与 所述规定位置的相对位置关系，并基于所述导出的在所述手部设定的位置与所述规定位置 的相对位置关系来更新所述规定位置。10. -种机械手系统，其特征在于，包括： 机械手，其具备手部；以及 拍摄部，其拍摄所述手部和第1物体， 所述机械手基于由所述拍摄部拍摄到的包括所述手部和所述第1物体的拍摄图像，使 所述第1物体以所述第1物体的规定位置为中心旋转，来使所述第1物体相对于第2物体 相对移动。11. 一种控制装置，使具备手部的机械手动作，其特征在于， 基于包括所述手部和第1物体的拍摄图像，通过所述机械手使所述第1物体以所述第 1物体的规定位置为中心旋转，来使所述第1物体相对于第2物体相对移动。12. -种控制方法，使具备手部的机械手动作，其特征在于，包括： 取得包括所述手部和第1物体的拍摄图像的步骤；以及 基于所述拍摄图像使所述第1物体以所述第1物体的规定位置为中心旋转，来使所述 第1物体相对于第2物体相对移动的步骤。
【专利摘要】本发明涉及机械手、机械手系统、控制装置、以及控制方法。机械手包括手部、以及使手部动作的控制部。控制部基于包括手部和第1物体的拍摄图像，通过手部使第1物体以第1物体的规定位置为中心旋转，来使第1物体相对于第2物体相对移动。
【IPC分类】B25J9/16, B25J13/08, B25J9/00
【公开号】CN104889973
【申请号】CN201510093422
【发明人】南本高志, 小菅一弘, 桥本浩一
【申请人】精工爱普生株式会社, 国立大学法人东北大学
【公开日】2015年9月9日
【申请日】2015年3月2日
【公告号】EP2915635A2, EP2915635A3, US20150251314