远程示教方法、装置、系统、设备及介质与流程

本发明涉及远程协作领域，具体涉及一种远程示教方法、装置、系统、设备及介质。

背景技术：

1、传统的装备产品装配工人只能根据固定的装配工艺说明书进行装配操作，而遇到工艺说明书上不存在的突发问题时，往往需要技术专家或有经验的老师傅进行相关的技术支持，如果是现场交流则会产生很多的差旅等费用；而通过电话或者微信视频的方式往往会出现说不清楚的情况，难以将现场的情况准确的传达给技术专家，技术专家也很难将自己的想法传递给现场操作工人。主要原因是由于已有的沟通交流方式不适用于工业场景的信息传输，或传输效率低下。

技术实现思路

1、本发明要解决的技术问题是为了克服现有技术中无法有效远程示教的缺陷，提供一种远程示教方法、装置、系统、设备及介质。

2、本发明是通过下述技术方案来解决上述技术问题：

3、本发明提供一种远程示教方法，包括以下步骤：

4、获取基于用户的当前操作信息的远程示教指令；

5、根据所述远程示教指令生成目标操作信息，所述目标操作信息用于指示所述用户进行目标操作；

6、向所述用户展示所述目标操作信息。

7、较佳地，所述用户的当前操作信息包括：所述用户通过远程示教设备采集的操作现场的当前操作视频，所述当前操作视频包括多帧当前操作图像；

8、和，所述当前操作图像对应的所述远程示教设备的三维坐标信息。

9、较佳地，所述远程示教方法还包括：

10、构建所述远程示教设备所处空间的三维坐标系；

11、根据空间映射算法生成所述远程示教设备所处空间中三维物体的spatialmapping边界；

12、将所述当前操作图像划分为若干区域；

13、计算每一所述区域的中心点对应的目标操作对象的spatial mapping边界到所述三维坐标系原点的距离矩阵。

14、较佳地，所述远程示教指令为基于所述当前操作图像生成的二维操作信息；

15、所述根据所述远程示教指令生成目标操作信息包括：

16、将所述二维操作信息转换为与所述当前操作图像对应的三维操作信息。

17、较佳地，所述二维操作信息包括所述目标操作对象对应的二维示教对象和所述二维示教对象对应的二维中转信息；

18、其中，所述二维中转信息包括：用于屏幕显示的所述二维示教对象的模型标识msn、屏幕像素坐标位置pscreen、模型姿态rscreen、水平方向上的总像素wpixel和竖直方向上的总像素hpixel；

19、所述目标操作对象根据所述距离矩阵进行缩放得到所述二维示教对象的屏幕像素坐标水平方向上的总像素wpixel和竖直方向上的总像素hpixel。

20、较佳地，所述将所述二维操作信息转换为与所述当前操作图像对应的三维操作信息包括：

21、根据所述二维坐标信息确定所述二维操作对象对应的所述目标操作对象在三维坐标系中的对应位置和姿态；

22、根据所述对应位置和姿态生成所述三维操作信息。

23、较佳地，所述三维操作信息包括所述目标操作对象和所述目标操作对象的三维坐标信息。

24、本发明另一方面提供一种远程示教装置，包括：

25、远程指令模块，用于获取基于用户的当前操作信息的远程示教指令；

26、目标操作模块，用于根据所述远程示教指令生成目标操作信息，所述目标操作信息用于指示所述用户进行目标操作；

27、展示模块，用于向所述用户展示所述目标操作信息。

28、本发明另一方面提供一种远程示教系统，所述远程示教系统包括远程示教专家端和远程示教操作端；

29、所述远程示教专家端用于接收所述远程示教操作端发送的当前操作视频，并将基于所述当前操作视频的远程示教指令发送至所述远程示教操作端；

30、所述远程示教操作端用于接收所述远程示教指令，并将所述远程示教指令向用户展示。

31、本发明另一方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的远程示教方法。

32、本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的远程示教方法的步骤。

33、本发明的积极进步效果在于：本发明通过实时采集用户的操作状态和环境信息，动态生成具体的操作指南或指令，这种方法提高了示教的针对性和实时性。进一步地，分析用户的操作信息，并据此生成具体的、针对性的操作指南或指令，这种个性化的操作指导可以提高操作的成功率，减少错误。将生成的目标操作信息展示给用户，直观地呈现操作信息有助于用户快速理解和执行所需的动作，提高效率。

技术特征：

1.一种远程示教方法，其特征在于，包括以下步骤：

2.如权利要求1所述的远程示教方法，其特征在于，

3.如权利要求2所述的远程示教方法，其特征在于，所述远程示教方法还包括：

4.如权利要求3所述的远程示教方法，其特征在于，所述远程示教指令为基于所述当前操作图像生成的二维操作信息；

5.如权利要求4所述的远程示教方法，其特征在于，所述二维操作信息包括所述目标操作对象对应的二维示教对象和所述二维示教对象对应的二维中转信息；

6.如权利要求5所述的远程示教方法，其特征在于，所述将所述二维操作信息转换为与所述当前操作图像对应的三维操作信息包括：

7.一种远程示教装置，其特征在于，包括：

8.一种远程示教系统，其特征在于，所述远程示教系统包括远程示教专家端和远程示教操作端；

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的远程示教方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的远程示教方法的步骤。

技术总结
本发明公开了一种远程示教方法、装置、系统、设备及介质，所述方法包括以下步骤：获取基于用户的当前操作信息的远程示教指令；根据所述远程示教指令生成目标操作信息，所述目标操作信息用于指示所述用户进行目标操作；向所述用户展示所述目标操作信息。本发明通过实时采集用户的操作状态和环境信息，动态生成具体的操作指南或指令，这种方法提高了示教的针对性和实时性。进一步地，分析用户的操作信息，并据此生成具体的、针对性的操作指南或指令，这种个性化的操作指导可以提高操作的成功率，减少错误。将生成的目标操作信息展示给用户，直观地呈现操作信息有助于用户快速理解和执行所需的动作，提高效率。

技术研发人员：钱广璞,徐欣,陈罡,毕航,张秉磊,杨顺超
受保护的技术使用者：上海电气集团股份有限公司
技术研发日：
技术公布日：2024/9/23