基于机器视觉的机械臂振动检测方法与流程

本发明属于机械臂振动故障检测领域，更具体地，涉及一种基于机器视觉的机械臂振动检测方法。

背景技术：

1、多轴机械臂在实际运行作业过程中，通常会发生振动从而造成安全隐患，机械臂本体发生振动源于机械臂本身机电一体系统的特性，机械臂会因关节电机驱动控制问题、运动控制系统不合理、部件老化松动、装配问题等引起机械臂本体发生振动，甚至共振。因此，在这种情况下，需要在机械臂振动发生时快速、及时地对振动故障原因进行检测，从而使控制系统立即采取相应的措施，提升系统运行的安全性。

2、现有技术中对振动的检测方式大多采用在机械臂上外加传感器检测其引发的振动，再通过人工或振动检测软件算法分析其引发的振动的原因。但是在通过外加传感器检测外力的情况下，现有的机械臂通常在机械臂上添加设置振动传感器（如加速度传感器）来进行检测振动，但由于额外设置在机械臂上的传感器改变了机械臂的本体结构同时增加了一定的负载，会对检查结果的精度造成一定的影响。且目前常用的机械臂振动故障检测智能算法在实际应用过程中还存在诸多问题，现有智能振动检测算法的准确性仍有待提高。

技术实现思路

1、本发明的目的是提出一种基于机器视觉的机械臂振动检测方法，实现提高故障预测模型对机械臂故障检测的准确性。

2、为实现上述目的，本发明提出了一种基于机器视觉的机械臂振动检测方法，包括：

3、利用视觉相机采集机械臂在零负载状态下不同故障类型对应的一维时序振动信号；

4、将不同故障类型对应的所述一维时序振动信号转换为二维时频图像；

5、对每个所述二维时频图像进行分块处理，获得图像块序列；

6、利用不同故障类型对应的所述图像块序列作为视觉变换器vit模型的输入，以对所述视觉变换器vit模型的故障分类进行训练；

7、利用完成训练的所述视觉变换器vit模型对待检测的机械臂进行故障检测。

8、可选地，所述利用视觉相机采集机械臂在零负载状态下不同故障类型对应的一维时序振动信号包括：

9、在实验室环境下，设计机械臂的多种不同故障类型，并在机械臂的特定位置设置标签作为振动检测点；

10、启动机械臂，在零负载的情况下使机械臂位于预设的位姿，通过视觉系相机采集所述机械壁在某个故障类型下所述振动检测点的振动图像；

11、根据同一故障状态下不同时间采集的振动图像，获得所述振动检测点在不同时间点的振动幅度，生成该故障类型下的一维时序振动信号；

12、调整所述机械臂的故障类型并重复上述步骤，获得所述机械臂在其他故障类型下所述振动检测点对应的一维时序振动信号。

13、可选地，所述将不同故障类型对应的所述一维时序振动信号转换为二维时频图像包括：

14、利用短时傅里叶变换将不同故障类型对应的所述一维时序振动信号分别转换为二维时频图像。

15、可选地，所述图像块序列中的图像块数量为49个。

16、可选地，所述视觉变换器vit模型包括：图像块嵌入模块、位置编码模块、分类标签添加模块、编码器模块、mlp分类头和输出模块；

17、所述图像块嵌入模块用于对图像块进行降维处理；

18、所述位置编码模块用于为不同的图像块添加位置信息；

19、所述分类标签添加模块用于添加整个图像的故障分类标签；

20、所述编码器用于获取图像块中的局部信息并对图像块中的特征进行学习；

21、所述mlp分类头用于提取所述分类标签并输出对应的故障分类结果。

22、可选地，所述图像块嵌入模块包括一个全连接层，所述图像块嵌入模块通过线性投影将图像块转换为低维的嵌入向量。

23、可选地，所述编码器模块由多个相同的编码器层堆叠而成，每个编码层包括一个归一化层、一个多头注意力机制和前馈神经网络，所述归一化层用于对输入序列进行归一化处理并通过残差连接减轻梯度消失或梯度爆炸，所述多头注意力机制用于捕捉输入序列中的关联信息，所述前馈神经网络用于对特征进行非线性变换，所述编码器能够捕捉图像块中的全局信息和局部信息，并对图像进行准确分类。

24、可选地，所述mlp分类头为一个全连接层，所述mlp分类头接受所述编码器的输出并提取故障分类信息。

25、可选地，输入所述编码器模块的图像块序列的嵌入向量通过以下公式表示：

26、，其中，，；

27、式中，z0表示输入图像块序列的嵌入向量，…分别为第1至n个图像块的嵌入向量，e是位置嵌入矩阵，用于将图像块的位置信息编码到嵌入向量中，epos是位置编码矩阵，用于将位置信息添加到输入数据中，xclass为分类向量，用于解决图像分类问题，将整个图像的类别信息引入编码器模块，n为嵌入向量的序列长度，p为图像块的大小，c为模型输入图像块的通道数量，d为模型的输出维度，r为矩阵。

28、可选地，所述利用完成训练的所述视觉变换器vit模型对待检测的机械臂进行故障检测，包括：

29、采集待检测的机械臂在零负载状态下的一维时序振动信号；

30、将所述一维时序振动信号转换为二维时频图像；

31、对每个所述二维时频图像进行分块处理，获得图像块序列；

32、将所述图像块序列输入完成训练的所述视觉变换器vit模型，通过所述视觉变换器vit模型输出对应的故障类型。

33、本发明的有益效果在于：

34、本发明方法通过视觉相机采集机械臂不同故障类型下的振动信号数据，避免了传统振动检测方法需要在机械臂上添加振动传感器对机械部原有结构和负载改变导致模型训练数据不准确的问题，通过视觉相机采集的振动数据更加准确，更贴近机械臂故障状态下的真实振动信号，利用该数据对故障检测模型进行训练可提高模型对机械臂故障状态下产生的振动信号的特征识别的准确性，同时，该方法利用目前更为先进的视觉变换器vit模型对机械臂振动故障进行检测，通过巧妙的将原始一维时序振动信号转换为二维时频图像并进行分块处理，实现将机械臂振动信号转换为可作为视觉变换器vit模型输入的图像块序列，从而实现视觉变换器vit模型对机械臂振动信号的学习和故障分类，进而实现利用视觉变换器vit模型对机械臂振动故障的检测，同时相较于现有的现有的卷积神经网络（cnn）等预测模型，实验证明本发明方法对机械臂故障分类的预测准确性大大提高（可达97.8%）。

35、本发明的系统具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。

技术特征：

1.一种基于机器视觉的机械臂振动检测方法，其特征在于，包括：

2.根据权利要求1所述的基于机器视觉的机械臂振动检测方法，其特征在于，所述利用视觉相采集机械臂在零负载状态下不同故障类型对应的一维时序振动信号包括：

3.根据权利要求1所述的基于机器视觉的机械臂振动检测方法，其特征在于，所述将不同故障类型对应的所述一维时序振动信号转换为二维时频图像包括：

4.根据权利要求1所述的基于机器视觉的机械臂振动检测方法，其特征在于，所述图像块序列中的图像块数量为49个。

5.根据权利要求4所述的基于机器视觉的机械臂振动检测方法，其特征在于，所述视觉变换器vit模型包括：图像块嵌入模块、位置编码模块、分类标签添加模块、编码器模块、mlp分类头和输出模块；

6.根据权利要求5所述的基于机器视觉的机械臂振动检测方法，其特征在于，所述图像块嵌入模块包括一个全连接层，所述图像块嵌入模块通过线性投影将图像块转换为低维的嵌入向量。

7.根据权利要求5所述的基于机器视觉的机械臂振动检测方法，其特征在于，所述编码器模块由多个相同的编码器层堆叠而成，每个编码层包括一个归一化层、一个多头注意力机制和前馈神经网络，所述归一化层用于对输入序列进行归一化处理并通过残差连接减轻梯度消失或梯度爆炸，所述多头注意力机制用于捕捉输入序列中的关联信息，所述前馈神经网络用于对特征进行非线性变换，所述编码器能够捕捉图像块中的全局信息和局部信息，并对图像进行准确分类。

8.根据权利要求5所述的基于机器视觉的机械臂振动检测方法，其特征在于，所述mlp分类头为一个全连接层，所述mlp分类头接受所述编码器的输出并提取故障分类信息。

9.根据权利要求5所述的基于机器视觉的机械臂振动检测方法，其特征在于，输入所述编码器模块的图像块序列的嵌入向量通过以下公式表示：

10.根据权利要求1所述的基于机器视觉的机械臂振动检测方法，其特征在于，所述利用完成训练的所述视觉变换器vit模型对待检测的机械臂进行故障检测，包括：

技术总结
本发明涉及机械臂振动故障检测领域，公开了一种基于机器视觉的机械臂振动检测方法，包括：利用视觉相机采集机械臂在零负载状态下不同故障类型对应的一维时序振动信号；将不同故障类型对应的一维时序振动信号转换为二维时频图像；对每个二维时频图像进行分块处理，获得图像块序列；利用不同故障类型对应的图像块序列作为视觉变换器ViT模型的输入，以对视觉变换器ViT模型的故障分类进行训练；利用完成训练的视觉变换器ViT模型对待检测的机械臂进行故障检测。本发明能够实现提高故障预测模型对机械臂故障检测的准确性。

技术研发人员：刘旭东,韩梦虞,毛俊,胡培秋,吕晟
受保护的技术使用者：常州检验检测标准认证研究院
技术研发日：
技术公布日：2024/9/23