一种自主加注臂的油箱加注口粗定位方法、系统
本发明属于机器视觉，涉及基于深度学习的目标定位技术，具体涉及一种自主加注臂的油箱加注口粗定位方法、系统。
背景技术：
1、近年来，随着经济社会地飞速发展，对油料地需求日益增加，油料高效、安全地装卸倍受关注，通过自主加注臂进行油料的自动化装卸已成为趋势，其不仅降低了工作人员的强度，还提高了工作效率，节约了成本。
2、自主加注臂实现油料高效、安全的自动化装卸前提是油箱中加注口的精确定位。车辆进入加油场地进行作业时，车辆停靠位置与加油机之间存在一定的距离，并且油箱中会存在其他设施，使系统难以直接准确地定位加注口目标，容易出现漏检和误检现象，最终造成不必要的经济损失。为此在油箱加注口定位任务中，首先开展了加注口的粗定位方法研究，借助工业相机完成加注口地检测和粗略位置地确定，使自主加注臂移动到加注口附近，随后在粗定位基础上借助自主加注臂末端的深度相机进行加注口地精定位，降低系统漏检和误检的概率，确保最终加注口定位的准确性以及装卸过程的安全性。油箱加注口粗定位需要准确地检测出加注口目标，并根据检测结果确定加注口位置坐标。传统的检测方法依据加注口纹理、形状等特征的疑似区域进行识别和分割，只能面向特定环境检测，因此检测方法存在泛化性能低，抗干扰能力弱，以及目标检测精度低的不足。
3、近年来，基于深度学习的目标检测方法因在复杂环境中展示出了明显的目标识别优势，使其在目标检测研究中得到高度关注和尝试应用，相比于传统检测方法，在检测精度和泛化性能上有了明显提升。现有算法虽然在一定程度上能够完成油箱加注口地检测，但对于含有光线干扰、不同停靠位置场景下的检测任务，仍然存在边界不清晰、特征丢失以及误检等挑战，从而导致后续加注口定位误差较大，如何提高复杂环境中加注口的定位精度仍是技术难点。
技术实现思路
1、发明目的：本发明的一种自主加注臂的油箱加注口粗定位方法、系统，通过提高模型对加注口特征的辨别能力，从而使网络能够较好地降低复杂干扰对加注口定位地影响，提高加注口定位精度。
2、技术方案：本发明的一种自主加注臂的油箱加注口粗定位方法，包括油箱加注口目标检测和油箱加注口坐标提取两个阶段；其中，所述油箱加注口目标检测包括：
3、构建油箱加注口数据集，并将数据集划分为训练集和测试集；
4、以ps-net模型为基础，融合边缘注意力机制模块，边缘注意力机制模块用于从低层特征中提取加注口的细节特征；
5、以ps-net模型为基础，融合混合坐标注意力机制模块，混合坐标注意力机制模块用于加强对加注口语义特征地提取；
6、以ps-net模型为基础，融合全局注意力机制模块，全局注意力机制模块用于提高模型对相似干扰特征的抑制能力，形成基于边缘注意力机制模块、混合坐标注意力机制模块、全局注意力机制模块的改进的ps-net模型；
7、引入iouloss损失函数，并利用训练集对改进的ps-net模型进行训练，得到油箱加注口目标检测模型，利用测试集对油箱加注口目标检测模型进行测试，并对油箱加注口目标检测模型进行性能评价；
8、利用油箱加注口目标检测模型进行油箱加注口目标检测，获得加注口目标区域及轮廓；
9、所述油箱加注口坐标提取包括：
10、利用opencv中的轮廓检测函数findcontours，将油箱加注口目标中的加注口轮廓检测出来；
11、根据加注口轮廓信息，采用douglas-peucker算法，对加注口形状进行多边形近似拟合；
12、对加注口轮廓进行多边形近似拟合后，采用opencv中convexhull函数，得到边界轮廓点集的凸包；
13、根据边界轮廓点集的凸包，采用opencv中轮廓拟合函数minenclosingcircle，得到加注口的最小外接圆以及中心坐标。
14、进一步地，所述边缘注意力机制模块，通过将ps-net模型主干部分conv1-2和conv2-2的输出作为边缘注意力机制模块的输入，并通过3×3卷积以及特征相加、相乘的融合操作得到清晰的边缘细节特征。
15、进一步地，所述边缘注意力机制模块，通过将ps-net模型主干部分conv1-2和conv2-2的输出作为边缘注意力机制模块的输入，并通过3×3卷积以及特征相加、相乘的融合操作得到清晰的边缘细节特征，包括：
16、对于ps-net模型主干部分conv1-2、conv2-2层的输出f1、f2，分别采用一系列卷积操作对其进行提纯处理，得到特征f’1、f’2，处理过程如下：
17、fi'＝relu(bn(conv(fi))),i＝1,2
18、式中，conv为3×3的卷积运算；bn为归一化；relu为激活函数；
19、通过对特征f’1、f’2中不同关注点进行自适应学习，获得选择性加权特征w，处理过程如下：
20、w＝f1'×f2'
21、将选择性加权特征w、提纯处理得到的特征f’1、f’2采用卷积和特征融合操作，获得加注口细节特征fe，处理过程如下：
22、fe＝relu(bn(conv(f1'+w)))+relu(bn(conv(f2'+w)))。
23、进一步地，所述混合坐标注意力机制模块，在坐标注意力机制的结构中，加入水平和垂直方向的最大池化，并采用特征相加的融合方式，将水平和垂直方向的局部信息和全局信息进行融合。
24、进一步地，所述混合坐标注意力机制模块，在坐标注意力机制的结构中，加入水平和垂直方向的最大池化，并采用特征相加的融合方式，将水平和垂直方向的局部信息和全局信息进行融合，包括：
25、采用尺寸分别为(h,1)、(1,w)的池化核，沿水平和垂直方向采用平均池化操作将输入特征聚合为两个一维的方向感知特征,分别为处理过程如下：
26、
27、式中，表示高度为h的第c个通道的输出特征；xc(h,i)表示输入第c通道的第i行特征向量；表示高度为w的第c个通道的输出特征；xc(j,w)表示输入第c通道的第j列特征向量；
28、沿水平和垂直方向采用最大池化操作将输入特征聚合为两个一维的方向感知特征，分别为处理过程如下：
29、
30、通过对空间信息进行编码，将水平和垂直方向的局部信息和全局信息采用特征相加的方式进行融合，并对不同方向信息进行一系列拼接融合操作，获得特征f，处理过程如下：
31、f＝relu(bn(conv(concate(((zh+zh),(zw+zw))))))
32、式中，concate表示拼接操作；zh、zw分别表示为输入特征经过平均池化在水平和垂直方向上的输出；zh、zw分别表示为输入特征经过最大池化在水平和垂直方向上的输出；
33、将编码后的特征转换为两个不同方向上的注意力，分别为gh、gw，处理过程如下：
34、
35、式中，split表示通道分裂操作；
36、将注意力gh、gw与输入特征采用相乘的融合操作，得到输出特征y，处理过程如下：
37、
38、式中，xc(i,j)表示输入第c通道的特征；分别表示第c通道水平和垂直方向上的注意力。
39、进一步地，所述全局注意力机制模块用于提高模型对相似干扰特征的抑制能力，包括：
40、对高层中的语义特征fp采用分块最大池化和平均池化获取全局信息fa，处理过程如下：
41、fa＝avgpool(maxpool(fp))
42、式中，avgpool为平均池化操作，maxpool为分块池化操作；
43、通过采用激活函数和特征相乘的融合方式，将全局信息中的重要特征映射到输入特征中，得到特征fb，处理过程如下：
44、fb＝sigmoid(fa)×fp
45、式中，sigmoid为激活函数。
46、进一步地，引入iouloss损失函数，通过计算改进的ps-net模型生成的显著性图与标签的交并比损失，优化模型训练结果。
47、进一步地，所述改进的ps-net模型生成的显著性图与标签的交并比损失，计算公式如下：
48、
49、式中，w表示图像宽度方向像素；h表示图像高度方向像素；p为模型输出的显著性图；g为标签；pij为预测图像素(i,j)属于显著性区域的概率；gij为标签像素(i,j)的值。
50、进一步地，所述对油箱加注口目标检测模型进行性能评价时，采用平均绝对误差mae、meane-m、maxe-m、adpe-m、meanf-m、maxf-m、adpf-m、准确率-召回率p-r作为评价指标，对油箱加注口目标检测模型的准确性进行验证。
51、基于相同的发明构思，本发明的一种自主加注臂的油箱加注口粗定位系统，包括油箱加注口目标检测模块和油箱加注口坐标提取模块；其中，所述油箱加注口目标检测模块包括：
52、数据获取模块，用于构建油箱加注口数据集，并将数据集划分为训练集和测试集；
53、边缘注意力机制模块，用于以ps-net模型为基础，融合边缘注意力机制模块，边缘注意力机制模块用于从低层特征中提取加注口的细节特征；
54、混合坐标注意力机制模块，用于以ps-net模型为基础，融合混合坐标注意力机制模块，混合坐标注意力机制模块用于加强对加注口语义特征地提取；
55、全局注意力机制模块，用于以ps-net模型为基础，融合全局注意力机制模块，全局注意力机制模块用于提高模型对相似干扰特征的抑制能力，形成基于边缘注意力机制模块、混合坐标注意力机制模块、全局注意力机制模块的改进的ps-net模型；
56、模型训练与测试模块，用于引入iouloss损失函数，并利用训练集对改进的ps-net模型进行训练，得到油箱加注口目标检测模型，利用测试集对油箱加注口目标检测模型进行测试，并对油箱加注口目标检测模型进行性能评价；
57、油箱加注口目标检测模块，用于利用油箱加注口目标检测模型进行油箱加注口目标检测，获得加注口目标区域及轮廓；
58、所述油箱加注口坐标提取模块包括：
59、加注口轮廓检测模块，用于利用opencv中的轮廓检测函数findcontours，将油箱加注口目标中的加注口轮廓检测出来；
60、加注口形状拟合模块，用于根据加注口轮廓信息，采用douglas-peucker算法，对加注口形状进行多边形近似拟合；
61、凸包获取模块，用于对加注口轮廓进行多边形近似拟合后，采用opencv中convexhull函数，得到边界轮廓点集的凸包；
62、加注口定位模块，用于根据边界轮廓点集的凸包，采用opencv中轮廓拟合函数minenclosingcircle，得到加注口的最小外接圆以及中心坐标。
63、有益效果：本发明的技术方案，与现有技术相比，其有益效果在于：
64、本发明提出的边缘注意力机制模块，提高了模型对边缘特征的提取能力，有效缓解了因光线变化而导致加注口边缘特征模糊、不准确的现象，使模型可以借助边缘特征更好地定位加注口。
65、本发明提出的混合坐标注意力机制模块，增加了模型对目标区域中细小特征的关注度，有效避免了因过曝现象导致模型无法检测到细小的加注口特征，从而造成特征丢失的问题，使模型具有较强全面捕捉加注口特征的能力，提高对加注口定位的准确性。
66、本发明提出的全局注意力机制模块，加强了模型对相似干扰特征地辨别能力，有效减少了因车辆停靠位置而出现的相似颜色和特征干扰对检测结果地影响，降低了模型的误检概率，进一步提高模型对加注口的定位精度。
67、本发明通过提高模型对加注口特征的辨别能力，从而使网络能够较好地降低复杂干扰对加注口定位地影响，提高加注口定位精度。
技术特征：
1.一种自主加注臂的油箱加注口粗定位方法，其特征在于，包括油箱加注口目标检测和油箱加注口坐标提取两个阶段；其中，所述油箱加注口目标检测包括：
2.根据权利要求1所述的自主加注臂的油箱加注口粗定位方法，其特征在于，所述边缘注意力机制模块，通过将ps-net模型主干部分conv1-2和conv2-2的输出作为边缘注意力机制模块的输入，并通过3×3卷积以及特征相加、相乘的融合操作得到清晰的边缘细节特征。
3.根据权利要求2所述的自主加注臂的油箱加注口粗定位方法，其特征在于，所述边缘注意力机制模块，通过将ps-net模型主干部分conv1-2和conv2-2的输出作为边缘注意力机制模块的输入，并通过3×3卷积以及特征相加、相乘的融合操作得到清晰的边缘细节特征，包括：
4.根据权利要求1所述的自主加注臂的油箱加注口粗定位方法，其特征在于，所述混合坐标注意力机制模块，在坐标注意力机制的结构中，加入水平和垂直方向的最大池化，并采用特征相加的融合方式，将水平和垂直方向的局部信息和全局信息进行融合。
5.根据权利要求4所述的自主加注臂的油箱加注口粗定位方法，其特征在于，所述混合坐标注意力机制模块，在坐标注意力机制的结构中，加入水平和垂直方向的最大池化，并采用特征相加的融合方式，将水平和垂直方向的局部信息和全局信息进行融合，包括：
6.根据权利要求1所述的自主加注臂的油箱加注口粗定位方法，其特征在于，所述全局注意力机制模块用于提高模型对相似干扰特征的抑制能力，包括：
7.根据权利要求1所述的自主加注臂的油箱加注口粗定位方法，其特征在于，引入iouloss损失函数，通过计算改进的ps-net模型生成的显著性图与标签的交并比损失，优化模型训练结果。
8.根据权利要求7所述的自主加注臂的油箱加注口粗定位方法，其特征在于，所述改进的ps-net模型生成的显著性图与标签的交并比损失，计算公式如下：
9.根据权利要求1所述的自主加注臂的油箱加注口粗定位方法，其特征在于，所述对油箱加注口目标检测模型进行性能评价时，采用平均绝对误差mae、mean e-m、max e-m、adpe-m、mean f-m、max f-m、adp f-m、准确率-召回率p-r作为评价指标，对油箱加注口目标检测模型的准确性进行验证。
10.一种自主加注臂的油箱加注口粗定位系统，其特征在于，包括油箱加注口目标检测模块和油箱加注口坐标提取模块；其中，所述油箱加注口目标检测模块包括：
技术总结
本发明公开了一种自主加注臂的油箱加注口粗定位方法、系统，该方法包括加注口目标检测和加注口坐标提取，其中加注口目标检测包括：构建油箱加注口数据集；边缘注意力机制模块设计；混合坐标注意力机制模块设计；全局注意力机制模块设计；添加IOULoss损失函数并对改进的渐进式选择网络模型进行训练和测试；利用训练好的模型进行加注口检测；其中加注口坐标提取包括：检测结果中加注口的轮廓提取；加注口形状的多边形近似；边界轮廓点集的凸包计算；加注口最小外接圆及中心坐标的获取。本发明的方案有助于实现加油场景中加注口目标的高精度检测，进而提高加注口的定位精度，为自主加注臂日常安全、高效地装卸油料提供了技术支持。
技术研发人员：袁明新,李解,包诗豪,曹博睿,王洪钰,费腾,赵芝茹,陈芯蕊,刘美婷,朱俊豪
受保护的技术使用者：江苏科技大学
技术研发日：
技术公布日：2024/9/23