融合Transformer与改进YOLO的再生物品旋转目标检测方法和装置
本发明涉及可再生物品检测领域，尤其涉及一种融合transformer与改进yolo的再生物品旋转目标检测方法和装置。
背景技术：
1、近年来，随着人工智能和机器视觉技术的快速发展，自动化在各行各业中的应用日益广泛，尤其是在再生物品的分拣和回收领域。塑料瓶、玻璃瓶和金属罐等再生物品由于其材质、形状和尺寸的多样性，使得自动分拣过程面临着极大的挑战。传统的目标检测算法在处理这些复杂多变的物体时，往往会出现误检和漏检的问题，影响分拣的准确性和效率。
2、在自动化分拣领域，目标检测技术是实现高效分拣的关键。尽管近年来深度学习技术在图像识别和目标检测方面取得了显著进展，但现有技术在处理特定类型的再生物品时仍面临挑战。由于瓶罐形状的特殊性和材料的透明度，传统的目标检测算法在准确识别和定位这些物体时，往往会遇到困难。此外，再生物品在实际分拣过程中可能会出现重叠、旋转和遮挡等情况，这些因素进一步增加了检测难度。
3、目前大多数目标检测方法依赖于水平或轴对齐边界框来定位目标，这在处理旋转或倾斜的物体时往往会引入不必要的背景信息，导致检测精度下降。针对这一问题，一些研究尝试通过引入旋转边界框来改善检测性能，但这些方法在旋转角度预测、模型训练和实时性能方面仍存在局限性。
技术实现思路
1、本发明要克服传统检测方法无法同时满足再生物品分拣场景下位姿信息获取以及实现多形态、多尺度目标物检测的缺点，本发明通过引入旋转框定位和多尺度特征融合技术，开发了一种能够准确检测并处理再生物品中瓶罐等物体的旋转和多尺度特性的目标检测方法和装置。
2、本发明提供的一种融合transformer与改进yolo的再生物品旋转目标检测方法，包括以下步骤：
3、步骤1，构建自制再生物品数据集，对数据集中图像的标签信息进行预处理，同时将数据集划分为验证集和测试集；
4、具体地，不同场景下拍摄多种类再生物品的图像，搜集网上公开的可用再生物品图像数据集，将收集的图像按照玻璃瓶、塑料瓶、易拉罐进行分类和整理。利用标注工具精确标记每张图像中的再生物品，确保标签的准确性和一致性。将数据集划分为训练集、验证集和测试集，平衡模型训练和性能评估的需要。
5、步骤2，基于yolov5构建改进的yolo目标检测模型，采用dcl角度分类方法，可以有效避免边界不连续问题，解决由于csl的周期性而导致的任意精度误差，实现旋转角度的高精度识别；
6、具体地，增加角度预测分支，将目标物的角度预测视为一个分类问题，通过设计符合特定物理场景的dcl，提高模型对于目标物角度的精确预测能力，同时也增加了相邻角度之间的误差容忍度。
7、步骤3，通过使用repvgg模型作为主干特征提取网络，采用多分支的网络结构一般是能提高模型的表征能力；
8、具体地，将yolov5主干网络替换为repvgg训练网络，repvgg网络比yolov5的主干网络推理速度快，适合于可再生物品的实时检测场景。由于训练网络有多个梯度流路径，在浅层模型使用简单的残差结构，在深层模型使用更复杂的残差结构，不仅可以处理网络深层梯度消失的问题，还可以获得更稳健的特征表示。
9、步骤4，在主干网络末端加入transformer的注意力机制，强化特征提取；
10、具体地，考虑到yolov5s网络在特征提取过程中对不同特征采用相同的加权方式，缺乏对显著特征的注意力偏好，引入注意力机制强化模型的注意力能力，使得模型更有效地捕获目标特征。
11、具体地，加入transformer模块，结合位置编码将这些特征转换为序列，作为transformer编码器的输入。transformer编码器由多头注意力机制模块和前馈神经网络组成，其中包含层归一化(ln)和dropout(dp)层以防止过拟合并提高特征融合能力。多头注意力机制能够提高运算效率，从不同的特征空间中学习到自适应的注意力分布，从而强化了模型对于高密度遮挡目标物的检测性能。
12、步骤5，使用bifpn网络对骨干网络输出的特征进行后处理，增强不同尺度的特征信息融合；
13、具体地，通过将原始加强特征提取网络panet结构改进为bifpn结构，实现不同尺度特征信息的强化融合。在主干网络生成的多尺度特征映射输入到bifpn结构中，执行自顶向下和自底向上的多级特征融合过程。结合跳跃连接增强了相同尺度特征层的深度融合，进而提高了模型对多尺度目标的检测灵敏度，增强了整体检测性能，有效减少了遗漏检测和错误检测的情况。
14、步骤6，通过步骤1中得到的数据集训练改进的yolo目标检测模型，将训练后最佳的权重加载至改进的yolo算法得到目标检测网络。
15、本发明的第二个方面涉及一种融合transformer与改进yolo的再生物品旋转目标检测装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本发明的一种融合transformer与改进yolo的再生物品旋转目标检测方法。
16、本发明的第三个方面涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的一种融合transformer与改进yolo的再生物品旋转目标检测方法。
17、本发明的有益效果：通过引入密集编码标签(dcl)和使用repvgg模型作为主干特征提取网络，实现旋转角度的高精度识别；在主干网络加入transformer的注意力机制，强化了特征提取的能力；使用bifpn网络对骨干网络输出的特征进行优化处理。通过改进该算法能够在处理遮挡、透明、变形等不同条件下的目标物时，准确识别目标类别和旋转角度，有效满足分拣场景下对目标检测的高性能需求。
技术特征：
1.一种融合transformer与改进yolo的再生物品旋转目标检测方法，包括以下步骤：
2.如权利要求1所述的一种融合transformer与改进yolo的再生物品旋转目标检测方法，其特征在于：
3.如权利要求1所述的一种融合transformer与改进yolo的再生物品旋转目标检测方法，其特征在于：
4.如权利要求1所述的一种融合transformer与改进yolo的再生物品旋转目标检测方法，其特征在于：
5.如权利要求1所述的一种融合transformer与改进yolo的再生物品旋转目标检测方法，其特征在于：
6.如权利要求1所述的一种融合transformer与改进yolo的再生物品旋转目标检测方法，其特征在于：
7.如权利要求1所述的一种融合transformer与改进yolo的再生物品旋转目标检测方法，其特征在于：
8.一种融合transformer与改进yolo的再生物品旋转目标检测装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的一种融合transformer与改进yolo的再生物品旋转目标检测方法。
9.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-7中任一项所述的一种融合transformer与改进yolo的再生物品旋转目标检测方法。
技术总结
本发明提供了一种融合Transformer与改进YOLO的再生物品旋转目标检测方法和装置，其方法包括：1、搜集不同形态同类可再生物品的数据图像，得到可再生物品原始数据集；2、引入密集编码标签(Densely Coded Labels，DCL)，实现旋转角度的高精度识别；3、通过使用RepVGG模型作为主干特征提取网络，采用多分支的网络结构一般是能提高模型的表征能力；4、在主干网络末端加入Transformer的注意力机制，强化特征提取；5、使用BiFPN网络对骨干网络输出的特征进行后处理，增强不同尺度的特征信息融合；6、用训练数据集对搭建的目标检测网络进行训练，得到训练好的再生物品目标检测网络。
技术研发人员：董红召,孙枭童,张利强,熊伟,张利红,汪二毛
受保护的技术使用者：浙江工业大学
技术研发日：
技术公布日：2024/9/23