低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法
本发明涉及目标检测，具体为低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法。
背景技术：
1、无人矿卡通过智能化技术实现对矿用卡车的无人化操作，大幅提升了矿山开采作业效率，实现了全天候自动化物料运输，同时减少了劳动力成本和运营开支。目标检测技术对无人矿卡至关重要，能准确识别无人矿卡作业环境，确保安全高效的自主导航，同时可以实时响应复杂多变的矿区情况，避免潜在危险，提升作业效率。然而，无人矿卡常需要在低光照环境中长时间作业，这一现象主要由自然光照的波动以及开采场地复杂的地形结构所共同导致的。所谓的低光照环境，指的是光照条件不佳或光照强度低于正常水平的环境。在此环境中，无人矿卡搭载的传感器和摄像系统难以准确捕获必要的图像信息，从而增加了错误检测的可能性，因此会对无人矿卡的安全行驶带来负面影响。鉴于此，针对无人矿卡在低光环境下的目标检测性能优化，成为确保作业安全和提升效率的关键保障。
2、在当前的低光照环境下无人矿用卡车目标检测模型的研究中，一个核心的挑战是如何精确、迅速且高效地获取车辆周边的环境信息。低光照影响采集到的特征信息的完整性，尤其是在当前的检测算法中，多尺度特征的融合对于目标检测性能至关重要。然而，常见的特征融合方法有特征金字塔网络(feature pyramid network, fpn)，链路聚合网络(path aggregation network, pan)，fpn+pan等，这些方法主要通过上下采样和特征融合来传递不同尺度的信息。然而，在多级特征传递过程中，会存在信息传递不完整或信息丢失的问题。尤其是在多次上下采样的过程中，较低分辨率的特征可能丢失了细节和局部信息，阻碍了不同尺度特征信息的有效融合。因此，迫切需要开发一种适应低光照环境的多级跨尺度信息交互的目标检测模型，以减少在特征融合过程中的信息丢失，确保不同尺度的特征能够有效融合，这将显著提升无人矿卡在复杂露天矿山场景中的目标识别性能。
技术实现思路
1、本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
2、因此，本发明的目的是提供一种低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法，减少在特征融合过程中的信息丢失，确保不同尺度的特征能够有效融合，这将显著提升无人矿卡在复杂露天矿山场景中的目标识别性能。
3、为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
4、低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法，其包括：
5、s1、数据集制作：首先，对开源的露天矿复杂环境数据视频进行截取和筛选，特别关注并提取低光照环境下的图片，利用专业的数据采集设备，在真实的露天矿场环境中进行实地拍摄，随后，将这些从真实环境中采集的低光照图片与从开源数据视频中提取的低光照图片进行混合，以形成一个低光照条件的数据集，接着使用labelimg对提取到的图片进行标签制作，标签的类别为无人矿卡、推土机、民用车、装载机以及工作人员类别，然后将标注好的图片按7：2：1的比例划分训练集、验证集与测试集，制作低光照下无人矿卡的目标检测数据集；
6、s2、检测模型构建：构建基于多级跨尺度信息交互的低光照下无人矿卡目标检测模型mcs-yolov8，该模型包括：sc_darknet53主干网络、多级跨尺度信息交互模块mcs和检测器；
7、s3、图片特征信息提取：采用空间通道混合金字塔池化结构sc_sppf提取深层次信息；
8、s4、特征信息融合阶段：采用多级跨尺度信息交互结构mcs作为特征融合部分；
9、s5、检测阶段：以低光照环境下无人矿卡真实自主作业场景图片作为mcs-yolov8检测模型的输入，模型首先利用包含空间通道混合金字塔池化结构的sc-darknet53主干网络，提取图像特征信息，其次通过多级跨尺度信息交互结构mcs融合网络有效地融合不同尺度特征图的特征信息，最后将融合后的特征图送入检测器中，实时检测作业场景图片。
10、作为本发明所述的低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法的一种优选方案，其中，步骤s1中，使用高清摄像头或者雷达采集真实露天矿上的数据视频并提取低光下的图片。
11、作为本发明所述的低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法的一种优选方案，其中，步骤s2中，所述sc-darknet53主干网络是对yolov8主干网络darknet53进行改进，即将darknet53最后一层的空间金字塔池化模块替换为空间通道混合金字塔池化模块，模型的融合部分采用改进的mcs对主干网络提取的特征进行有效的交互与融合；模型的检测器部分采用三个解耦的检测头，分别针对低光照环境下的大、中、小物体进行检测。
12、作为本发明所述的低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法的一种优选方案，其中，步骤s3，空间通道混合金字塔池化结构sc_sppf具体表示如下：
13、假设输入的特征图为，经过sc_sppf金字塔池化的后得到输出特征图，首先，针对输入特征图，进行4次并联与级联方式嵌套的最大池化，分别得到前两次级联最大池化结果和后两次级联最大池化结果，最大池化操作计算特征图的重要信息，并将其作为该通道的全局上下文信息，前两次最大池化结果可表示为：
14、（1）
15、其中，表示对特征图进行最大池化操作；
16、为了得到更深层的语义信息，再次使用级联的两次最大池化对之前的池化结果a进行重要特征的提取，后两次最大池化结果可表示为：
17、（2）
18、然后，将2个最大池化结果与特征图在通道维度上进行拼接，并进行通道混洗，加强特征图通道之间的信息交互得到特征图，如下所示：
19、（3）
20、其中，表示将特征图在通道维度上进行拼接，表示对拼接后的特征图在通道上进行混洗；
21、接着，对特征图进行宽激活得到特征图，其中宽激活由两个的卷积和relu激活函数构成，可以表示为：
22、（4）
23、其中，表示卷积核大小为的卷积，表示激活函数；
24、接下来，对经过宽激活后的特征图进行全局平均池化与全局最大池化，全局平均池化可以得到特征在通道维度上的整个特征图的特征信息，全局最大池化可以得到特征在通道维度上的重要的特征信息，将其分别表示为和， 如下所示：
25、（5）
26、其中，表示全局平均池化；
27、（6）
28、其中，表示全局最大池化；
29、进一步，将和进行融合，并通过多层感知器与激活函数得到通道缩放因子，如下所示：
30、（7）
31、其中，由3个线性层与层归一化组成，用于特征信息重组，激活函数是一种常用的连续、平滑的“s”型激活函数，可以将任意实数输入映射到（0,1）区间，即对于一个极大的负值输入，它输出的值接近于0；对于一个极大的正值输入，它输出的值接近于1；
32、最后，将特征图与经过通道混合与通道注意力机制的特征图进行融合，得到输出特征图，如下所示：
33、（8）
34、其中，表示特征图经过通道注意力机制的特征，即对通道维度上的特征信息进行加权，这样可以得到更有效的特征；表示对特征图进行通道上的变换，使得特征图的通道与经过通道混合和通道注意力机制的特征图的通道数一致。
35、与现有技术相比，本发明具有的有益效果是：本发明减少在特征融合过程中的信息丢失，确保不同尺度的特征能够有效融合，显著提升无人矿卡在复杂露天矿山场景中的目标识别性能。
技术特征：
1.一种低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法，其特征在于，包括：
2.根据权利要求1所述的低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法，其特征在于，步骤s1中，使用高清摄像头或者雷达采集真实露天矿上的数据视频并提取低光下的图片。
3.根据权利要求1所述的低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法，其特征在于，步骤s2中，所述sc-darknet53主干网络是对yolov8主干网络darknet53进行改进，即将darknet53最后一层的空间金字塔池化模块替换为空间通道混合金字塔池化模块，模型的融合部分采用改进的mcs对主干网络提取的特征进行有效的交互与融合；模型的检测器部分采用三个解耦的检测头，分别针对低光照环境下的大、中、小物体进行检测。
4.根据权利要求1所述的低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法，其特征在于，步骤s3，空间通道混合金字塔池化结构sc_sppf具体表示如下：
技术总结
本发明公开一种低光照下基于多级跨尺度信息交互的无人矿卡目标检测方法，包括数据集制作、检测模型构建、图片特征信息提取、特征信息融合阶段以及检测阶段，本发明减少了在特征融合过程中的信息丢失，确保不同尺度的特征能够有效融合，显著提升无人矿卡在复杂露天矿山场景中的目标识别性能。
技术研发人员：徐飞翔,张瑞,武昱泽,周晨,程德强,安伟光,寇旗旗,朱地龙
受保护的技术使用者：中国矿业大学
技术研发日：
技术公布日：2024/9/23