一种基于SDE_YOLOv8的高压导线断散股检测方法
本发明属于计算机视觉和图像检测领域，涉及一种高压导线断散股检测方法，具体是一种基于sde_yolov8的高压导线断散股检测方法。
背景技术：
1、近年来，目标检测被广泛应用于各种工业领域，如电力、制造、汽车等。在制造业中，产品的缺陷检测对于确保产品质量和生产效率至关重要。传统的缺陷检测方法通常依赖于人工视觉检查或使用特定的传感器，但存在着效率低下、易受主观因素影响等问题，因此基于神经网络深度学习的缺陷检测凭借其高效的识别，以及不受主观因素干扰的自动检测，就成为当下目标检测在缺陷识别上的主力军。
2、电网作为现代经济发展和社会进步的重要基础和保障，取得了举世瞩目的成就，我国对于电力的需求是非常之大的，然而部分地区出现高压导线断散股的问题，造成了严重的安全事故以及巨大的经济损失，及时发现并且处理问题就显得尤为重要。然而因为高压导线数量之庞大，以及高压导线所处位置的不便性难以采用人工排除的方法进行问题诊断。
3、如何精准的检测高压导线断散股故障已经成为当下研究的难点，目前主要有两种研究方法：一种是利用传统的图像识别方法来对所得到的高压导线照片进行逐一识别，另一种是利用神经网络来识别缺陷。
4、传统的图像处理识别主要基于阈值分割，灰度图处理，直线梯形图等方法，这类方法的主要流程都是对分段拍摄的高压导线进行去噪操作之后进行灰度处理，使得背景和高压导线显示不同灰度，再使用直线检测类的算子利用hough，freeman算子对导线进行直线判定和分割，通过对比正常的直线区域的区域的斜率和断散股区域的斜率，从而判断是否存在断散股的情况，传统的图像处理识别方法效率低下且精度不高，不论是处理前还是处理后都容易受到图像噪声影响。
5、基于神经网络的深度学习相比传统图像识别方法上具有几个显著的优点，一个是端到端深度学习从原始图像到目标检测结果的映射，无需手工设计复杂的特征提取器，可以使模型更快更泛化的部署于各个场景；二是深度学习模型能够有效地利用图像中目标与非目标的信息，通过卷积神经网络等深度结构，模型可以在不同尺度和层次上对图像进行理解，从而更好地理解目标与非目标的关系。
6、然而神经网络是一个十分依赖特征数量的技术，对于检测大物体具有很高的精度，是因为大物体的目标信息包含更丰富，但对于小目标存在错检、漏检的问题，尤其对于小样本(少样本数量的小目标检测)的效果这类问题就更加严重，事实上，为解决上述问题，不少研究者通过改进网络结构、增强网络性能以及数据增强等方法来提高检测效果，但是存在内存占用过大不好实现技术落地，以及检测速度低下等缺点。
技术实现思路
1、本发明的目的是针对现有技术存在的不足，而提供一种基于sde_yolov8的高压导线断散股检测方法，这种方法提高了检测精度以及检测速度，使得检测效果更好。
2、实现本发明目的的技术方案是：
3、一种基于sde_yolov8的高压导线断散股检测方法，包括以下步骤：
4、1)采集高压导线断散股数据集：
5、通过无人机采集高压导线断散股数据集，使用labelme对导线中异常位置进行标注，采用多边形标注而非边界框标注方式，避免在数据扩充中因边界框标注包含的无用背景特征干扰后期检测结果；
6、采用动态背景技术对高压线所处环境进行提取，基于动态步长和随机尺度的滑动窗口方法，把图片分割成不同尺度的背景图，最后将动态生成的背景图与标注好的目标进行图片融合得到虚拟数据集；
7、2)数据扩容与整合：
8、将实景拍摄的高压导线断散股与步骤1)动态背景生成的虚拟数据整合为一个大数据集，将该数据集按照8:2比例划分为训练集和测试集；
9、3)增强对数据特征的学习：
10、在yolov8网络中修改c2f模块嵌入dcnv4结构，得到sde_yolov8网络模型，将步骤2)的训练集图像输入sde_yolov8网络模型中，每张图像经过yolov8的初始特征卷积之后输入到dcnv4_net结构中，dcnv4_net采用类似可分离卷积的思想通过depth-wise计算mask，通过point-wise计算offset，最终输出关于每一个像素的横纵坐标的偏移量和形状变化参数，这些参数权重自适应地适应输入信息中的特征位置，进而提升特征的表达能力，帮助模型更快的收敛；最后经过sde_yolov8网络模型得到训练过程中最好的参数权重将其打包成权重文件；
11、4)引入ema注意力机制提高sde_yolov8提取和关注特征信息的；
12、5)改进yolov8损失函数，将yolov8中的损失函数替换成shape-iou损失函数，使得模型增强对目标形状和尺寸的关注，提高检测性能；
13、6)结果预测：
14、将通过sde_yolov8学习得到的异常特征图的权重与步骤2)测试集的图像进行匹配，通过学习好的权重对图像的异常特征进行预测，预测时采用anchor-free机制对潜在的目标进行标记，最后将多个预测框的结果通过nms(非极大值抑制)进行筛选，保留得分最高的作为预测框，预测框即为检测高压线导线断散股中的故障异常位置。
15、进一步地，步骤1)和2)采集高压线断散股数据集的过程为：
16、通过无人机的高清摄像机拍摄高压导线图像，其中设置摄像机分辨率为不低于8000x6000像素，对原始图片采用多边形标注和动态背景技术进行虚拟数据的生成，再将真实数据集与虚拟数据集合并成一个大数据集，再使用图像标注工具labelimg对合并的大数据集采用两种高压导线状态进行标注，标注分类为“normal_wire”(正常高压导线)，“adnoraml_wire”(异常高压导线)。
17、进一步地，步骤3)中所述的计算像素点的偏移量和形状变化参数步骤为：
18、3.1)yolov8的c2f模块中有两个卷积核，这两个卷积核的大小是3*3的，经过两个卷积核输出的特征图尺寸大小不变，dcnv4_net结构中同样存在3*3卷积核可以在不改变特征图尺寸的大小下计算出所需要的偏移量和变化参数，将c2f模块中的第二个3*3卷积替换成dcnv4_net，得到dcnv4-yolov4；
19、3.2)将步骤2)的训练集图像输入sde_yolov8网络模型中，每张图像首先经过sde_yolov8网络模型中yolov8默认的前几层特征转变，然后传入yolov8中的c2f模块中，该模块嵌入了dcnv4_net结构，特征通过c2f模块中的一层1*1卷积核，一层split特征分割层将特征按照通道数一分为二，一部分传入到dcnv4_net结构后等待特征拼接concat，另外一部分传入cnv4_net结构，在该结构中特征经过一层3*3卷积层和cnv4卷积层，dcnv4卷积层是一个3*3卷积和一个线性投影组合成的可分离卷积，将原始卷积权重wk分离为深度部分和逐点部分，其中深度部分由原始位置感知调制标量mk负责，逐点部分是采样点之间共享的投影权重w，特征经过这个可分离卷积得到采样点的横纵坐标偏移量以及偏移调节尺度：
20、
21、式中：g为聚合组数量；对于第g组，wg∈rc×c'，c'＝c/g为不同位置投影权值；k为采样点数；mgk∈r为第k个采样点的调制因子，并且与dcnv3不同的是，dcnv4取消了最后的softmax归一化，减少了不必要的计算加快了模型计算速度；
22、3.3)对由dcnv4_net得到的包含偏移量和调节尺度的特征输出后进行标准化batchnorm2d操作：
23、
24、式中：x为输入特征值，e[x]表示均值，var[x]表示方差，这两个参数在正向传播中就可以直接计算得到，γ和β是调整方差和调整均值，初始值分别为1和0，这两个参数是模型在反向传播式不断更新学习的，eps是为了保证计算的稳定性，避免分母为0的情况，默认值为1e-5；
25、3.4)使用relu函数对输出结果进行激化操作，将大于0的输入值完整输出，小于0的输入值赋值为0。
26、进一步地，步骤4)中所述的使用ema注意力机制的具体步骤如下：
27、4.1)将经过sde_yolov8的backbone部分之后得到的特征输出传入ema注意力机制中，假设特征图的尺寸是h×w×c，特征提取将使得模型更加关注特征位置的输出，特征在输入ema注意力机制中会分成分成g组，一个分支会经过“x avg pool”的一维水平全局池化操作，一个分支会输入到“y avg pool”的一维垂直全局池化操作；一个分支会通过3×3的卷积进行特征提取，剩下的部分作为跨维度交互模块等待合并；
28、4.2)将4.1)得到的两个全局池化输出进行sigmoid函数之后与跨维度模块进行加权相乘，实现特征图之间的交互，再经过一层gn对交互后的特征图进行组归一化操作，用于调整每个分组内的特征分布，得到的输出作为两个输入，一个输入到sofmax函数得到输出out_1，另一个输入avg全局池化中得到输出out_2；
29、4.3)将4.1)得到的3×3卷积输出同样作为两个输入，一个输入到sofmax函数得到输出out_3，另一个输入到avg全局池化得到输出out_4；
30、4.4)将4.2)得到的输出out_1与4.3)得到的输出out_4进行矩阵相乘，out_2与out_3进行矩阵相乘，最后将这两个输出合并与4.1)中的跨维度模块进行加权相乘和sigmoid激活函数得到最终输出，输出的特征图尺寸与输入的尺寸一致都是h×w×c。
31、进一步地，步骤5)中所述的使用shape-iou损失函数的具体步骤如下：
32、将yolov8中的损失函数替换成shape-iou损失函数，损失函数公式如下：
33、lshape-iou＝1-iou+distanceshape+0.5×ωshape
34、式中，iou表示预测框面积和真实框面积的交并集之比，distanceshape和ωshape是预测框回归对框的形状和尺寸的惩罚项，公式分别如下：
35、
36、式中：b表示预测框的面积，bgt表示真实目标框的面积；
37、
38、
39、式中，scale是缩放因子，与数据集中目标的大小有关，ww和hh分别表示水平方向和垂直方向上的权重系数，其值与真实框的形状有关，c表示能同时包含预测框和真实框的最小闭包区域的对角线距离；
40、
41、通过shape-iou损失函数使得模型在学习的过程中关注边界框的形状和规模，从而提高检测精度和收敛速度。
42、进一步地，步骤6)中所述的结果预测，具体步骤如下：
43、6.1)将步骤5)学习得到的权重和步骤2)中的验证集图像进行匹配，通过anchor-free方法对图像进行特征预测，在anchor-free中输入图像被划分为一个固定大小的网格，每个网格单位复制检测包含其内部的目标，每个网格单元由中心点坐标(x，y)来表示；
44、6.2)边界框预测，通过对yolov8骨干网络提取的特征图进行卷积操作，对于每个网格单元，通过卷积层计算出每个边界框的偏移值(tx，ty，tw，th)，偏移值是相对于当前网络单元的中心坐标(x，y)和边界框的宽度和高度而言的；
45、6.3)目标类别检测，目标类别的检测也是通过对骨干网络提取的特征图进行卷积操作来实现的，对于每个网格单元，通过卷积层计算出每个边界框对应每个目标类别的概率，利用softmax函数将这些概率值转成概率分布；
46、6.4)在预测的边界框中，可能存在多个重复的框，为了去除多余的检测结果，通常使用非极大值nms算法进行处理，根据置信度对所有边界框进行排序，然后从置信度最高的框开始，逐步去除与该框重叠度高于设定阈值的框，直至最后保留一个预测框，该预测框就是高压导线断散股检测的预测结果。
47、本发明高压导线断散股检测方法与现有方法相比，有如下优点：
48、1、本发明方法中的sde_yolov8模型能够精准高效检测高压导线断散股故障。
49、2、本发明方法中的虚拟数据生成，相比普通的数据增强更加具有像现实意义，有助于减缓模型的过拟合情况。
50、3、本发明方法，将dcnv4_net嵌入yolov8可以提高模型对不规则变化的学习和归纳，提高模型检测精确度。
51、4、本发明方法使用ema注意力机制，通过跨维度交互模块以及分组处理的想法，有效的聚合了多尺度空间结构信息，建立短期和长程的信息依赖，使得特征信息更丰富、模型更加关注特征位置，提高模型的识别精度。
52、5、本发明方法使用shape-iou损失函数，使得模型在原本基础上增加对边界盒的形状和规模尺寸的关注，提高检测精度。这种方法检测精度高，使得检测效果更细致。
技术特征：
1.一种基于sde_yolov8的高压导线断散股检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于sde_yolov8的高压导线断散股检测方法，其特征在于，步骤1)和2)采集高压线断散股数据集的过程为：通过无人机的高清摄像机拍摄高压导线图像，其中设置摄像机分辨率为不低于8000x6000像素，对原始图片采用多边形标注和动态背景技术进行虚拟数据的生成，再将真实数据集与虚拟数据集合并成一个大数据集，再使用图像标注工具labelimg对合并的大数据集采用两种高压导线状态进行标注，标注分类为“normal_wire”，“adnormal_wire”。
3.根据权利要求1所述的基于sde_yolov8的高压导线断散股检测方法，其特征在于，步骤3)中所述的计算像素点的偏移量和形状变化参数步骤为：
4.根据权利要求1所述的基于sde_yolov8的高压导线断散股检测方法，其特征在于，步骤4)中所述的使用ema注意力机制的具体步骤如下：
5.根据权利要求1所述的基于sde_yolov8高压导线断散股检测方法，其特征在于，步骤5)中所述的使用shape-iou损失函数的具体步骤如下：
6.根据权利要求1所述的基于sde_yolov8的高压导线断散股检测方法，其特征在于，步骤6)中所述的结果预测，具体步骤如下：
技术总结
本发明公开了一种基于SDE_YOLOv8的高压导线断散股检测方法，包括如下步骤：采集高压导线断散股数据收集；数据集扩容与整合；增强对数据特征的学习；引入EMA注意力机制提高SDE_YOLOv8提取和关注特征信息的；改进YOLOv8损失函数，将YOLOv8中的损失函数替换成Shape‑IOU损失函数，使得模型增强对目标形状和尺寸的关注，提高检测性能；结果预测，并输出检测结果。本发明方法，将DCNv4_Net嵌入YOLOv8可以提高模型对不规则变化的学习和归纳，提高模型检测精确度，SDE_YOLOv8模型能够精准高效检测高压导线断散股故障。本发明方法为小样本目标检测提供了一个方向，提高了模型学习的速度以及目标检测的质量，检测效果更加精确。
技术研发人员：邓珍荣,黄俊杰,李俊,李晓明
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/9/23