本发明涉及一种基于深度学习的涂布陶瓷区虚边检测方法,属于目标检测的。
背景技术:
1、在锂电涂布生产工艺中,为了防止正、负极材料直接接触而引发短路,通常要在正极极耳与碳膜交界处涂覆一层绝缘陶瓷。然而,在涂布烘烤过程中,由于碳膜与陶瓷涂料均为水系浆料,二者极易发生互溶,形成所谓的“虚边”,导致后续工序出现抓边困难、a、b面错位大等问题。
2、目前,涂布陶瓷区虚边检测主要依赖于传统算法,即通过卡尺工具在人工选取的抓边框内进行检测,这种方法存在以下弊端:1、虚边两侧的灰度差异相对较小,边界比较模糊,传统算法难以准确定位虚边,检出的虚边尺寸波动较大;2、当陶瓷区边缘不均匀,或涂布产品换型时,人工选取的抓边框可能无法涵盖虚边位置,需要频繁调整各种抓边参数,操作成本高,有人为操作失误导致抓边失败的风险。
3、随着深度学习技术的发展和普及,利用深度学习算法进行虚边检测成为一种新的解决方案。但是,虚边检测不同于常规物体的检测,其相对整张涂布图像的像素占比很小,同时长宽比很大,一条虚边通常跨越整张涂布图像,常规的目标检测算法对虚边的检测效果并不理想。而且,涂布尺寸过大,为了保证检测速度,通常需要对原始大尺寸图像进行缩放,这将导致检测精度的降低。可见如何精准检测涂布陶瓷区虚边仍然是摆在行业面前的一个社会技术难题。
技术实现思路
1、为了解决上述存在的问题,本发明公开了一种基于深度学习的涂布陶瓷区虚边检测方法,其具体技术方案如下:
2、一种基于深度学习的涂布陶瓷区虚边检测方法,包括以下步骤:
3、步骤s1、通过工业相机采集涂布图像数据,并对采集数据进行预处理,预处理包括:灰度化、高斯模糊和图像缩放;
4、步骤s2、将预处理后的涂布图像输入陶瓷区检测模型,得到陶瓷区的位置及类型;
5、步骤s3、根据陶瓷区的位置及类型构建粗定位的虚边roi区域,将虚边roi区域映射回原图,得到待检测虚边图像,并对待检测虚边图像进行局部对比度增强;
6、步骤s4、通过引入注意力机制、添加小目标检测层、更改上采样方式与损失函数对原yolov5网络进行改进,得到改进的yolov5网络,使用虚边检测数据集对改进的yolov5网络进行训练,得到虚边检测模型,将待检测虚边图像输入虚边检测模型,虚边检测模型输出虚边检测结果;
7、步骤s5、解析虚边检测结果,得到虚边在原涂布图像坐标系中的位置和尺寸信息。
8、进一步的,所述步骤s2中,采用轻量级目标检测网络yolov5-lite作为陶瓷区检测模型,并使用非极大值抑制算法去除模型输出中的冗余信息,获取涂布图像中的每个陶瓷区的位置及类型;
9、所述陶瓷区的类型包括碳膜左侧陶瓷区与碳膜右侧陶瓷区。
10、进一步的,所述步骤s3中,根据陶瓷区的位置及类型判断陶瓷区与碳膜区的位置关系,以相邻陶瓷区与碳膜区交界处的边缘为基准,分别向左右两侧扩展,初步定位虚边所在roi区域,将roi区域映射回原图进行裁剪,由于虚边尺寸只要求计算宽度信息,而不要求高度,因此将裁剪后的图像高度方向进行缩放,同时保持宽度不变,得到待检测虚边图像,确保虚边检测尺寸具有像素级精度的同时大幅提高检测速度,再对待检测虚边图像进行局部对比度增强,作为虚边检测模型的输入。
11、进一步的,所述局部对比度增强的具体实施步骤为:
12、将待检测的虚边图像划分为若干个小块,单独对每个小块进行直方图均衡化,通过对比度阈值限制高频灰度值,并将超过限制的像素均匀分布到直方图中的其他部分,来对每个小块的对比度进行限制,其计算公式为:
13、式中,表示在灰度级k下,小块经过处理后的灰度值; l为灰度级的总数;为小块中灰度值为 m的像素个数; c为对比度阈值,用于限制直方图的高频部分;为对小块中所有灰度级 l的直方图计数减去对比度限制参数 c后,剩余的直方图计数的总和;为小块的像素总数,即小块的面积;
14、使用双线性插值将小块之间的边界平滑化,消除块效应,平滑地合并所有小块,形成完整的对比度增强后的待检测虚边图像。
15、进一步的,所述步骤s4中,所述虚边检测模型是:对待检测虚边图像中的虚边进行标注,使标定框左右两条边与虚边左右两侧重合,得到虚边数据集,将虚边数据集输入改进后的yolov5模型中进行训练得到虚边检测模型;
16、改进后的yolov5网络包括特征提取网络backbone、特征融合网络neck以及检测头head,对yolov5网络的具体改进包括:
17、(1)向yolov5网络中特征提取网络backbone网络的c3模块中引入坐标注意力机制ca,其具体操作步骤为:
18、分别使用尺寸为c´1´w和c´h´1的池化核沿高度和宽度方向对c3模块中3´3卷积后得到的特征图进行全局平均池化,将位置信息编码在一对方向感知的特征向量中,其计算公式为:
19、其中,c、h、w分别表示输入特征图的通道数、高度和宽度;表示输入特征图;、分别表示水平和垂直方向全局平均池化后的特征向量;
20、将其中一个特征向量的维度调换后与另一个特征向量拼接,并输入到一个二者共享的变换函数中,计算公式为:
21、其中,为非线性激活函数;为1´1卷积变换函数;表示宽、高维度调换后的;表示对和对应维度进行拼接;为融合了高度和宽度两个方向位置信息的中间特征向量,r为最大降采样比例,用来控制模块大小;
22、将沿空间维度拆分成两个独立的向量和分别输入到两个1´1卷积变换函数和中,得到:
23、其中,和分别为沿高度和宽度方向拆分的特征图;和分别为沿高度和宽度方向的1×1卷积变换矩阵;为sigmoid激活函数;和分别为高度和宽度方向上经过卷积变换和激活函数后得到的注意力权重图,用于在相应方向上调整输入特征图的权重;
24、将得到的和分别沿宽度和高度方向扩展为与输入特征图x具有相同尺寸的特征向量即为ca权重,将ca权重与原输入特征图的对应位置相乘即得到具有更强特征表达能力的输出:
25、其中, c表示第 c个通道; i、 j分别表示横、纵坐标位置;
26、(2)添加一个小目标检测层,同时增加一个小目标检测层的锚框,具体操作步骤为:
27、在yolov5中特征融合网络neck 2次上采样的基础上再进行一次上采样,将得到的特征图与特征提取网络backbone第2层进行拼接,得到一个针对小目标检测的大分辨率特征图,再继续进行正常下采样操作,最后将yolov5网络的第21层、24层、27层、30层特征图作为检测头head的输入;
28、基于虚边检测数据集,使用k-means聚类算法重新生成12个锚框;
29、(3)采用轻量级动态上采样dysample替换yolov5网络中的双线性插值上采样;
30、(4)调整损失函数,具体操作步骤为:
31、ciou loss(完全交并比损失)改为eiou loss(高效交并比损失),同时适当增加小目标检测层的边框回归损失权重,其计算公式如下:
32、式中,iou为预测框与真实框的交并比;为两点之间的欧式距离;、、为预测框的中心点坐标及宽、高;、、为真实框的中心点坐标及宽、高;、为预测框与真实框最小外界矩形的宽和高;为eiou损失值,衡量了预测边界框与真实边界框之间的误差;
33、将置信度与分类损失由cross entropy loss(交叉熵损失)改为focal loss(焦点损失),其计算公式如下:
34、式中,表示模型对正确类别的预测概率;为平衡因子,用于平衡正负样本的比例;为调节因子,用于调整易分类样本的损失权重;为focal loss损失值,衡量了模型在处理不平衡样本时的分类误差。
35、进一步的,设定一个置信度阈值,对虚边检测结果进行过滤,每个待检测虚边图像中至多保留一个置信度最高且高于该阈值的检测结果;
36、检测结果中目标框左右两条边的横坐标即可表示虚边左右边缘的位置,两横坐标相减的绝对值即为虚边的宽度;
37、结合待检测虚边图像在原图中的位置信息,将虚边坐标映射到原图,得到虚边在原涂布图像中的位置及尺寸信息。
38、本发明的有益效果是:
39、(1)本发明利用两个级联的目标检测模型作为涂布陶瓷区虚边检测工具,由于待检测虚边图像是根据第一个模型输出的陶瓷区域构建的,而模型输出结果是实时更新的,所以虚边检测区域会始终覆盖虚边所在位置,不存在抓边框偏离虚边区域的问题,避免人为操作失误导致的虚边漏检和误检。
40、(2)由于涂布图像过大,且虚边相对于整张涂布图像来说像素占比很小,如果直接对原图进行虚边检测,会存在检测时间过长,难以准确定位虚边的问题。因此,本发明采用分级检测的策略,首先使用轻量级的目标检测模型在缩放后的涂布图像中检测容易检出且对比度较大的陶瓷区,根据陶瓷区信息对虚边所在区域进行粗定位,构建尺寸较小的待检测虚边图像,随后使用改进的yolov5模型在未经缩放的待检测虚边图像中对虚边进行精确定位。这种方式检测精度高,耗时低。
41、(3)虚边具有细长、高长宽比、边缘模糊等特性,常规目标检测算法对虚边的检测效果不理想。因此,本发明对yolov5进行改进以提高虚边检测精度,具体为:引入ca注意力机制,结合通道信息和方向相关的位置信息,使模型能够更好地捕捉到这些方向性特征;添加小目标检测层,使模型在面对小尺度虚边时能保持高效的检测能力;虚边作为小目标,其所包含的特征信息本身是较少的,采用dysample上采样以减少在上采样过程中的特征丢失,动态学习模型中需要补充的参数;eiou损失考虑了目标框的长宽比和中心点距离,将定位损失由ciou损失替换为eiou损失使目标框能够更贴合细长目标的实际形状,提高虚边定位精度;使用focal loss替换cross entropy loss使模型更关注那些细小、模糊或难以区分的虚边。
1.一种基于深度学习的涂布陶瓷区虚边检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于深度学习的涂布陶瓷区虚边检测方法,其特征在于,所述步骤s2中,采用轻量级目标检测网络yolov5-lite作为陶瓷区检测模型,并使用非极大值抑制算法去除模型输出中的冗余信息,获取涂布图像中的每个陶瓷区的位置及类型;
3.根据权利要求1所述的基于深度学习的涂布陶瓷区虚边检测方法,其特征在于,所述步骤s3中,根据陶瓷区的位置及类型判断陶瓷区与碳膜区的位置关系,以相邻陶瓷区与碳膜区交界处的边缘为基准,分别向左右两侧扩展,初步定位虚边所在roi区域,将roi区域映射回原图进行裁剪,由于虚边尺寸只要求计算宽度信息,而不要求高度,因此将裁剪后的图像高度方向进行缩放,同时保持宽度不变,得到待检测虚边图像,确保虚边检测尺寸具有像素级精度的同时大幅提高检测速度,再对待检测虚边图像进行局部对比度增强,作为虚边检测模型的输入。
4.根据权利要求3所述的基于深度学习的涂布陶瓷区虚边检测方法,其特征在于,所述局部对比度增强的具体实施步骤为:
5.根据权利要求1所述的基于深度学习的涂布陶瓷区虚边检测方法,其特征在于,所述步骤s4中,所述虚边检测模型是:对待检测虚边图像中的虚边进行标注,使标定框左右两条边与虚边左右两侧重合,得到虚边数据集,将虚边数据集输入改进后的yolov5模型中进行训练得到虚边检测模型;
6.根据权利要求5所述的基于深度学习的涂布陶瓷区虚边检测方法,其特征在于,设定一个置信度阈值,对虚边检测结果进行过滤,每个待检测虚边图像中至多保留一个置信度最高且高于该阈值的检测结果;
