一种基于不确定修复机制的工业缺陷检测方法

本发明涉及工业缺陷检测方法领域，具体是一种基于不确定修复机制的工业缺陷检测方法。

背景技术：

1、工业缺陷往往源自生产过程中的各种不良因素，如机械冲击、工件摩擦、化学腐蚀等，以及其他不可避免的物理因素。这些缺陷通常在外观上呈现特定的模式或异常值，例如工业设备表面的划痕、斑点、孔洞；织物表面的色差、凹痕；材料表面的杂质、断裂和污渍等。工业缺陷检测在包括制造、汽车、电子和产品包装在内的各个行业的质量控制和检测过程中至关重要。

2、工业缺陷检测的背景可以追溯到工业革命时期，随着工业生产的规模和复杂度的增加，对产品质量的要求也逐渐提高。在早期阶段，传统方法是在工业生产中长期应用的一种检测手段，主要基于图像处理和机器视觉技术，包括图像获取、预处理、特征提取、特征分析、缺陷定位和决策等步骤。图像获取通过摄像头或其他成像设备获取产品表面图像；随后，进行预处理以减少噪声并增强特征，然后从图像中提取用于描述缺陷的特征，如形状、纹理、颜色等；提取的特征经过分析和比较，判断是否存在缺陷，并对缺陷进行定位和标记；最终，根据检测结果进行相应的决策，如报警、产品拒检等。传统方法虽然已被广泛应用，但其在处理复杂图像和缺陷时存在一定局限性。随着科学技术的发展，特别是计算机视觉、传感器技术和机器学习等领域的进步，工业缺陷检测逐渐实现了自动化和智能化，为工业缺陷检测提供更准确、更高效的解决方案。

3、深度学习方法在工业缺陷检测中展现了强大的潜力，逐渐成为主流技术。相较于传统的基于规则和手工设计特征的方法，深度学习技术能够通过学习大量数据中的特征，自动发现并表征复杂的图像模式，从而实现更准确、更高效的缺陷检测。近年来，基于深度学习方法的工业缺陷检测取得了显著的研究进展。从网络架构的优化角度，研究者们不断改进和优化深度学习模型的架构，以提高检测准确性和效率。例如，针对工业缺陷检测任务设计了专门的卷积神经网络(cnn)结构，如u-net、resnet等，以更好地处理复杂的图像信息并实现高效的缺陷检测；从多模态数据融合角度，研究者们致力于设计能够处理多模态数据的深度学习模型，将来自不同传感器的数据进行融合，如图像、声音、振动等，实现跨领域的缺陷检测任务；从迁移学习和弱监督学习角度，利用迁移学习和弱监督学习等技术，通过在已有数据集上预训练模型，然后在目标数据集上进行微调，以提高模型在工业缺陷检测任务中的泛化能力和适应性；从数据量的角度，通过数据增强技术，如旋转、平移、缩放等，扩充训练数据集，从而提高模型的鲁棒性和泛化能力，尤其是在数据量较少的情况下；从实时检测和部署的角度，研究者们致力于设计轻量级的深度学习模型，以实现实时缺陷检测和部署，为工业生产线上的缺陷检测提供及时的反馈和支持。

4、虽然以往的研究在基于视觉技术(如分类、检测和分割)方面取得了一定成果，能够识别视觉缺陷，但这些技术往往建立在一个假设之上，即缺陷容易被检测到。然而，它们忽略了那些“无缝”嵌入在材料环境中的具有挑战性的缺陷，这些相对隐蔽的缺陷可能难以被传统的视觉技术准确地检测和识别。此外，在缺陷检测过程中通常会存在一些不确定区域，比如说缺陷和周围材料之间存在模糊的边界、光照条件的变化可能会导致图像中阴影、反射等不确定区域、图像中可能存在噪声或杂质混淆真正的缺陷、某些表面纹理可能与缺陷外观相似等。这些不确定区域可能会导致缺陷检测结果的不确定性，增加了判断缺陷的难度和复杂度。针对这些问题，需要更加高效、精准的检测和识别方法，以确保产品质量和生产效率的提升。

技术实现思路

1、本发明提供了一种基于不确定修复机制的工业缺陷检测方法，以解决现有技术工业缺陷检测方法存在的难以检测隐蔽缺陷问题，以及不确定区域难以准确分类的问题。

2、为了达到上述目的，本发明所采用的技术方案为：

3、一种基于不确定修复机制的工业缺陷检测方法，包括以下步骤：

4、步骤1、生成工业缺陷检测模型，所述工业缺陷检测模型包括特征提取部分、多个多尺度特征增强部分、特征融合部分、置信驱动修复模块，其中：

5、所述特征提取部分用于从工业缺陷图像中提取多级缺陷特征图，并将除了第一级缺陷特征图外的其余各级缺陷特征图一一对应输出至多个多尺度特征增强部分，由每个多尺度特征增强部分处理对应级缺陷特征图；

6、每个多尺度特征增强部分分别各自具有五个分支，其中第一个分支保留对应级缺陷特征图的原始信息，其余各个分支分别对对应级缺陷特征图进行不同尺度的特征挖掘后，再与第一个分支输出的保留原始信息的对应级缺陷特征图进行残差连接，由此得到多尺度增强后的缺陷特征图；各个多尺度特征增强部分各自得到的多尺度增强后的缺陷特征图均输出至所述特征融合部分；

7、所述特征融合部分对各个多级增强后的缺陷特征图进行拼接和重要特征的聚合，由此得到融合和强化后的粗分割缺陷特征图，并由特征融合部分向所述置信驱动修复模块输出融合和特征强化后的粗分割缺陷特征图；

8、所述置信驱动修复模块利用具有确定分类分数的像素来修补所述融合和特征强化后的粗分割缺陷特征图中相邻的不确定像素，由此得到细化分割的缺陷特征图；

9、步骤2、利用开源工业缺陷图像数据集，对步骤1建立的工业缺陷检测模型进行训练，得到训练后的工业缺陷检测模型；

10、步骤3、将工业缺陷待检测图像，输入至步骤2得到的训练好的工业缺陷检测模型，由训练好的工业缺陷检测模型输出当前的细化分割的缺陷特征图，由此完成工业缺陷检测。

11、进一步的步骤1中，所述特征提取部分为res2net50模型。

12、进一步的，步骤1的每个多尺度特征增强部分中，第一个分支通过一个卷积减少对应级缺陷特征图的通道数量；

13、其余每个分支中，首先通过卷积减少对应级缺陷特征图的通道数量后，再通过非对称卷积进行特征提取，然后通过卷积扩大感受野，由此实现特征挖掘。

14、进一步的，步骤1中，所述特征融合部分首先将每个多尺度特征增强部分输出的多级增强后的缺陷特征图中较低层级的缺陷特征图上采样至与最高层级的缺陷特征图相同的尺寸，然后将尺寸调整后的各个多尺度特征增强部分输出的多级增强后的缺陷特征图进行通道拼接得到拼接后的缺陷特征图；

15、接着所述特征融合部分通过通道注意力模块对拼接后的缺陷特征图进行关注后再进行cbr操作处理，由此得到融合后的缺陷特征图；

16、最后所述特征融合部分对融合后的缺陷特征图按多个并行的卷积池化激活处理分支进行处理后，再与cbr操作处理得到的融合后的缺陷特征图在通道维度上进行拼接，由此得到融合和特征强化后的粗分割缺陷特征图。

17、进一步的，步骤1中，所述置信驱动修复模块首先得到特征融合部分输出的融合和特征强化后的粗分割缺陷特征图的初步概率图，并对初步概率图进行归一化后得到缺陷特征中每个像素属于不同类别的概率分布；

18、接着，所述置信驱动修复模块对所述初步概率图进行对数运算再乘以对应的概率值，然后求和得到信息熵值，并对信息熵值进行归一化，得到不确定性值；

19、接着，所述置信驱动修复模块对不确定性值进行指数运算，将权重重新映射到一个非负指数尺度上，然后通过取不确定性的相反数，得到置信度图；

20、接着，所述置信驱动修复模块将置信度图与特征融合部分输出的融合和特征强化后的粗分割缺陷特征图进行拼接，并进行三次局部置信度卷积操作，即通过局部卷积层和注意力机制对缺陷特征图进行修复和增强，并通过特征更新卷积层对置信度图进行更新；

21、最后，将通过上述过程修复和增强后的缺陷特征图与更新后的置信度图拼接，由此得到细化分割的缺陷特征图。

22、进一步的，步骤2中，训练时基于损失函数更新所述工业缺陷检测模型的参数，损失函数包括代表全局约束和局部约束的加权交并iou和二元交叉熵bce损失，损失函数中每个像素分别被分配有权重。

23、与现有技术相比，本发明优点为：

24、本发明设计了一个新颖的基于深度学习的网络模型作为工业缺陷检测模型，该工业缺陷检测模型包括特征提取部分、多尺度特征增强部分、特征融合部分、置信驱动修复模块，通过引入多尺度特征增强部分能够从不同尺度下获取丰富的特征信息，增强了模型对缺陷的感知能力；同时特征融合部分将多尺度特征进行有效融合，提高了模型对细微缺陷的识别能力；最重要的是置信驱动修复模块通过利用具有确定分类分数的像素来修补相邻的不确定像素，进一步改善了缺陷分割效果。

25、本发明通过这些关键部分、模块的协同作用，实现了基于不确定修复机制的工业缺陷检测方法，能够更准确地检测和分割工业隐蔽缺陷，提高了工业隐蔽缺陷的准确检测率和分割效果，进而解决了工业缺陷检测中缺陷相对隐蔽、不确定区域难以准确分类的问题，为工业生产提供了可靠的质量控制手段。

技术特征：

1.一种基于不确定修复机制的工业缺陷检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于不确定修复机制的工业缺陷检测方法，其特征在于，步骤1中，所述特征提取部分为res2net50模型。

3.根据权利要求1所述的一种基于不确定修复机制的工业缺陷检测方法，其特征在于，步骤1的每个多尺度特征增强部分中，第一个分支通过一个卷积减少对应级缺陷特征图的通道数量；

4.根据权利要求1所述的一种基于不确定修复机制的工业缺陷检测方法，其特征在于，步骤1中，所述特征融合部分首先将每个多尺度特征增强部分输出的多级增强后的缺陷特征图中较低层级的缺陷特征图上采样至与最高层级的缺陷特征图相同的尺寸，然后将尺寸调整后的各个多尺度特征增强部分输出的多级增强后的缺陷特征图进行通道拼接得到拼接后的缺陷特征图；

5.根据权利要求1所述的一种基于不确定修复机制的工业缺陷检测方法，其特征在于，步骤1中，所述置信驱动修复模块首先得到特征融合部分输出的融合和特征强化后的粗分割缺陷特征图的初步概率图，并对初步概率图进行归一化后得到缺陷特征中每个像素属于不同类别的概率分布；

6.根据权利要求1所述的一种基于不确定修复机制的工业缺陷检测方法，其特征在于，步骤2中，训练时基于损失函数更新所述工业缺陷检测模型的参数，损失函数包括代表全局约束和局部约束的加权交并iou和二元交叉熵bce损失，损失函数中每个像素分别被分配有权重。

技术总结
本发明公开了一种基于不确定修复机制的工业缺陷检测方法，包括以下步骤：步骤1、生成工业缺陷检测模型，所述工业缺陷检测模型包括特征提取部分、多个多尺度特征增强部分、特征融合部分、置信驱动修复模块；步骤2、利用开源工业缺陷图像数据集，对步骤1建立的工业缺陷检测模型进行训练，得到训练后的工业缺陷检测模型；步骤3、将工业缺陷待检测图像输入至训练好的工业缺陷检测模型，由训练好的工业缺陷检测模型输出当前的细化分割的缺陷特征图，由此完成工业缺陷检测。本发明解决了工业缺陷检测中缺陷相对隐蔽、不确定区域难以准确分类的问题。

技术研发人员：孙美君,刘程,王征
受保护的技术使用者：天津大学合肥创新发展研究院
技术研发日：
技术公布日：2024/9/23