工业环境中实时PCB缺陷检测的深度学习方法与系统

本发明设计目标检测领域，特别涉及一种工业环境中实时pcb缺陷检测的深度学习方法与系统。

背景技术：

1、随着计算机性能的飞速进步以及数据量的爆炸式增长，基于深度学习（dl）的卷积神经网络（cnn）已广泛应用于pcb表面缺陷检测领域。目前，pcb缺陷检测方法主要可归为两大类：两阶段检测方法和一阶段检测方法。两阶段检测方法通过利用锚点生成区域建议，进而基于这些建议生成最终的预测框。而一阶段检测方法则直接对输入图像进行分类和回归，无需生成中间的区域建议，ssd和yolo系列网络便是其代表性方法。fpn的引入为改进两阶段检测方法提供了新的视角。它利用多级特征的融合，用于解决边缘设备上低延迟的问题，由于两阶段检测方法将目标检测任务分解为区域提取和目标定位和分类两个独立阶段，难以克服在边缘设备上的高延迟问题。

2、一般来说，针对pcb表面缺陷检测任务，无论是采用一阶段还是两阶段的方法，其核心结构通常包含三个关键模块。然而，在边缘设备上进行缺陷检测时，检测延迟和功耗成为了亟待解决的关键问题。值得注意的是，无论是精度优先还是延迟优先的检测器，在设计中都未能充分考虑到能耗问题。高能耗的检测器对于部署在资源有限的边缘设备上并不适用。

技术实现思路

1、鉴于上述状况，本发明的主要目的是为了提出一种工业环境中实时pcb缺陷检测的深度学习方法与系统，以解决上述技术问题。

2、本发明提出一种工业环境中实时pcb缺陷检测的深度学习方法，所述方法包括如下步骤：

3、步骤1、将输入特征图输入特征提取融合模块，通过特征提取融合模块内的混合增强模块和压缩激励模块处理，得到压缩激励模块的输出特征图，基于压缩激励模块的输出特征图，通过特征提取融合模块中的前馈神经网络层进行深度下采样操作得到中间特征；

4、步骤2、将中间特征输入预测模型的检测器，同时结合检测器内的评分机制，输出回归和分类结果；

5、步骤3、将回归和分类结果作为训练样本，通过置信度学习模块更新预测模型，将输入特征图输入更新后的预测模型得到预测结果。

6、本发明还提出一种工业环境中实时pcb缺陷检测的深度学习系统，所述系统包括：

7、特征提取融合模块，将输入特征图输入特征提取融合模块，通过特征提取融合模块内的混合增强模块和压缩激励模块处理，得到压缩激励模块的输出特征图，基于压缩激励模块的输出特征图，通过特征提取融合模块中的前馈神经网络层进行深度下采样操作得到中间特征；

8、检测器模块，将中间特征输入预测模型的检测器，同时结合检测器内的评分机制，输出回归和分类结果；

9、置信度学习模块，用于将回归和分类结果作为训练样本，通过置信度学习模块更新预测模型，将输入特征图输入更新后的预测模型得到预测结果。

10、与现有技术相比，本发明有益效果如下：

11、1、本发明在低计算需求的同时保持检测的性能，为人工智能技术pcb缺陷检测的工业化应用提供了一种高效解决方案；

12、2、本发明的深度下采样模块解决了轻量化检测模型在下采样时，由于网络深度不足导致的信息传递丢失问题，该模块增强了模型捕捉关键信息的能力，从而提升了缺陷检测模型的性能；

13、3、本发明的置信度门学习策略，该置信度门学习策略可自适应地进行评估、检测和滤波数据噪声，提高检测结果的可靠性；

14、4、本发明使用边缘设备和摄像头搭建了基于深度学习的缺陷检测系统的实验原型，在该系统原型上部署使用了预测模型，实验结果验证了本发明提出的系统在工业环境下准确检测pcb缺陷的效能和效率。

15、本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

技术特征：

1.一种工业环境中实时pcb缺陷检测的深度学习方法，其特征在于，所述方法基于预测模型实现，所述预测模型由特征提取融合模块、检测器、置信度学习模块构成，所述方法包括如下步骤：

2.根据权利要求1所述的工业环境中实时pcb缺陷检测的深度学习方法，其特征在于，在将输入特征图输入特征提取融合模块，通过特征提取融合模块内的混合增强模块和压缩激励模块处理，得到压缩激励模块的输出特征图，基于压缩激励模块的输出特征图，通过特征提取融合模块中的前馈神经网络层进行深度下采样操作得到中间特征的步骤中，所述方法还包括：

3.根据权利要求2所述的工业环境中实时pcb缺陷检测的深度学习方法，其特征在于，在将输入特征图输入特征提取融合模块，通过特征提取融合模块内的混合增强模块和压缩激励模块处理，得到压缩激励模块的输出特征图，基于压缩激励模块的输出特征图，通过特征提取融合模块中的前馈神经网络层进行深度下采样操作得到中间特征的步骤中，所述方法还包括：

4.根据权利要求3所述的工业环境中实时pcb缺陷检测的深度学习方法，其特征在于，在将输入特征图输入特征提取融合模块，通过特征提取融合模块内的混合增强模块和压缩激励模块处理，得到压缩激励模块的输出特征图，基于压缩激励模块的输出特征图，通过特征提取融合模块中的前馈神经网络层进行深度下采样操作得到中间特征的步骤中，所述方法还包括：

5.根据权利要求4所述的工业环境中实时pcb缺陷检测的深度学习方法，其特征在于，在所述步骤2中，将中间特征输入预测模型的检测器，同时结合检测器内的评分机制，输出回归和分类结果，评分机制中评分值的计算公式如下：

6.根据权利要求5所述的工业环境中实时pcb缺陷检测的深度学习方法，其特征在于，在所述步骤3中，将回归和分类结果作为训练样本，通过置信度学习模块更新预测模型的步骤具体包括如下子步骤：

7.一种工业环境中实时pcb缺陷检测的深度学习系统，其特征在于，所述系统应用如上述权利要求1至6任意一项所述的工业环境中实时pcb缺陷检测的深度学习方法，所述系统包括：

技术总结
本发明提出一种工业环境中实时PCB缺陷检测的深度学习方法与系统，该方法包括：将输入特征图输入特征提取融合模块，通过特征提取融合模块内的混合增强模块和压缩激励模块处理，得到压缩激励模块的输出特征图，得到中间特征；将中间特征输入预测模型的检测器，同时结合检测器内的评分机制，输出回归和分类结果；将回归和分类结果作为训练样本，通过置信度学习模块更新预测模型，将输入特征图输入更新后的预测模型得到预测结果。本发明通过结合组卷积和通道混洗两种技术，对卷积神经网络结构进行了重新设计，大幅减少了模型的参数数量，显著提升了推理速度，进一步提升了网络的整体性能。

技术研发人员：袁朝晖,唐向阳
受保护的技术使用者：华东交通大学
技术研发日：
技术公布日：2024/9/23