一种基于双模态超声图像的内部缺陷智能识别方法和装置与流程

本申请涉及工业无损检测，尤其涉及一种基于双模态超声图像的内部缺陷智能识别方法和装置。

背景技术：

1、超声相控阵c扫描是利用相控阵探头及编码器对零件内部缺陷进行可视化检测的一种技术。相控阵探头按预设工艺发射超声波并接收超声波，在扫查方向上通过编码器实现连续测量，得到超声相控阵c扫描原始数据，并根据待识别零件不同的检测需求，选择不同的数据处理方式，设置相应的闸门阈值，图像类型分为幅值图像和深度图像两种。

2、目前，随着人工智能领域的快速发展，深度学习技术在计算机视觉等多个应用场景中展现出强大潜力。目前诸多研究主要针对超声相控阵c扫描幅值图像进行了智能识别，包括金属焊缝、陶瓷检测等。但多数研究仅利用幅值图像进行处理，忽略了深度图像对于缺陷识别的重要性，一定程度上限制了缺陷识别技术的准确性和鲁棒性。

技术实现思路

1、有鉴于此，本申请提供一种基于双模态超声图像的内部缺陷智能识别方法和装置，用以智能识别待识别构件是否存在缺陷。

2、具体地，本申请是通过如下技术方案实现的：

3、本申请第一方面提供一种基于双模态超声图像的内部缺陷智能识别方法，所述方法包括：

4、获取待识别构件的原始数据；所述原始数据至少包括所述待识别构件的幅值数据和深度数据；

5、基于所述原始数据生成幅值图像和深度图像，构成双模态图像数据集；

6、基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像，得到融合特征；

7、其中，所述基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像之前，至少还包括：

8、分别基于所述幅值图像和所述深度图像获取第一缺陷图像区域和第二缺陷图像区域，所述第一缺陷图像区域和所述第二缺陷图像区域分别为幅值图像和深度图像中的缺陷所在几何区域；基于所述第一缺陷图像区域和所述第二缺陷图像区域确定融合缺陷图像区域，所述融合缺陷图像区域与所述第一缺陷图像区域、所述第二缺陷图像区域不重合；

9、所述基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像，至少包括：基于所述融合缺陷图像区域提取所述幅值图像对应区域的幅值特征；基于所述融合缺陷图像区域提取所述深度图像对应区域的深度特征；分别计算所述幅值特征、所述深度特征与待识别缺陷类型的相关性，作为所述幅值特征、所述深度特征对应的权重，基于特征对应的权重与所述幅值特征、所述深度特征计算融合特征；

10、基于所述融合识别模型，利用所述融合特征获得所述待识别构件的缺陷识别结果。

11、本申请第二方面提供一种基于双模态超声图像的内部缺陷智能识别装置，所述装置包括获取模块、构建模块、融合模块和识别模块；其中，

12、所述获取模块，用于获取待识别构件的原始数据；所述原始数据至少包括所述待识别构件的幅值数据和深度数据；

13、所述构建模块，用于基于所述原始数据生成幅值图像和深度图像，构成双模态图像数据集；

14、所述融合模块，用于基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像，得到融合特征；

15、其中，所述基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像之前，至少还包括：

16、分别基于所述幅值图像和所述深度图像获取第一缺陷图像区域和第二缺陷图像区域，所述第一缺陷图像区域和所述第二缺陷图像区域分别为幅值图像和深度图像中的缺陷所在几何区域；基于所述第一缺陷图像区域和所述第二缺陷图像区域确定融合缺陷图像区域，所述融合缺陷图像区域与所述第一缺陷图像区域、所述第二缺陷图像区域不重合；

17、所述基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像，至少包括：基于所述融合缺陷图像区域提取所述幅值图像对应区域的幅值特征；基于所述融合缺陷图像区域提取所述深度图像对应区域的深度特征；分别计算所述幅值特征、所述深度特征与待识别缺陷类型的相关性，作为所述幅值特征、所述深度特征对应的权重，基于特征对应的权重与所述幅值特征、所述深度特征计算融合特征；

18、所述识别模块，用于基于所述融合识别模型，利用所述融合特征获得所述待识别构件的缺陷识别结果。

19、本申请提供的基于双模态超声图像的内部缺陷智能识别方法和装置，通过获取待识别构件的原始数据，所述原始数据至少包括所述待识别构件的幅值数据和深度数据，并基于所述原始数据生成幅值图像和深度图像，构成双模态图像数据集，进而基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像，得到融合特征，最后基于所述融合识别模型，利用所述融合特征获得所述待识别构件的缺陷识别结果。这样，特征提取网络同时提取超声相控阵c扫描的幅值图像与深度图像特征，并基于融合识别模型的双模态特征融合模块自适应的融合两个模态的特征，最后分类器模块将融合后的特征转化为图像包含缺陷的概率分布。这种基于双模态图像的缺陷识别方式相较于单一模态的缺陷识别方式更智能，能够通过小范围区域的图像识别和融合特征的利用提高图像识别的准确性，同时大幅度降低图像识别所需要处理的特征量，提高了缺陷识别的效率。

技术特征：

1.一种基于双模态超声图像的内部缺陷智能识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述融合识别模型至少包括特征提取模块、双模态特征融合模块和分类器模块；

3.根据权利要求1所述的方法，其特征在于，所述基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像，得到融合特征的过程包括：

4.根据权利要求2所述的方法，其特征在于，所述融合识别模型在所述特征提取模块和所述双模态特征融合模块之间还包括有全局平均池化层；所述全局平均池化层用于将在空间维度上统一各个提取获得的特征。

5.根据权利要求3所述的方法，其特征在于，所述特征提取模块包括共享权值的特征提取网络。

6.根据权利要求2所述的方法，其特征在于，所述分类器模块包括依序连接的第一dropout层、第一全连接层、relu激活函数层、第二dropout层、第二全连接层和softmax层；

7.根据权利要求1所述的方法，其特征在于，所述获取待识别构件的原始数据，至少包括：

8.根据权利要求1所述的方法，其特征在于，所述基于所述原始数据生成幅值图像和深度图像，构成双模态图像数据集具体包括：

9.根据权利要求1所述的方法，其特征在于，所述基于所述第一缺陷图像区域和所述第二缺陷图像区域确定融合缺陷图像区域，具体包括：

10.一种基于双模态超声图像的内部缺陷智能识别装置，其特征在于，所述装置包括获取模块、构建模块、融合模块和识别模块；

技术总结
本申请提供一种基于双模态超声图像的内部缺陷智能识别方法和装置。本申请提供的基于双模态超声图像的内部缺陷智能识别方法，包括：获取待识别构件的原始数据；所述原始数据至少包括所述待识别构件的幅值数据和深度数据；基于所述原始数据生成幅值图像和深度图像，构成双模态图像数据集；基于融合识别模型融合所述双模态图像数据集中的幅值图像和深度图像，得到融合特征；基于所述融合识别模型，利用所述融合特征获得所述待识别构件的缺陷识别结果。本申请提供的基于双模态超声图像的内部缺陷智能识别方法和装置，可智能识别待识别构件是否存在缺陷。

技术研发人员：刘尚瑀,于涵,金志达,李兴捷,董满中
受保护的技术使用者：中国机械总院集团沈阳铸造研究所有限公司
技术研发日：
技术公布日：2024/9/23