跨域小样本的识别模型的训练方法、识别方法及设备

本申请涉及图像识别，尤其涉及一种跨域小样本的识别模型的训练方法、识别方法及设备。

背景技术：

1、图像数据作为信息传递的直观媒介，在当今社会中扮演着越来越重要的角色。尤其是在计算机视觉领域，如何从海量的图像中高效提取有用信息，一直是研究的焦点之一。目标检测作为计算机视觉的重要任务之一，其挑战在于准确地识别图像中的目标并标注其位置和类别。最近几年，随着智能交通、智能制造、智能教育等领域对目标检测技术需求的增加，模型不仅需要应对更多样化的图像信息，还需应对更加复杂的应用场景，这给任务的泛化性带来了更大的挑战。

2、在实际应用中，通用的目标检测算法通常需要大量实例级别的标注信息来训练模型。然而，这种标注过程可能会面临多种问题。首先，由于现实世界的长尾分布特性，一些类别往往难以获得足够数量的标注数据，比如珍稀动植物或罕见病症。其次，图像标注通常需要大量的人力，并且标注的准确性无法保证，漏标和误标的情况时有发生，尤其是对于一些难以标注的对象。此外，模型的训练也需要消耗大量的资源，包括昂贵的gpu设备和专业的领域知识。最后，在模型实际应用时，常常会遇到域偏移的问题，即数据分布的差异会导致模型性能下降。

3、当目标域样本的标注信息较少时，现有的主流目标检测方法往往难以达到令人满意的效果。然而，值得注意的是，即使是一个孩童也能够通过仅仅观察几张图像就完成对不同场景下新类别的学习。因此，如何在少量目标域样本的情况下实现目标检测成为了一个具有现实意义的问题。

技术实现思路

1、本申请的目的在于提供一种跨域小样本的识别模型的训练方法、识别方法及设备，以解决现有技术中存在的如何利用源域数据和少量目标域样本提高检测网络在目标域上的泛化能力的技术问题。本申请提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

2、为实现上述目的，本申请提供了以下技术方案：

3、本申请的第一方面提供的一种跨域小样本的识别模型的训练方法，包括：获取任意源域图像的振幅特征和任意目标域图像的振幅特征，将所述源域图像的振幅特征替换为所述目标域图像的振幅特征，获得类目标域图像；将多张所述源域图像、多张所述目标域图像和多张所述类目标域图像作为训练集；利用所述训练集对识别模型进行训练，其中在利用所述源域图像和所述类目标域图像进行训练的过程中，将所述源域图像的注意力矩阵和所述类目标域图像的注意力矩阵替换为所述目标域图像的注意力矩阵，以对所述源域图像和所述类目标域图像的特征矩阵进行重建。

4、在一些实施例中，所述训练集还包括混合域图像；所述方法还包括：从多张所述源域图像、多张所述目标域图像和多张所述类目标域图像中，随机抽取至少两张图像进行加权求和，将所述至少两张图像的标签进行拼接，获得所述混合域图像。

5、在一些实施例中，所述方法还包括：选取任意所述源域图像和/或任意所述目标域图像和/或任意所述类目标域图像上的至少一个图像区域，将所述至少一个图像区域覆盖至任一所述源域图像和/或任一所述目标域图像和/或任一所述类目标域图像上，获得所述混合域图像。

6、在一些实施例中，所述获取任意所述源域图像的振幅特征和任意所述目标域图像的振幅特征，包括：通过傅里叶变换获取所述源域图像和所述目标域图像的频域特征，从所述频域特征中分离得到所述振幅特征和相位特征。

7、在一些实施例中，所述获得所述类目标域图像，包括：保留所述源域图像的相位特征；对保留所述相位特征的源域图像进行逆傅里叶变换，获得所述类目标域图像。

8、在一些实施例中，所述逆傅里叶变换定义为：

9、，

10、其中，表示傅里叶变换，表示掩码矩阵，表示所述源域图像，表示所述目标域图像，表示所述目标域图像的振幅特征，表示所述源域图像的振幅特征，表示所述源域图像的相位特征。

11、在一些实施例中，所述在利用所述源域图像和所述类目标域图像进行训练的过程中，包括：获取所述源域图像和所述类目标域图像的特征矩阵；对所述特征矩阵进行处理，获得所述注意力矩阵，其中所述注意力矩阵包括查询矩阵、键矩阵和值矩阵；基于所述注意力矩阵，进行注意力计算。

12、在一些实施例中，所述基于所述注意力矩阵，进行注意力计算，包括：将所述源域图像的键矩阵和/或所述类目标域图像的键矩阵替换为所述目标域图像的键矩阵。

13、本申请的第二方面提供一种识别方法，包括：获取多张跨域样本图像；将所述跨域样本图像输入至识别模型，获得所述跨域样本图像的识别结果，所述识别模型为根据如上所述的跨域小样本的识别模型的训练方法训练得到的模型。

14、本申请的第三方面提供一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行如上所述的跨域小样本的识别模型的训练方法以及如上所述的识别方法。

15、实施本申请上述技术方案中的一个技术方案，具有如下优点或有益效果：由于在小样本领域中往往存在获取标注数据困难或成本高昂的情况，在本申请中，通过将源域图像的振幅特征替换为目标域图像的振幅特征，能够将源域图像和目标域图像的低频信息进行交换，能够实现目标域的信息感知，从而能够增强源域图像的表达能力，能更好丰富样本特征；其次，在利用源域图像和类目标域图像进行训练的过程中，通过将源域图像的注意力矩阵和类目标域图像的注意力矩阵替换为目标域图像的注意力矩阵，能够令识别模型自动关注目标域的特征，并激活源域特征中与目标域相似的特征，从而使得网络提取的特征不会过度偏向源域，有助于提高识别模型的特征提取能力。

技术特征：

1.一种跨域小样本的识别模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的跨域小样本的识别模型的训练方法，其特征在于，所述训练集还包括混合域图像；所述方法还包括：

3.根据权利要求2所述的跨域小样本的识别模型的训练方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的跨域小样本的识别模型的训练方法，其特征在于，所述获取任意所述源域图像的振幅特征和任意所述目标域图像的振幅特征，包括：

5.根据权利要求4所述的跨域小样本的识别模型的训练方法，其特征在于，所述获得所述类目标域图像，包括：保留所述源域图像的相位特征；对保留所述相位特征的源域图像进行逆傅里叶变换，获得所述类目标域图像。

6.根据权利要求5所述的跨域小样本的识别模型的训练方法，其特征在于，所述逆傅里叶变换定义为：

7.根据权利要求1所述的跨域小样本的识别模型的训练方法，其特征在于，所述在利用所述源域图像和所述类目标域图像进行训练的过程中，包括：获取所述源域图像和所述类目标域图像的特征矩阵；对所述特征矩阵进行处理，获得所述注意力矩阵，其中所述注意力矩阵包括查询矩阵、键矩阵和值矩阵；基于所述注意力矩阵，进行注意力计算。

8.根据权利要求7所述的跨域小样本的识别模型的训练方法，其特征在于，所述基于所述注意力矩阵，进行注意力计算，包括：将所述源域图像的键矩阵和/或所述类目标域图像的键矩阵替换为所述目标域图像的键矩阵。

9.一种识别方法，其特征在于，包括：获取多张跨域样本图像；将所述跨域样本图像输入至识别模型，获得所述跨域样本图像的识别结果，所述识别模型为根据权利要求1-8任一项所述的跨域小样本的识别模型的训练方法训练得到的模型。

10.一种处理设备，其特征在于，包括：

技术总结
本申请公开了一种跨域小样本的识别模型的训练方法、识别方法及设备，训练方法包括：获取任意源域图像的振幅特征和任意目标域图像的振幅特征，将源域图像的振幅特征替换为目标域图像的振幅特征，获得类目标域图像；将多张源域图像、多张目标域图像和多张类目标域图像作为训练集；利用训练集对识别模型进行训练，其中在利用源域图像和类目标域图像进行训练的过程中，将源域图像的注意力矩阵和类目标域图像的注意力矩阵替换为目标域图像的注意力矩阵，以对源域图像和类目标域图像的特征矩阵进行重建。本申请能够实现目标域的信息感知，从而能够增强源域图像的表达能力，能更好丰富样本特征。

技术研发人员：段立新,何雨航,张彦如,黄野,杨涵,刘刚
受保护的技术使用者：电子科技大学（深圳）高等研究院
技术研发日：
技术公布日：2024/9/23