一种基于多特征融合的多模态舰船目标关联方法

本发明涉及目标关联领域，尤其是一种基于多特征融合的多模态舰船目标关联方法。

背景技术：

1、目标关联是数据融合过程的重要步骤，其本质是传感器量测与目标源之间的对应关系。根据应用场景的不同可以分为量测与目标的关联，和量测与量测的关联。前者的任务是将新获得的量测信息与已有目标进行对应，后者则是对同一目标群的多个量测进行一一对应。为了研究多模态目标关联问题，需要充分考虑多模态目标的各种特征。

2、多模态的目标关联任务，需要对不同模态的目标进行提取特征，再根据特征进行目标匹配关联。由于不同模态下的目标图像特征差异较大，使得单独使用提取特征来进行目标匹配关联效果较差。因此，提取目标其他信息并融合使用来提高目标匹配关联准确率，成为多模态目标关联邻域亟需研究讨论的问题。

技术实现思路

1、为了解决上述背景技术中的问题，本发明旨在提供一种基于多特征融合的多模态舰船目标关联方法，能够提取目标的多种特征进行融合和匹配关联，提高目标匹配关联准确率，可以很好地应用于多模态目标关联场景。

2、为解决上述技术问题，本发明提供一种基于多特征融合的多模态舰船目标关联方法，包括如下步骤：

3、1)利用目标检测所得多模态目标检测结果，从原图上将目标按照一定大小切磋成包含目标的子图像块；

4、2)以最大目标数量模态的目标数量构建匹配代价矩阵，目标数量少于矩阵维度的模态通过加入极值点进行补充；

5、3)利用神经网络提取各子图像块的深度特征形成特征向量，不同模态之间构建余弦相似度代价矩阵；

6、4)利用目标检测所得多模态目标检测结果提取目标位置信息构建欧式距离代价矩阵；

7、5)融合余弦相似度代价矩阵和欧式距离代价矩阵构建匹配代价矩阵，使用匈牙利算法计算得到多模态目标关联结果。

8、优选的，步骤(1)中，利用目标检测所得多模态目标检测结果，从原图上将目标按照一定大小切磋成包含目标的子图像块，具体步骤如下：

9、(1)利用多模态目标检测结果文件，提取各个目标检测框中心点坐标；

10、(2)根据各目标中心点坐标按照所需大小尺度计算子图像块范围，目标位于子图像块中央，若子图像块范围超出原图则进行补充；

11、(3)将各模态图像切割为包含目标的所需大小尺度的子图像块。

12、优选的，步骤(3)中，利用神经网络提取各子图像块的深度特征形成特征向量，不同模态之间构建余弦相似度代价矩阵，具体步骤如下：

13、(1)将子图像块输入到神经网络中提取特征得到多维特征向量；

14、(2)将多维特征向量重塑为一维特征向量；

15、(3)将不同模态提取得到的不同目标的一维特征向量，分别计算余弦相似度cosθ；

16、

17、其中a和b分别表示不同模态的目标图像块的特征向量，ai和bi分别表示各特征向量中的元素；

18、(4)利用余弦相似度cosθ构建不同模态之间的目标余弦相似度代价矩阵。

19、优选的，步骤(4)中，利用目标检测所得多模态目标检测结果提取目标位置信息构建欧式距离代价矩阵，具体步骤如下：

20、(1)利用多模态目标检测结果文件，提取各个目标检测框中心点坐标；

21、(2)在同一坐标系下，根据不同模态目标中心点坐标，分别计算不同模态的不同目标之间的欧式距离c；

22、

23、其中(xi，yi)和(xj，yj)分别为不同模态的目标中心点坐标值。

24、(3)利用欧式距离c构建不同模态的目标之间的欧式距离代价矩阵。

25、优选的，步骤(5)中，融合余弦相似度代价矩阵和欧式距离代价矩阵构建匹配代价矩阵，通过匈牙利算法计算得到多模态目标关联结果，具体步骤如下：

26、(1)将根据神经网络提取的特征向量构建的余弦相似度代价矩阵进行归一化，归一化计算公式为：

27、

28、其中xmax为矩阵中最大值，xmin为矩阵中最小值，x为矩阵中各元素，x*为归一化后矩阵中的元素。

29、(2)将根据多模态目标检测信息提取的位置特征构建的欧式距离代价矩阵根据步骤1中的归一化方式进行矩阵归一化；

30、(3)将步骤1和步骤2得到的归一化矩阵进行融合，通过匈牙利算法进行最小匹配代价计算，得到多模态目标关联结果。

31、本发明的有益效果为：本发明在深度网络提取目标深度特征的基础下，融合多模态目标的其他特征进行目标关联匹配。提高目标关联准确率，并且可以很好地应用于多模态目标关联场景。

技术特征：

1.一种基于多特征融合的多模态舰船目标关联方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于多特征融合的多模态舰船目标关联方法，其特征在于，步骤1)具体为：

3.如权利要求1所述的基于多特征融合的多模态舰船目标关联方法，其特征在于，步骤3)具体为：

4.如权利要求1所述的基于多特征融合的多模态舰船目标关联方法，其特征在于，步骤4)具体为：

5.如权利要求4所述的基于多特征融合的多模态舰船目标关联方法，其特征在于，步骤5)具体为：

技术总结
本发明公开了一种基于多特征融合的多模态舰船目标关联方法，包括如下步骤：首先根据多模态目标检测所得结果，将多模态舰船目标从原图上按照一定大小切割成只包含舰船目标和少量背景的子图像块，然后利用神经网络提取子图像块的深度特征形成特征向量，不同模态图像的目标之间构建余弦距离矩阵；同时根据多模态检测结果提取各模态舰船目标位置信息构建欧式距离矩阵；考虑到不同模态图像检测到的目标数量不同的情况，以最大目标数量的模态的目标数量构建匹配矩阵，目标数量少于矩阵维度的模态通过加入极值点进行补充；融合神经网络提取的深度特征和检测结果提取的位置特征构建代价矩阵，通过匈牙利算法计算得到最小代价匹配结果，即多模态目标关联结果。

技术研发人员：闫钧华,皮家豪,张寅,岳晨珂,景玮霖,罗照龙,吴佳康,陈默
受保护的技术使用者：南京航空航天大学
技术研发日：
技术公布日：2024/9/23