一种基于外部记忆的注意力权重分配的图像相似度匹配方法
本发明属图像检索领域，主要涉及一种基于外部记忆的注意力权重分配的图像相似度匹配方法。
背景技术：
1、在当今时代，图像数据的大规模增长引起了对高效图像数据管理与利用方法的需求。应运而生的图像检索技术，旨在解决从庞大的图像数据库中快速定位用户所需图像的挑战。
2、在图像检索领域中，常见的检索算法包括基于特征的方法、基于内容的图像检索(cbir)，以及基于深度学习的先进方法。然而，现有的传统算法多从单一模态角度出发，来评估输入样本间的相关性，限制了其处理图像中复杂场景和对象关系的能力。例如，在用户寻求与包含多个物体的图像相似的图像时，传统算法可能仅依赖像素值或特征向量等单一模态进行相似度匹配，忽略了物体间的关系及其语义信息，这可能导致检索结果的不精确或不全面。
3、因此，传统的单模态图像相似度匹配方法在面对实际应用中的复杂情境时，其相关性评估往往不尽如人意。
技术实现思路
1、为了克服上述现有技术中的缺陷，本发明提供了一种新颖的图像相似度匹配方法。该方法基于外部记忆机制，通过注意力权重分配，以期望得到样本和样本之间在不同关系下的不同相似度，从而获取到外部记忆选择权重最高的图像对作为最相似的图像对。
2、本发明为解决技术问题，采用如下的技术方案：
3、本发明种基于外部记忆的注意力权重分配的图像相似度匹配方法的特点在于，是按如下步骤进行：
4、步骤1：获取一个含有m个样本的图像数据集其中，xp表示第p个样本；m表示数据集中样本数量；
5、使用卷积神经网络对图像数据集中第p个样本xp进行特征提取，得到特征维数为k的第p个样本的高层特征表示φp＝φ(xp,ω)，其中，ω为卷积神经网络中待学习的参数集合；
6、步骤2：获取n个维度为k的关系向量其中，ay表示第y个关系向量；n表示关系向量数量；
7、步骤3：利用式(1)构建第p个样本xp和第q个样本xq在第y个关系向量ay下的相似度作为外部初始记忆：
8、
9、式(1)中，sig表示sigmoid函数；t表示转置；φq为第q个样本xq经过卷积神经网络处理的高层特征表示；
10、步骤4：构建两个外部选择模型，包括：外部样本选择模型和外部关系选择模型，用于对外部记忆选择权重进行分配，得到外部样本记忆选择权值和外部关系记忆选择权值；
11、步骤4.1：外部样本选择模型利用式(2)计算在第y个关系向量ay下第p个样本xp的第i个近邻样本和第q个样本xq的第j个近邻样本的外部样本记忆选择权值
12、
13、式(2)中，表示在第y个关系向量ay下第p个样本xp的第i个近邻样本和第q个样本xq的第j个近邻样本与第p个样本和第q个样本的相似度差值，由式(3)得到；
14、
15、式(3)中，softplus表示softplus函数；φp(i)表示第p个样本xp的第i个近邻样本，φq(j)表示第q个样本xq的第j个近邻样本；
16、步骤4.2：外部关系选择模型利用式(4)计算在第y个关系向量ay下第p个样本xp和第q个输入样本xq之间的外部关系记忆选择权值αy(pq)：
17、
18、式(4)中，exp表示指数函数；
19、步骤5：通过选择优化法和全局优化法对外部选择模型进行优化，并构建损失函数l来衡量各外部选择模型的输出与实际标签之间的差异，以得到最佳的外部选择模型；
20、步骤6：设定第p个样本xp为索引样本，第q个样本xq为测试样本；利用训练好的最佳外部选择模型对索引样本和测试样本进行检测，得到索引样本及其近邻样本和测试样本及其近邻样本在各种关系向量下组成的图像对及其对应的外部记忆选择权重，随后按照外部记忆选择权值的大小进行排序，从而得到外部记忆选择权值最高的图像对，并作为最相似的图像对。
21、本发明所述的一种基于外部记忆的注意力权重分配的图像相似度匹配方法，的特点也在于，所述步骤5是按如下步骤进行：
22、步骤5.1：先对外部样本选择模型进行优化，再对外部关系选择模型进行优化，以得到更准确的相似度值；
23、步骤5.1.1：利用式(5)得到第p个样本xp和第q个样本xq在外部样本记忆下的综合相似度sspq：
24、
25、式(5)中，为在第y个关系向量ay下第p个样本xp的近邻样本和第q个样本xq的加权相似度，并由式(6)得到：
26、
27、步骤5.1.2：利用式(7)得到第p个样本xp和第q个样本xq在外部关系记忆下的综合相似度srpq：
28、
29、步骤5.2：对外部样本记忆模型和外部关系记忆模型同时进行优化：
30、利用式(8)得到第p个样本xp和第q个样本xq在外部样本记忆和外部关系记忆下的综合相似度spq：
31、
32、步骤5.3：利用式(9)构建损失函数l：
33、
34、式(9)中，i+为图像数据集中拥有相同标签的正例样本图像集合，i-为图像数据集中拥有不同标签的负例样本图像集合；spq-表示与第p个样本xp拥有不相同标签的第q个输入样本xq在第y个关系向量ay下的相似度，spq+表示与第p个样本xp拥有相同标签的第q个输入样本xq在第y个关系向量ay下的相似度。
35、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述图像相似度匹配方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
36、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述图像相似度匹配方法的步骤。
37、与现有技术相比，本发明的有益效果体现在：
38、1、本发明方法利用了多特征融合的方法，综合挖掘了特征内部和特征之间的关系，使得表示学习效果显著优于直接使用原始数据特征的方法。这种融合策略不仅提高了模型的表达能力，也增强了对图像特征的抽象和理解能力；
39、2、本发明方法提供了基于样本和基于关系的两种外部记忆选择机制，可根据具体需求灵活选择输入样本的特性和样本之间的关系。通过赋予高权重突出符合当前需求的样本特性和关系，以及给予低权重忽略不相关的信息，从而有效地提高了相似度学习的效果。这种机制使得模型能够更加智能地适应不同的应用场景和任务需求，增强了模型的泛化能力和适用性；
40、3、经本发明方法训练得到的图像相似度匹配模型，能够在实际应用场景中带来更准确的图像检索和匹配结果，为图像处理和应用提供了有力支持。
技术特征：
1.一种基于外部记忆的注意力权重分配的图像相似度匹配方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于外部记忆的注意力权重分配的图像相似度匹配方法，其特征在于，所述步骤5是按如下步骤进行：
3.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1或2所述图像相似度匹配方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
4.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1或2所述图像相似度匹配方法的步骤。
技术总结
本发明公开了一种基于外部记忆的注意力权重分配的图像相似度匹配方法，包括：1获取图像数据集的图像原始特征；2将图像原始特征替换为表示学习的结果，得到其高层表示；3对输入样本进行简单的相似度计算，获得其外部初始记忆；4构建两个外部选择模型来分配外部记忆选择权重，包括外部样本选择模型和外部关系选择模型；5通过选择优化和全局优化两种训练方法对外部选择模型进行优化训练，得到最佳训练模型；6利用训练好的外部选择模型对输入样本进行检测，得到外部记忆选择权重最高的图像对，作为最相似的图像对。本发明能提高相似度学习效果，从而能获得全局最相似的图像，使得图像匹配结果具有更好的可解释性。
技术研发人员：王希临,高欣健,洪致远,任梦妍,王昕,高隽
受保护的技术使用者：合肥工业大学
技术研发日：
技术公布日：2024/9/23