本申请涉及跨模态检索，特别是涉及一种特征构建方法、跨模态检索方法、跨模态检索装置以及计算机存储介质。
背景技术：
1、跨模态图文检索是一个多领域交叉的研究方向，旨在探索和实现不同媒介类型数据（如图像和文本）之间的有效匹配与检索。这个领域的兴起与多媒体数据的爆炸性增长紧密相关，特别是在互联网和移动互联网时代，用户对于快速、准确地获取和理解跨类型信息的需求日益增强。
2、随着社交媒体、电商平台、数字图书馆等应用的普及，信息检索不再局限于单一模态，用户可能希望通过一段描述性的文本找到相关的图片，或是上传一张图片查询与之匹配的文字信息。传统检索方法往往针对单一模态设计，难以直接应用于跨模态场景。因此，跨模态图文检索应运而生，它通过深度学习、计算机视觉、自然语言处理等技术，构建能够理解和桥接图像和文本之间语义鸿沟的模型，实现图文之间的高效检索和理解。
3、然而，目前的多模态信息检索方法，可以完成图片、文本、音频等多种模态检索，但使用图片全局粒度特征去检索，不利于目标细粒度检索，导致跨模态检索效果较差。
技术实现思路
1、为解决上述技术问题，本申请提出了一种特征构建方法、跨模态检索方法、跨模态检索装置以及计算机存储介质。
2、为解决上述技术问题，本申请提出了一种特征构建方法，所述特征构建方法包括：
3、对原始模态数据进行分割，获取若干分割数据段；
4、将所述原始模态数据输入模态编码器，提取所述原始模态数据的局部模态特征和全局模态特征；
5、利用所述局部模态特征，获取每一分割数据段的目标粒度特征；
6、将所述全局模态特征和所有所述目标粒度特征拼接，得到目标模态特征；
7、建立所述目标模态特征与预设查询特征的对齐关系，得到所述原始模态数据的多粒度检索特征。
8、其中，所述利用所述局部模态特征，获取每一分割数据段的目标粒度特征，包括：
9、获取每一分割数据段在所述局部模态特征上的特征集合；
10、对所述特征集合进行特征池化，得到所述每一分割数据段的目标粒度特征。
11、其中，所述特征池化的方式包括感兴趣区域池化，和/或平均池化。
12、其中，所述建立所述目标模态特征与预设查询特征的对齐关系，包括：
13、将所述目标模态特征与所述预设查询特征输入交叉注意力层，以将每一预设查询特征分别与所述目标模态特征进行交叉注意力操作，建立所述目标模态特征与相关查询特征的对齐关系。
14、其中，所述建立所述目标模态特征与预设查询特征的对齐关系之前，所述特征构建方法还包括：
15、将每一预设查询特征输入自注意力层，以调整所述每一预设查询特征中各子特征的注意力权重。
16、为解决上述技术问题，本申请还提出一种跨模态检索方法，所述跨模态检索方法包括：
17、获取第一模态数据的特征向量底库，其中，所述特征向量底库中的每一多粒度检索特征通过上述的特征构建方法构建；
18、获取第二模态数据的查询数据特征；
19、计算所述查询数据特征与所述每一多粒度检索特征的匹配相似度；
20、根据所述匹配相似度对所述特征向量底库的多粒度检索特征进行排序，输出检索结果。
21、其中，所述计算所述查询数据特征与所述每一多粒度检索特征的匹配相似度，包括：
22、获取所述查询数据特征的各子数据特征；
23、获取所述每一多粒度检索特征中的目标模态特征，以及相关查询特征；
24、利用所述目标模态特征与所述查询数据特征，计算第一匹配相似度；
25、利用所述目标模态特征与所述查询数据特征的各子数据特征，计算第二匹配相似度；
26、利用所述相关查询特征与所述查询数据特征的各子数据特征，计算第三匹配相似度；
27、利用所述相关查询特征与所述查询数据特征，计算第四匹配相似度；
28、基于所述第一匹配相似度、所述第二匹配相似度，所述第三匹配相似度以及所述第四匹配相似度，计算所述查询数据特征与所述每一多粒度检索特征的匹配相似度。
29、其中，所述第一模态数据为图像数据、文本数据、音频数据、视频数据中的任意一种，所述第二模态数据为图像数据、文本数据、音频数据、视频数据中的任意一种；
30、其中，所述第一模态数据和所述第二模态数据为不同模态的数据。
31、为解决上述技术问题，本申请还提出一种跨模态检索装置，所述跨模态检索装置包括存储器以及与所述存储器耦接的处理器；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的特征构建方法，和/或跨模态检索方法。
32、为解决上述技术问题，本申请还提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现上述的特征构建方法，和/或跨模态检索方法。
33、与现有技术相比，本申请的有益效果是：跨模态检索装置对原始模态数据进行分割，获取若干分割数据段；将所述原始模态数据输入模态编码器，提取所述原始模态数据的局部模态特征和全局模态特征；利用所述局部模态特征，获取每一分割数据段的目标粒度特征；将所述全局模态特征和所有所述目标粒度特征拼接，得到目标模态特征；建立所述目标模态特征与预设查询特征的对齐关系，得到所述原始模态数据的多粒度检索特征。通过上述特征构建方法，通过局部特征和全局特征表征模态数据，构建多粒度检索特征，实现不同模态数据之间的精细化特征对齐。
1.一种特征构建方法，其特征在于，所述特征构建方法包括：
2.根据权利要求1所述的特征构建方法，其特征在于，
3.根据权利要求2所述的特征构建方法，其特征在于，
4.根据权利要求1所述的特征构建方法，其特征在于，
5.根据权利要求1或4所述的特征构建方法，其特征在于，
6.一种跨模态检索方法，其特征在于，所述跨模态检索方法包括：
7.根据权利要求6所述的跨模态检索方法，其特征在于，
8.根据权利要求6所述的跨模态检索方法，其特征在于，
9.一种跨模态检索装置，其特征在于，所述跨模态检索装置包括存储器以及与所述存储器耦接的处理器；
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至5任一项所述的特征构建方法，和/或权利要求6至8任一项所述的跨模态检索方法。
