本发明涉及图像数据处理，尤其涉及一种方向未对齐条件下的跨视角图像地理定位方法及装置。
背景技术：
1、跨视角图像地理定位是一种基于多源图像进行地理定位的方法，可以为后续任务，如机器人导航、自动驾驶和三维重建等，提供技术支持。
2、现有的大部分跨视角地理定位数据集中的地面全景影像与遥感影像的方向均为已知且对齐。对于地面全景影像，图像正中间位置所指的方向为正北方向，与极坐标变换后的遥感影像的方向相对应。基于现有的跨视角地理定位数据集，目前进行的跨视角地理定位研究大多是在图像方向已知且对齐的假设下进行的，将地理定位任务视为纯粹的位置估计问题，而忽略了方向对齐。
3、由此可见，相关技术中的跨视角图像地理定位方法，存在地面全景影像方向必须对齐的限制。
技术实现思路
1、本发明提供一种方向未对齐条件下的跨视角图像地理定位方法及装置，用以解决相关技术中的跨视角图像地理定位方法，存在地面全景影像与遥感影像方向必须对齐的限制，实现能够进行地面影像与遥感影像方向未对齐条件下的地理定位。
2、本发明提供一种方向未对齐条件下的跨视角图像地理定位方法，包括如下步骤。对地面全景影像进行目标次数的360度范围内的不同程度的随机偏移，生成与所述目标次数对应的目标数量的偏移地面全景影像，其中，所述地面全景影像的方向为未知方向，所述地面全景影像的视角为360度；将所述地面全景影像与所述目标数量的偏移地面全景影像分别输入至预训练的生成式网络模型，得到由所述预训练的生成式网络模型输出的仿真的极坐标变换后的遥感影像，其中，所述仿真的极坐标变换后的遥感影像的数量为所述目标数量与常数1的加和值；对遥感影像样本集中的每个遥感影像进行极坐标变换，得到极坐标变换后的遥感影像数据集；调用预设的卷积神经网络分别对所述仿真的极坐标变换后的遥感影像以及极坐标变换后的遥感影像数据集进行特征提取，分别得到第一特征向量集合以及第二特征向量集合；调用预设的特征聚合结构分别对所述第一特征向量集合与所述第二特征向量集合进行特征聚合，得到第一输出集合以及第二输出集合，其中，所述预设的特征聚合结构具有空间感知能力；对所述第一输出集合与所述第二输出集合进行特征匹配，得到排序结果，其中，所述排序结果的数量为所述目标数量与常数1的加和值；基于所述排序结果进行决策，得到最终排序结果，以用于图像地理定位。
3、根据本发明提供的一种方向未对齐条件下的跨视角图像地理定位方法，所述对遥感影像样本集中的每个遥感影像进行极坐标变换，得到极坐标变换后的遥感影像数据集，包括：针对遥感影像样本集中的每个遥感影像的每个像素点坐标，以中心像素为中心分别进行极坐标变换，得到极坐标变换后的遥感影像数据集。
4、根据本发明提供的一种方向未对齐条件下的跨视角图像地理定位方法，所述对地面全景影像进行目标次数的360度范围内的不同程度的随机偏移，生成与所述目标次数对应的目标数量的偏移地面全景影像，包括：获取地面全景影像；通过预设的随机函数随机获取所述地面全景影像的起始位置像素坐标；以所述起始位置像素坐标的横坐标作为对称轴进行裁剪，得到第一部分影像与第二部分影像；将所述第一部分影像拼接至所述第二部分影像之后，得到偏移地面全景影像。
5、根据本发明提供的一种方向未对齐条件下的跨视角图像地理定位方法，在所述将所述地面全景影像与所述目标数量的偏移地面全景影像分别输入至预训练的生成式网络模型，所述方法还包括：基于预设的目标函数以及预设的损失函数，构建生成式网络，所述生成式网络包括生成网络与辨别网络；获取地面全景影像训练集和极坐标变换后的遥感影像图像训练集；基于所述生成式网络将所述地面全景影像训练集转换为仿真的极坐标变换后的遥感影像训练集；基于所述辨别网络根据所述预设的目标函数对输入遥感影像进行辨别，确定所述输入遥感影像属于所述极坐标变换后的遥感影像图像训练集的第一概率以及属于所述仿真的极坐标变换后的遥感影像训练集的第二概率；基于所述第一概率与所述第二概率以及所述预设的损失函数对所述生成式网络进行更新，得到预训练的生成式网络模型。
6、根据本发明提供的一种方向未对齐条件下的跨视角图像地理定位方法，所述预设的特征聚合结构包括多个位置嵌入模块，其中，所述多个位置嵌入模块中的每个位置嵌入模块的架构相同且权重不同；所述位置嵌入模块包括通道方向的最大值池化、空间感知重要性生成器。
7、根据本发明提供的一种方向未对齐条件下的跨视角图像地理定位方法，所述基于所述排序结果进行决策，得到最终排序结果，包括：确定所述第一输出集合中的每个第一输出特征向量与所述第二输出集合中的每个第二输出特征向量的欧式距离，其中，所述欧式距离的数量为所述仿真的极坐标变换后的遥感影像的数量；基于所述欧式距离进行排序，得到排序结果。
8、本发明还提供一种方向未对齐条件下的跨视角图像地理定位装置，包括如下模块：生成模块，用于对地面全景影像进行目标次数的360度范围内的不同程度的随机偏移，生成与所述目标次数对应的目标数量的偏移地面全景影像，其中，所述地面全景影像的方向为未知方向，所述地面全景影像的视角为360度；输出模块，用于将所述地面全景影像与所述目标数量的偏移地面全景影像分别输入至预训练的生成式网络模型，得到由所述预训练的生成式网络模型输出的仿真的极坐标变换后的遥感影像，其中，所述仿真的极坐标变换后的遥感影像的数量为所述目标数量与常数1的加和值；变换模块，用于对遥感影像样本集中的每个遥感影像进行极坐标变换，得到极坐标变换后的遥感影像数据集；提取模块，用于调用预设的卷积神经网络分别对所述仿真的极坐标变换后的遥感影像以及极坐标变换后的遥感影像数据集进行特征提取，分别得到第一特征向量集合以及第二特征向量集合；聚合模块，用于调用预设的特征聚合结构分别对所述第一特征向量集合与所述第二特征向量集合进行特征聚合，得到第一输出集合以及第二输出集合，其中，所述预设的特征聚合结构具有空间感知能力；匹配模块，用于对所述第一输出集合与所述第二输出集合进行特征匹配，得到排序结果，其中，所述排序结果的数量为所述目标数量与常数1的加和值；决策模块，用于基于所述排序结果进行决策，得到最终排序结果，以用于图像地理定位。
9、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述方向未对齐条件下的跨视角图像地理定位方法。
10、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述方向未对齐条件下的跨视角图像地理定位方法。
11、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方向未对齐条件下的跨视角图像地理定位方法。
12、本发明提供的方向未对齐条件下的跨视角图像地理定位方法，通过对输入的地面全景影像进行多次随机方向偏移，并将地面全景影像与偏移地面全景影像共同输入预训练的生成式网络模型，由此，能够提升模型对不同方向输入的鲁棒性；共进行两次操作缩小两个视角影像间的差异：第一次为对遥感影像样本集中的每个遥感影像进行极坐标变换，得到极坐标变换后的遥感影像数据集，第二次为通过预训练的生成式网络模型输出的仿真的极坐标变换后的遥感影像，两次对视角差异的缩小有助于后续模型对视角差异过大影像的匹配；采用具有空间感知能力的特征聚合结构进行图像空间位置信息的嵌入，能够更好地把握图像包含的地物在不同视角下的空间位置关系。进而解决了相关技术中的跨视角图像地理定位方法，存在地面全景影像方向必须对齐的限制。
1.一种方向未对齐条件下的跨视角图像地理定位方法，其特征在于，包括：
2.根据权利要求1所述的方向未对齐条件下的跨视角图像地理定位方法，其特征在于，所述对遥感影像样本集中的每个遥感影像进行极坐标变换，得到极坐标变换后的遥感影像数据集，包括：
3.根据权利要求1所述的方向未对齐条件下的跨视角图像地理定位方法，其特征在于，所述对地面全景影像进行目标次数的360度范围内的不同程度的随机偏移，生成与所述目标次数对应的目标数量的偏移地面全景影像，包括：
4.根据权利要求1所述的方向未对齐条件下的跨视角图像地理定位方法，其特征在于，在所述将所述地面全景影像与所述目标数量的偏移地面全景影像分别输入至预训练的生成式网络模型之前，所述方法还包括：
5.根据权利要求1所述的方向未对齐条件下的跨视角图像地理定位方法，其特征在于，所述预设的特征聚合结构包括多个位置嵌入模块，其中，所述多个位置嵌入模块中的每个位置嵌入模块的架构相同且权重不同；所述位置嵌入模块包括通道方向的最大值池化、空间感知重要性生成器。
6.根据权利要求1所述的方向未对齐条件下的跨视角图像地理定位方法，其特征在于，所述基于所述排序结果进行决策，得到最终排序结果，包括：
7.一种方向未对齐条件下的跨视角图像地理定位装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方向未对齐条件下的跨视角图像地理定位方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方向未对齐条件下的跨视角图像地理定位方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方向未对齐条件下的跨视角图像地理定位方法。
