基于图像检测器原始输出的图像融合检测方法及装置

本公开涉及视觉检测和图像处理领域，尤其涉及一种基于图像检测器原始输出的图像融合检测方法及装置。

背景技术：

1、随着图像处理技术的发展和图像识别技术的广泛应用，对图像识别的准确性要求也越来越高。利用多源图像融合技术进行目标检测可以充分利用多源图像的互补信息与冗余信息，有助于提升目标检测性能。

2、在相关技术的图像融合方法中，在确定融合后的最终检测结果类别时，大多是直接使用不同检测器各自的检测结果类别与最终检测得分来进行融合，这使得融合后的检测结果完全依赖于检测结果类别和最终检测得分，而无法获得各个检测器在检测过程中的更多信息，可能导致难以进一步提高融合后的检测结果的准确性。

技术实现思路

1、本公开提供一种基于图像检测器原始输出的图像融合检测方法及装置，以至少解决相关技术中在图像检测结果融合时无法获得更多的检测信息而导致难以提高融合后检测结果的准确性的问题。本公开的技术方案如下：

2、根据本公开的第一方面，提供一种基于图像检测器原始输出的图像融合检测方法，所述图像融合检测方法包括：获取多个图像检测器分别对针对同一场景的多个信源的图像进行检测所得到的检测结果，其中，所述信源与所述图像检测器一一对应，每个检测结果表示在相应信源的图像中检测到的一个目标对象，所述检测结果包括相应的图像检测器的原始输出；对不同图像检测器的检测结果进行配对，得到配对的检测结果；基于所述原始输出，将所述配对的检测结果进行融合，得到融合的检测结果。

3、可选地，每个图像检测器的检测结果形成检测结果集合，针对所述多个图像检测器中的任意两个图像检测器，通过以下方式对不同图像检测器的检测结果进行配对：针对所述两个图像检测器中的第一图像检测器的第一检测结果集合中的各第一检测结果，依次执行以下操作：响应于在所述两个图像检测器中的第二图像检测器的当前第二检测结果集合中存在与当前第一检测结果的交并比大于或等于预设交并比阈值的候选第二检测结果，将当前第一检测结果与所述候选第二检测结果中与当前第一检测结果的交并比最大的目标第二检测结果配对；响应于在当前第二检测结果集合中不存在所述候选第二检测结果，将当前第一检测结果与空检测结果配对。

4、可选地，所述图像融合检测方法还包括：响应于将当前第一检测结果与所述目标第二检测结果配对，从当前第二检测结果集合中，删除除了所述目标第二检测结果之外的其他候选第二检测结果。

5、可选地，所述原始输出包括分类分数向量，所述配对的检测结果中包括第一配对结果和第二配对结果，其中，所述对所述配对的检测结果进行融合，得到融合的检测结果的步骤包括：通过比较所述第一配对结果的第一分类分数向量中的最大分类分数与所述第二配对结果的第二分类分数向量中的最大分类分数，确定融合的分类分数向量；基于所述融合的分类分数向量，确定所述融合的检测结果。

6、可选地，所述原始输出还包括置信度，其中，通过以下方式确定所述融合的分类分数向量：响应于所述第一配对结果的第一分类分数向量中的最大分类分数与所述第二配对结果的第二分类分数向量中的最大分类分数之间的差异大于预设分数阈值，将所述第一分类分数向量和所述第二分类分数向量中最大分类分数较大的分类分数向量作为所述融合的分类分数向量；响应于所述第一分类分数向量中的最大分类分数与所述第二分类分数向量中的最大分类分数之间的差异小于或等于所述预设分数阈值，将所述第一配对结果和所述第二配对结果中置信度较高的配对结果的分类分数向量作为所述融合的分类分数向量。

7、可选地，通过以下方式确定所述融合的检测结果：对所述第一配对结果的置信度和所述第二配对结果的置信度进行融合，得到融合的置信度；基于所述融合的置信度和所述融合的分类分数向量，确定所述融合的检测结果。

8、可选地，通过以下方式确定所述融合的检测结果：响应于所述融合的分类分数向量中的最大分类分数大于预设得分阈值，确定所述融合的检测结果的分类为图像中的目标；响应于所述融合的分类分数向量中的最大分类分数小于或等于所述预设得分阈值，确定所述融合的检测结果的分类为图像中的背景。

9、可选地，所述原始输出还包括回归分支输出向量，通过以下方式确定所述融合的检测结果：基于所述第一配对结果的第一回归分支输出向量和所述第二配对结果的第二回归分支输出向量，确定所述第一回归分支输出向量和所述第二回归分支输出向量中的每个回归分支输出向量的子分布中较大的两个值；基于所述两个值之间的距离以及所述两个值之和，分别确定所述第一回归分支输出向量的第一统计量和所述第二回归分支输出向量的第二统计量；响应于所述第一统计量和所述第二统计量均小于预设统计量阈值，确定所述融合的检测结果的分类为图像中的背景；响应于所述第一统计量和所述第二统计量中的至少一者大于或等于所述预设统计量阈值，确定所述融合的检测结果的分类为图像中的目标。

10、可选地，所述图像融合检测方法还包括：响应于所述融合的检测结果的分类为图像中的目标，将所述融合的分类分数向量中的最大元素所对应的类别作为所述目标的类别，并且通过融合所述第一配对结果中的目标检测位置和所述第二配对结果中的目标检测位置，确定所述融合的检测结果的目标检测位置。

11、根据本公开的第二方面，提供一种基于图像检测器原始输出的图像融合检测装置，所述图像融合检测装置包括：获取单元，被配置为获取多个图像检测器分别对针对同一场景的多个信源的图像进行检测所得到的检测结果，其中，所述信源与所述图像检测器一一对应，每个检测结果表示在相应信源的图像中检测到的一个目标对象，所述检测结果包括相应的图像检测器的原始输出；配对单元，被配置为对不同图像检测器的检测结果进行配对，得到配对的检测结果；融合单元，被配置为基于所述原始输出，将所述配对的检测结果进行融合，得到融合的检测结果。

12、根据本公开的第三方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器，其中，所述处理器可执行指令在被所述处理器运行时，促使所述处理器执行根据本公开的实施例所述的基于图像检测器原始输出的图像融合检测方法。

13、根据本公开的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据本公开的实施例所述的基于图像检测器原始输出的图像融合检测方法。

14、根据本公开的第五方面，提供一种计算机程序产品，其包括计算机可执行指令，所述计算机可执行指令被至少一个处理器执行时实现根据本公开的实施例所述的基于图像检测器原始输出的图像融合检测方法。

15、本公开提供的技术方案至少带来以下有益效果：

16、采用本公开，可以获取多个图像检测器分别对针对同一场景的多个信源的图像进行检测所得到的检测结果，检测结果包括检测器的原始输出，可以对不同图像检测器的检测结果进行配对，并基于原始输出，对配对的检测结果进行融合，得到融合的检测结果，如此，由于检测器的原始输出中包含更多的信息，使用原始输出作为融合过程的输入，有利于设计更好的融合方法，有助于得到更加准确的融合分类结果。

17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种基于图像检测器原始输出的图像融合检测方法，其特征在于，所述图像融合检测方法包括：

2.根据权利要求1所述的图像融合检测方法，其特征在于，每个图像检测器的检测结果形成检测结果集合，针对所述多个图像检测器中的任意两个图像检测器，通过以下方式对不同图像检测器的检测结果进行配对：

3.根据权利要求2所述的图像融合检测方法，其特征在于，所述图像融合检测方法还包括：

4.根据权利要求1所述的图像融合检测方法，其特征在于，所述原始输出包括分类分数向量，所述配对的检测结果中包括第一配对结果和第二配对结果，其中，所述对所述配对的检测结果进行融合，得到融合的检测结果的步骤包括：

5.根据权利要求4所述的图像融合检测方法，其特征在于，所述原始输出还包括置信度，其中，通过以下方式确定所述融合的分类分数向量：

6.根据权利要求5所述的图像融合检测方法，其特征在于，通过以下方式确定所述融合的检测结果：

7.根据权利要求4所述的图像融合检测方法，其特征在于，通过以下方式确定所述融合的检测结果：

8.根据权利要求4所述的图像融合检测方法，其特征在于，所述原始输出还包括回归分支输出向量，通过以下方式确定所述融合的检测结果：

9.根据权利要求7或8所述的图像融合检测方法，其特征在于，所述图像融合检测方法还包括：

10.一种基于图像检测器原始输出的图像融合检测装置，其特征在于，所述图像融合检测装置包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据权利要求1至9中任一项所述的基于图像检测器原始输出的图像融合检测方法。

13.一种计算机程序产品，包括计算机可执行指令，其特征在于，所述计算机可执行指令被至少一个处理器执行时实现根据权利要求1至9中任一项所述的基于图像检测器原始输出的图像融合检测方法。

技术总结
本公开涉及视觉检测和图像处理领域，提供一种基于图像检测器原始输出的图像融合检测方法及装置，所述图像融合检测方法包括：获取多个图像检测器分别对针对同一场景的多个信源的图像进行检测所得到的检测结果；对不同图像检测器的检测结果进行配对，得到配对的检测结果；基于所述原始输出，将所述配对的检测结果进行融合，得到融合的检测结果。本公开可以解决融合后检测结果可能不够准确的问题，通过使用原始输出作为融合过程的输入，有利于设计更好的融合方法，有助于得到更加准确的融合分类结果。

技术研发人员：翁璐斌,胡宇轩,史利民,于强
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/9/23