本发明属于图像处理，具体涉及一种基于增强特征空间对齐融合网络的人群计数方法。
背景技术：
1、人群计数作为计算机视觉领域的重要问题之一，对于现代社会具有至关重要的意义。准确的人群计数不仅可以为城市规划、安全监控和交通管理等领域提供重要支持，还可以在各种大型活动的安保和人流管理中发挥关键作用。通过实时监测和准确计数人群，可以更好地理解城市人口分布和流动情况，为城市发展规划和资源分配提供科学依据。人群计数技术的研究和发展对于提高城市管理和社会运行效率具有重要意义。
2、在实际应用场景中，由于存在目标遮挡、尺度变化、背景复杂和非均匀分布等问题，人群计数研究仍然具有挑战性。
技术实现思路
1、解决的技术问题：为了应对人群图像中的尺度变化和非均匀分布的问题，本发明公开了一种基于增强特征空间对齐融合网络的人群计数方法，能够充分利用人群计数任务中特征图的空间信息进行特征增强和特征对齐，密度图质量更高，计数准确率更高。
2、技术方案：
3、一种基于增强特征空间对齐融合网络的人群计数方法，所述人群计数方法包括以下步骤：
4、s1：获取人群图像数据集并进行数据预处理，将人群图像数据集划分成训练集、验证集和测试集，利用标注图产生人群密度图；
5、s2：构建增强特征空间对齐融合网络，所述增强特征空间对齐融合网络包括特征提取网络、三个空间可分离特征增强模块、两个空间对齐特征融合模块和密度图生成模块；
6、所述增强特征空间对齐融合网络使用vgg-16网络的前13个卷积层和前4个池化层作为特征提取网络，对人群图像中的特征进行提取；所述三个空间可分离特征增强模块分别对第3个最大池化层、第4个最大池化层和第13个卷积层输出的特征图c1、特征图c2和特征图c3进行特征增强，获得特征图s1、特征图s2和特征图s3；其中一个空间对齐特征融合模块将作为浅层特征的特征图s2和作为深层特征的特征图s3进行特征融合，输出特征图a1；另一个空间对齐特征融合模块将作为浅层特征的特征图s1和作为深层特征的特征图a1进行特征融合，输出特征图a2；所述密度图生成模块对特征图c2和特征图a2进行处理，输出与输入图像相同尺寸的人群密度图，再对人群密度图进行积分运算得到人群数量；
7、s3：利用步骤s1得到的训练集、验证集对增强特征空间对齐融合网络进行训练，获得最优网络模型；
8、s4：将步骤s1得到的测试集输入到步骤s3得到的最优网络模型，得到人群图像计数结果。
9、步骤s1进一步包括以下步骤：
10、s11：从开源数据集网站下载或自制的人群图像数据集；
11、s12：将人群图像数据集中的图片以及其标注图进行尺寸缩放；
12、s13：将缩放后的图片及标注图划分为训练集、验证集及测试集；
13、s14：采用高斯核函数对标注图生成真实人群密度图。
14、进一步地，所述空间可分离特征增强模块将输入的特征图送入三个空间可分离卷积分支中进行卷积处理，三个空间可分离卷积分支的卷积核大小分别设置为5、7、9；接着将三个空间可分离卷积分支的输出直接相加，相加结果经过3×3卷积层卷积后分别送入三个通道分支，在第一个通道分支依次进行最大池化、1×1卷积、relu激活和1×1卷积操作，在第二个通道分支依次进行平均池化、1×1卷积、relu激活和1×1卷积操作；然后将第一个通道分支和第二个通道分支输出的特征图相加后，使用sigmoid激活得到通道注意力权重；再将第三个分支的特征图与通道注意力权重相乘，得到空间可分离特征增强模块的输出特征图。
15、进一步地，所述空间对齐特征融合模块对输入的深层特征进行上采样使其尺寸与浅层特征相同，接着将上采样的结果与浅层特征进行拼接，拼接后的特征通过一个1×1卷积和一个输出通道数为4的3×3卷积，接着将输出结果分别与浅层特征和经过上采样的深层特征相加，其输出结果再分别输入一个3×3卷积，然后将输出特征使用配准函数r通过插值的方式对不同深度的特征图进行空间对齐，将对齐后的不同深度的特征图进行相加得到初步融合特征；同时将浅层特征分别进行平均池化和最大池化，将两个池化后的结果拼接后进行7×7的卷积操作，接着使用sigmoid激活函数进行激活生成空间注意力权重，将初步融合特征与空间注意力权重相乘，得到空间对齐特征融合模块输出的融合特征。
16、进一步地，所述密度图生成模块将特征图c2与特征图a2进行拼接，再利用输出通道数逐渐降低的四个3×3卷积来减少融合后特征图的通道，最后使用通道数为1的1×1卷积来生成密度图。
17、步骤s3进一步包括以下步骤：
18、s31：设定训练模型初始参数；
19、s32：采用l2范数损失函数计算损失，根据损失函数计算梯度，使用随机梯度下降优化器来更新网络模型参数；
20、s33：使用平均绝对误差mae和均方误差mse对增强特征空间对齐融合网络进行评估；
21、s34：重复步骤s32-s33训练过程，每训练完一轮使用验证集对增强特征空间对齐融合网络进行评估，直至训练轮数全部完成，保存最优网络模型。
22、步骤s4进一步包括以下步骤：
23、s41：导入步骤s3中获得的最优网络模型，输入步骤s1中得到的测试集的图片及其真实人群密度图；
24、s42：计算平均绝对误差mae和均方误差mse评分，保存测试结果。
25、有益效果：
26、本发明公开了一种基于增强特征空间对齐融合网络的人群计数方法，设计了空间可分离特征增强模块，利用金字塔结构提取更丰富的多尺度特征，使用空间可分离卷积增大感受野和控制网络模型的参数量，并提出空间对齐特征融合模块，计算每个像素的偏移量，在特征融合时进行配准，以缓解不同层次特征融合时产生的错位现象，从而生成更高质量的人群密度图，提高整体图像的计数准确性。本发明能够充分利用人群计数任务中特征图的空间信息进行特征增强和特征对齐，人群密度图质量更高，计数准确率更高。
1.一种基于增强特征空间对齐融合网络的人群计数方法，其特征在于，所述人群计数方法包括以下步骤：
2.根据权利要求1所述的基于增强特征空间对齐融合网络的人群计数方法，其特征在于，步骤s1进一步包括以下步骤：
3.根据权利要求1所述的基于增强特征空间对齐融合网络的人群计数方法，其特征在于，所述空间可分离特征增强模块将输入的特征图送入三个空间可分离卷积分支中进行卷积处理，三个空间可分离卷积分支的卷积核大小分别设置为5、7、9；接着将三个空间可分离卷积分支的输出直接相加，相加结果经过3×3卷积层卷积后分别送入三个通道分支，在第一个通道分支依次进行最大池化、1×1卷积、relu激活和1×1卷积操作，在第二个通道分支依次进行平均池化、1×1卷积、relu激活和1×1卷积操作；然后将第一个通道分支和第二个通道分支输出的特征图相加后，使用sigmoid激活得到通道注意力权重；再将第三个分支的特征图与通道注意力权重相乘，得到空间可分离特征增强模块的输出特征图。
4.根据权利要求1所述的基于增强特征空间对齐融合网络的人群计数方法，其特征在于，所述空间对齐特征融合模块对输入的深层特征进行上采样使其尺寸与浅层特征相同，接着将上采样的结果与浅层特征进行拼接，拼接后的特征通过一个1×1卷积和一个输出通道数为4的3×3卷积，接着将输出结果分别与浅层特征和经过上采样的深层特征相加，其输出结果再分别输入一个3×3卷积，然后将输出特征使用配准函数r通过插值的方式对不同深度的特征图进行空间对齐，将对齐后的不同深度的特征图进行相加得到初步融合特征；同时将浅层特征分别进行平均池化和最大池化，将两个池化后的结果拼接后进行7×7的卷积操作，接着使用sigmoid激活函数进行激活生成空间注意力权重，将初步融合特征与空间注意力权重相乘，得到空间对齐特征融合模块输出的融合特征。
5.根据权利要求1所述的基于增强特征空间对齐融合网络的人群计数方法，其特征在于，所述密度图生成模块将特征图c2与特征图a2进行拼接，再利用输出通道数逐渐降低的四个3×3卷积来减少融合后特征图的通道，最后使用通道数为1的1×1卷积来生成密度图。
6.根据权利要求1所述的基于增强特征空间对齐融合网络的人群计数方法，其特征在于，步骤s3进一步包括以下步骤：
7.根据权利要求1所述的基于增强特征空间对齐融合网络的人群计数方法，其特征在于：步骤s4进一步包括以下步骤：
