本发明属于计算机视觉与模式识别，特别地涉及到一种基于频域特征增强的车辆黑烟检测方法。
背景技术：
1、近年来，人们随着生活质量的逐步提高，汽车保有量也越来越多，汽车在出行和运输行业扮演越来越重要的角色，而随着车辆数量的增加，排放的不合格尾气尤其是浓重黑烟尾气的排放成为造成环境污染的重要原因之一，对人类身体健康造成危害。而随着交通监控设备的广泛应用和人工智能、计算机视觉技术的飞速发展，基于监控设备拍摄的一系列图像和视频使用人工智能技术半自动或者全自动的分析处理一些任务成为可能，包括车辆黑烟检测任务。使用人工智能方法智能分析处理车辆黑烟检测任务一方面可以减轻人力负担，解放人力去做更复杂的工作，另一方面在一些场景下能够得到比人工观察方式更加稳定准确的效果。
2、传统实现车辆黑烟检测目标的方法通常基于背景差分法或基于颜色、形状等逻辑预先提取可能存在黑烟的候选区域，在通过人工设计特征或深度学习方法判断候选区域是否存在黑烟。这种方法在面临复杂的室外环境时效果表现不稳定，且容易出现漏检或误检的情况。近年来随着目标检测技术的发展，一些基于单张图片目标检测或多帧视频目标检测方法利用采集到的车辆道路行驶数据，提取基于rgb空间的外观特征或时空特征，以更有效准确的学习捕捉到黑烟的外观或运动特性来完成黑烟的检测。而这些方法虽然一定程度上提高了对于黑烟目标的检出率和准确率，但由于仅凭靠rgb颜色空间的特征在处理有车辆或建筑物阴影干扰、光线不足或路面状况较差偏黑色等存在与黑烟易混淆的情况时，也会出现较多的低质量区域的误检或不明显区域的漏检。
技术实现思路
1、针对现有车辆黑烟检测算法在有外观与黑烟相似的目标干扰下出现较多的误检和漏检问题，本发明提供了一种基于频域特征增强的车辆黑烟检测方法，本方法能充分提取图片中黑烟目标的频域特征并挖掘与其他易混淆目标的频域特征差异，进而完成对于任意一张图片中黑烟目标的识别和定位。据我们所知，在车辆黑烟检测任务中这是首次使用深度学习方法将频域特征与rgb基础特征进行融合提升现实场景中车辆黑烟检测精度的方法。
2、为实现上述目的，本发明中的基于频域特征增强的车辆黑烟检测方法采用的技术方案如下：
3、一种基于频域特征增强的车辆黑烟检测方法，具体包括如下步骤：
4、(1)将在道路收集的车辆行驶视频拆分为一系列单帧图片集合，并对有黑烟图片标注黑烟包围框；
5、(2)若使用单帧图片目标检测网络，则从图片集合中随机选择一张目标图片i，输入rgb特征提取网络e提取基础特征frgb；若使用多帧视频目标检测网络，则从图片集合中随机选择一张目标图片i与相邻的若干张图片iref，输入rgb特征提取网络e提取基础特征frgb；
6、(3)将步骤(2)选择的目标图片i从rgb色彩空间转换为ycbcr色彩空间，使用分块二维离散余弦变换dct-2d获得频域信息ff；再将频域信息ff输入到频域特征提取网络m，使用频率维度和空间维度的自注意力方法对有助于区分黑烟的特征进行增强，并进一步使用卷积神经网络提取高感受野、高语义的频域特征ffreq；
7、(4)将步骤(2)得到的基础特征frgb和步骤(3)得到的频域特征ffreq输入特征聚合网络a，先对两种特征进行通道拼接再使用空间注意力机制和通道注意力机制进行增强，然后使用投影模块对增强后的特征进行融合，获得最终的融合特征fagg；
8、(5)将融合特征fagg输入黑烟检测头h获得黑烟的包围框预测结果b和类别置信度c；根据包围框和类别真值计算损失对整个网络进行优化；若优化后的网络输出的黑烟类别置信度c的最大值超过设定阈值cth便认为该张图片中存在黑烟目标并输出黑烟的包围框坐标和类别置信度，否则认为该张图片中没有黑烟。
9、进一步地，所述的步骤(2)中的rgb特征提取网络e为任意的rgb特征提取网络；
10、若该网络为单帧图片目标检测骨干网络backbonei，则基础特征frgb的表达式如下：
11、frgb＝backbonei(i)；
12、若该网络为多帧视频目标检测骨干网络backbonev，则基础特征frgb的表达式如下：
13、frgb＝backbonev(i,iref)；
14、进一步地，所述步骤(3)中将选择的目标图片i从rgb色彩空间转换为ycbcr颜色空间，使用分块二维离散余弦变换dct-2d获得频域信息ff的表达式如下：
15、ff＝dct(ycbcr(i))；
16、所述频域特征提取网络m的自注意力方法是基于多头自注意力mhsa机制实现，频域信息ff经过频率维度和空间维度自注意力机制获得增强后的频域特征的表达式如下：
17、
18、其中，mhsaspat(·)和mhsafreq(·)分别为空间维度和频率维度的多头自注意力模块，所述空间维度的多头自注意力模块只有一层，而频率维度的多头自注意力模块共有三层，分别对应低频、高频和全频频率的注意力层，而在频域特征提取网络m中提取高感受野、高语义频域特征ffreq的网络是一个多层感知机mlp，最终频域特征ffreq的表达式如下：
19、
20、其中，mlp(·)是当前任何基于卷积网络的实现扩大感受野的映射。
21、进一步地，所述步骤(4)具体为：利用所述特征聚合网络a将基础特征frgb和频域特征ff在通道维度拼接得到拼接特征fcat，再使用空间注意力机制和通道注意力机制对特征进行增强，并对增强后的特征进行通道变换得到与基础特征frgb具有相同通道维度的融合特征fagg，其中拼接特征fcat和融合特征fagg的表达式如下：
22、fcat＝concate(frgb,ffreq)；
23、fagg＝proj(attnchan(attnspat(fcat)))；
24、其中，concate(·)代表通道拼接操作，proj(·)是一个实现通道数量变换的卷积模块，attnchan(·)和attnspat(·)是当前能够实现在特征图各通道和各位置分配不同权重的任何注意力模块。
25、进一步地，所述步骤(5)中根据包围框和类别真值计算损失对整个网络进行优化，计算损失包括包围框回归损失和类别置信度损失并在分类特征的基础上进一步预测整张图片包含黑烟目标的概率p且计算此分类损失lcls，进而优化整个网络。
26、本发明的有益效果是：本发明在rgb图片基础特征的基础上，充分提取黑烟的频域特征，使得模型在只使用rgb图片基础特征不能有效地分辨黑烟目标时，利用频域中黑烟与其它易混淆目标的特征差异，进一步识别和定位黑烟目标。这也是在车辆黑烟检测任务中首次使用深度学习方法利用频域特征对rgb基础特征进行补充和增强，提高模型检测识别黑烟的精度。在现实场景中，使得车辆黑烟检测方法在面对不同天气下的光照条件和路面状况时能够利用频域信息更加准确的识别和定位，本发明有望在一定程度上增强车辆黑烟检测方法对于环境变化的鲁棒性，提高在现实场景中黑烟检测的准确度。
1.一种基于频域特征增强的车辆黑烟检测方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的基于频域特征增强的车辆黑烟检测方法，其特征在于，所述的步骤(2)中的rgb特征提取网络e为任意的rgb特征提取网络；
3.根据权利要求1所述的基于频域特征增强的车辆黑烟检测方法，其特征在于，所述步骤(3)中将选择的目标图片i从rgb色彩空间转换为ycbcr颜色空间，使用分块二维离散余弦变换dct-2d获得频域信息ff的表达式如下：
4.根据权利要求1所述的基于频域特征增强的车辆黑烟检测方法，其特征在于，所述步骤(4)具体为：利用所述特征聚合网络a将基础特征frgb和频域特征ffreq在通道维度拼接得到拼接特征fcat，再使用空间注意力机制和通道注意力机制对其实现特征增强，并对增强后的特征进行通道变换得到与基础特征frgb具有相同通道维度的融合特征fagg，其中拼接特征fcat和融合特征fagg的表达式如下：
5.根据权利要求1所述的基于频域特征增强的车辆黑烟检测方法，其特征在于，所述步骤(5)中根据包围框和类别真值计算损失对整个网络进行优化，计算损失包括包围框回归损失和类别置信度损失并在分类特征的基础上进一步预测整张图片包含黑烟目标的概率p且计算此分类损失lcls，进而优化整个网络。
