一种基于重构的视频异常检测方法、系统、介质及设备
本发明涉及视频异常检测，尤其涉及一种基于重构的视频异常检测方法、系统、介质及设备。
背景技术：
1、视频异常检测(vad)是计算机视觉领域的一个重要研究方向。随着人们对视频监控需求的不断增加，应用vad技术预防犯罪，赋予安全人员高效的决策能力，减少公共和个人财产的损失，已成为安防领域的重要课题。早期的vad方法使用手工制作的特征来表示每个视频。尽管这些方法实现简单，但它们难以捕获视频中存在的高级语义信息。近年来，基于深度学习的vad算法变得流行起来。
2、在过去十年中，基于重构的方法取得了重大进展。这些方法使用自动编码器(ae)或生成对抗网络(gan)模型从输入数据重构视频帧，并根据获得的重构误差的大小检测异常。这些方法依赖于异常数据训练后得到的较高的重构误差，但当模型泛化得太好而无法有效地重构异常数据时，可能会导致异常漏检。为了克服这个问题，有些方法在自动编码过程中施加限制，抑制异常相关信息，增大异常数据的重构误差。然而，这些方法可能会无意中增加正常样本的重构误差，从而降低对异常数据的敏感性，导致检测精度降低。
3、此外，vad方法必须保证模型在实际场景中的鲁棒性，以适应各种未知数据。但是，重构训练过程中的过拟合会降低这种鲁棒性，导致在新数据上的性能不佳，并且阻碍模型在推理过程中基于重构误差区分正常和异常样本的能力。
技术实现思路
1、为了解决上述问题，本发明提出了一种基于重构的视频异常检测方法、系统、介质及设备，通过计算原始视频帧的偏移图，将偏移量图与重构后的视频帧融合，以补充异常检测，增强了异常特征表达；并且在幂等生成网络中引入模式搜索正则化方法，缓解了生成模型中的模式崩溃问题，保证模型的稳定性。
2、为了实现上述目的，本发明采用如下技术方案：
3、第一方面，本发明提供一种基于重构的视频异常检测方法，包括：
4、获取待检测视频序列，进行预处理，得到原始图像；
5、将原始图像输入训练好的重构模型，得到最终重构图，基于原始图像和最终重构图像计算重构误差，根据重构误差判断待检测视频序列是否存在异常；
6、其中，所述重构模型包括改进的变分自编码器和重构补充模块，所述改进的变分自编码器在编码器和解码器之间添加fsq量化层和跳跃连接，用于离散化数据和捕获上下文特征，得到初步重构帧；所述重构补充模块用于提取异常特征构建偏移图；初步重构帧和偏移图合并为最终重构帧。
7、优选地，所述预处理包括：使用3d-cnn将待检测视频序列提取为视频帧，调整视频帧大小并进行强度归一化操作。
8、优选地，所述fsq量化层对数据的离散化具体为：
9、根据指定级别列表创建分层结构，对数据的离散程度进行限制；
10、利用tanh函数对原始图像进行压缩，得到张量；
11、根据所述分层结构，采用round()操作将张量转换为相应维度的离散代码簇。
12、优选地，所述跳跃连接用于将特定编码器层的输出直接连接到相应解码器层的输入。
13、优选地，所述重构补充模块用于提取异常特征构建偏移图，具体包括：
14、提取原始图像的异常特征，输入到变形估计器中获取偏移量；
15、对偏移量进行上采样，得到标准偏移量；
16、将标准偏移量与原始输入的标准化坐标格网相加，形成偏移图。
17、优选地，所述初步重构帧和偏移图合并为最终重构帧，还包括：对最终重构帧进行背景去除。
18、优选地，所述计算重构误差时计算幂等损失。
19、第二方面，本发明提供一种基于重构的视频异常检测系统，包括：
20、获取模块，用于获取待检测视频序列，进行预处理，得到原始图像；
21、重构模块，用于将原始图像输入训练好的重构模型，得到最终重构图，基于原始图像和最终重构图像计算重构误差，根据重构误差判断待检测视频序列是否存在异常；
22、其中，所述重构模型包括改进的变分自编码器和重构补充模块，所述改进的变分自编码器在编码器和解码器之间添加fsq量化层和跳跃连接，用于离散化数据和捕获上下文特征，得到初步重构帧；所述重构补充模块用于提取异常特征构建偏移图；初步重构帧和偏移图合并为最终重构帧。
23、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的一种基于重构的视频异常检测方法中的步骤。
24、第四方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的一种基于重构的视频异常检测方法中的步骤。
25、与现有技术相比，本公开的有益效果为：
26、本发明在变分自编码器(vae)中通过采用跳跃连接，增强了解码器的上下文理解能力；并将fsq作为量化层引入，来量化编码器输出并保留关键的判别特征。同时集成金字塔变形模块(pdm)提取异常数据特征计算原始视频帧的偏移图，生成的偏移量图与重构后的视频帧融合，以补充异常检测，在不影响正常图像重构质量的基础上，增强了异常特征的表达，使模型更易识别异常信息。
27、此外，在视频帧重构结束之后，将幂等损失作为正则项纳入重构误差计算中。引入生成模型来利用其在捕获视频数据中动态变化和时空关系方面的显著优势。与其他生成模型常用的反向步骤不同，ign确保仅使用一两个步骤生成数据，进一步提高重构方法在不同视频中的鲁棒性。同时，将模式搜索正则化方法引入到模型中，以缓解生成模型中的模式崩溃问题，保证模型的稳定性。
28、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
技术特征：
1.一种基于重构的视频异常检测方法，其特征在于，包括：
2.如权利要求1所述的一种基于重构的视频异常检测方法，其特征在于，所述预处理包括：使用3d-cnn将待检测视频序列提取为视频帧，调整视频帧大小并进行强度归一化操作。
3.如权利要求1所述的一种基于重构的视频异常检测方法，其特征在于，所述fsq量化层对数据的离散化具体为：
4.如权利要求1所述的一种基于重构的视频异常检测方法，其特征在于，所述跳跃连接用于将特定编码器层的输出直接连接到相应解码器层的输入。
5.如权利要求1所述的一种基于重构的视频异常检测方法，其特征在于，所述重构补充模块用于提取异常特征构建偏移图，具体包括：
6.如权利要求1所述的一种基于重构的视频异常检测方法，其特征在于，所述初步重构帧和偏移图合并为最终重构帧，还包括：对最终重构帧进行背景去除。
7.如权利要求1所述的一种基于重构的视频异常检测方法，其特征在于，所述计算重构误差时计算幂等损失。
8.一种基于重构的视频异常检测系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于重构的视频异常检测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于重构的视频异常检测方法中的步骤。
技术总结
本公开提出一种基于重构的视频异常检测方法、系统、介质及设备，方法包括：将待检测视频序列进行预处理，得到原始图像；将原始图像输入训练好的重构模型，得到最终重构图，根据重构误差判断待检测视频序列是否存在异常；所述重构模型包括改进的变分自编码器和重构补充模块，改进的变分自编码器在编码器和解码器之间添加FSQ量化层和跳跃连接，用于离散化数据和捕获上下文特征，得到初步重构帧；重构补充模块用于提取异常特征构建偏移图；初步重构帧和偏移图合并为最终重构帧。通过计算原始视频帧的偏移图以补充异常检测，增强了异常特征表达；并在幂等生成网络中引入模式搜索正则化方法，缓解了生成模型中的模式崩溃问题，保证模型的稳定性。
技术研发人员：郑向伟,董文敏,嵇存,张宇昂,边际,张利峰,史文娟
受保护的技术使用者：山东师范大学
技术研发日：
技术公布日：2024/9/23