一种基于群体行为识别的危险行为告警方法及系统

本发明涉及图像处理识别领域，特别涉及一种基于群体行为识别的危险行为告警方法及系统。

背景技术：

1、随着铁路运输产业的快速发展，铁路的检修维护工作也随之逐渐增加，但铁路检修站的环境一般较为复杂，存在诸多安全风险隐患，因此在铁路检修工作时，保证检修人员的安全也自然成为了不可忽视的重要目标。

2、现有技术中，往往通过人工监督巡查的方法进行铁路检修时的安全监测，以保证检修过程中不出现安全问题，但是通过人工监督巡查的效率过于低下，且巡查范围有限，无法实时监测整个检修段，因此需要结合现有的自动化监测技术对整个检修段的检修工作人员进行危险行为识别告警。

3、但是，铁路检修站内的环境复杂，光照条件和设备布局极大地提高了识别难度，且铁路检修工作中人员众多且检修行为多样，现有的自动化监测技术无法满足铁路检修中进行危险行为识别告警的工作要求。

技术实现思路

1、基于此，本发明的目的是提供一种基于群体行为识别的危险行为告警方法及系统，通过设计一种行为特征提取网络，分别提取待识别图像中的群体行为特征和个体行为特征，对于单个待识别目标之间和相似待识别目标组成的子群体之间的交互关系进行提取，极大地增强了对个体和群体行为识别的精度和泛化能力，并且还通过设计一种自适应子群体划分算法对子群体内的复杂动态进行精确识别，极大地提高了子群体划分的精准性，进一步提高了整体识别的精准性，还设计了一种卷积识别网络，进行全局特征增强，进而提高在复杂环境中的识别精度和适应性，本发明极大地提高了危险行为识别告警的精度和对复杂环境的适应性。

2、本发明提出的一种基于群体行为识别的危险行为告警方法，包括：

3、获取待识别图像并进行预处理，以提取待识别图像中每个待识别目标个体的基础特征，所述预处理用于矫正待识别图像的亮度和颜色，所述基础特征包括所有单个待识别目标个体的特征；

4、将完全相同的两份基础特征分别输入行为特征提取网络的群体行为特征提取支路和个体行为特征提取支路，所述行为特征提取网络用于分别获取由多个待识别目标个体组成的子群体之间的群体行为特征和单个待识别目标个体之间的个体行为特征；

5、所述群体行为特征提取支路根据自适应子群体划分算法对所述基础特征进行分类，以获取多个不同的子群体，所述自适应子群体划分算法用于将具有相似特征的待识别目标个体划分为一个子群体，再根据交互特征提取算法，获取群体行为特征；

6、所述个体行为特征提取支路根据深层交互特征提取算法，获取个体行为特征；

7、将所述群体行为特征和所述个体行为特征进行融合，以获取融合特征并输入卷积识别网络，获取危险行为识别结果以进行告警，所述卷积识别网络用于对所述融合特征进行全局尺度上的增强，再识别分类为危险行为和非危险行为。

8、综上，根据上述基于群体行为识别的危险行为告警方法，通过设计一种行为特征提取网络，分别提取待识别图像中的群体行为特征和个体行为特征，对于单个待识别目标之间和相似待识别目标组成的子群体之间的交互关系进行提取，极大地增强了对个体和群体行为识别的精度和泛化能力，并且还通过设计一种自适应子群体划分算法对子群体内的复杂动态进行精确识别，极大地提高了子群体划分的精准性，进一步提高了整体识别的精准性，还设计了一种卷积识别网络，进行全局特征增强，进而提高在复杂环境中的识别精度和适应性，本发明极大地提高了危险行为识别告警的精度和对复杂环境的适应性。具体的，获取待识别图像并进行预处理，以提取待识别图像中每个待识别目标个体的基础特征，所述预处理用于矫正待识别图像的亮度和颜色，所述基础特征包括所有单个待识别目标个体的特征，对图像进行预处理提高了待识别图像的质量，减少了复杂环境的影响，将完全相同的两份基础特征分别输入行为特征提取网络的群体行为特征提取支路和个体行为特征提取支路，所述行为特征提取网络用于分别获取由多个待识别目标个体组成的子群体之间的群体行为特征和单个待识别目标个体之间的个体行为特征，所述群体行为特征提取支路根据自适应子群体划分算法对所述基础特征进行分类，以获取多个不同的子群体，所述自适应子群体划分算法用于将具有相似特征的待识别目标个体划分为一个子群体，再根据交互特征提取算法，获取群体行为特征，极大地提高了子群体划分的精准度，有效捕捉了子群体之间的交互关系，进而提高了整体的行为识别精度，所述个体行为特征提取支路根据深层交互特征提取算法，获取个体行为特征，有效捕捉了个体之间的复杂交互关系，进而提高了整体的行为识别精度，将所述群体行为特征和所述个体行为特征进行融合，以获取融合特征并输入卷积识别网络，获取危险行为识别结果以进行告警，所述卷积识别网络用于对所述融合特征进行全局尺度上的增强，再识别分类为危险行为和非危险行为，本发明极大地提高了危险行为识别告警的精度和对复杂环境的适应性。

9、进一步的，所述获取待识别图像并进行预处理，以提取待识别图像中每个待识别目标个体的基础特征的步骤，具体包括：

10、提取待识别图像中的红色、绿色和蓝色三个颜色通道，以获取对应颜色通道的图像并对比每个像素位置在红色、绿色和蓝色通道上的值，以进行加权灰度化处理，所述加权灰度化处理的公式如下：

11、

12、其中，表示像素点的加权灰度值，表示最小值函数，表示最大值函数，表示红色通道像素值，表示绿色通道像素值，表示蓝色通道像素值；

13、根据像素点的加权灰度值，构建灰度图像并输入图卷积神经网络中，根据灰度图像中每个待识别目标个体的骨骼关键节点之间的关系和边界框，提取每个待识别目标个体的基础特征。

14、进一步的，所述自适应子群体划分算法具体包括：

15、根据基础特征确定单个待识别目标个体的位置坐标，所述位置坐标的定义如下：

16、

17、其中，表示左边界框横坐标，表示右边界框横坐标，表示上边界框横纵坐标，表示下边界框横纵坐标；

18、根据多层感知器将所述位置坐标投射为位置特征，所述位置特征的维度为d；

19、将所述位置特征与所述基础特征进行逐元素相加，以获取所有待识别目标个体的个体综合特征并进行余弦相似度计算，将其中相似度最高的前k个待识别目标个体划分为同一个子群体。

20、进一步的，所述交互特征提取算法具体包括：

21、根据几何矩阵获取子群体之间的空间位置距离，所述几何矩阵如下：

22、

23、其中，表示几何矩阵，表示时间帧，表示第帧中子群体，表示第帧中子群体，表示输入特征的通道数，表示空间位置特征；

24、根据关系矩阵获取子群体之间的空间位置关系，所述关系矩阵如下：

25、

26、其中，表示关系矩阵，表示变换后的函数，表示余弦距离计算函数，表示转置；

27、根据所述空间位置距离和所述空间位置关系，构建关联邻接矩阵，以获取群体行为特征，所述关联邻接矩阵如下：

28、

29、其中，表示关联邻接矩阵，表示可学习参数，，和表示归一化对角矩阵。

30、进一步的，所述深层交互特征提取算法具体包括：

31、第一图卷积层根据关联邻接矩阵获取待识别目标个体之间的交互关系，所述获取待识别目标个体之间的交互关系的公式如下：

32、

33、其中，表示个体交互关系，表示激活函数，表示第层的可学习的权重矩阵，表示层数，表示关联邻接矩阵；

34、计算待识别目标个体之间的交互关系相似度，所述计算待识别目标个体之间的交互关系相似度的公式如下：

35、

36、其中，表示个体对个体的重要性，表示个体，表示个体，表示个体之间空间位置关系，表示个体之间余弦相似度，表示个体边界框中心点坐标，表示个体边界框中心点坐标，和表示个体和个体的余弦相似度参数，表示个体数；

37、第二图卷积层根据所述交互关系相似度对所述交互关系进行聚合，以获取个体行为特征，所述获取个体行为特征的公式如下：

38、

39、其中，表示聚合后的个体行为特征，表示独立的个体交互关系，表示可学习的权重矩阵。

40、进一步的，所述卷积识别网络具体包括：

41、输入层，所述输入层将群体行为特征和个体行为特征通过元素级矩阵加法进行融合，以获取尺寸为h*w*3的特征图像，其中h表示特征图像的高度，w表示特征图像的宽度，3表示颜色通道；

42、卷积层，所述卷积层包括多个卷积单元，每个所述卷积单元均包含卷积滤波器，所述卷积滤波器提取所述特征图像的局部特征；

43、关键层，所述关键层包括上下文感知块和多层注意力块，所述上下文感知块和所述多层注意力块增强所述特征图像的全局特征；

44、全连接层，所述全连接层将所述全局特征和所述局部特征映射到危险行为类别中，再根据dropout进行正则化处理；

45、输出层，所述输出层包括softmax激活函数，以输出危险行为类别的概率。

46、进一步的，所述上下文感知块和多层注意力块具体包括：

47、上下文感知块为双通道结构，将卷积层处理后的特征图形分别输入空洞卷积支路和卷积支路，所述空洞卷积支路包括空洞卷积块、归一化块、swish激活块和3x3卷积块，所述空洞卷积块的膨胀系数r=3，所述卷积支路包括3x3卷积块和归一化块；

48、所述上下文感知块和多层注意力块通过swish激活块相连接；

49、所述多层注意力块包括通道注意力层和空间注意力层，所述多层注意力块的定义如下：

50、

51、其中，表示通过通道注意力输出特征，表示通道注意力权重，表示原始输入特征，表示通过空间注意力输出特征，表示空间注意力权重；

52、所述通道注意力层定义如下：

53、

54、其中，表示激活函数，表示平均池化，表示最大池化，表示共享全连接网络，和表示多层感知权重，表示基于通道的平均池化特征，表示基于通道的最大池化特征；

55、所述空间注意力层定义如下：

56、

57、其中，表示7x7卷积核卷积运算，表示基于空间的平均池化特征，表示基于空间的最大池化特征。

58、本发明提出的一种基于群体行为识别的危险行为告警系统，包括：

59、基础特征提取模块，用于获取待识别图像并进行预处理，以提取待识别图像中每个待识别目标个体的基础特征，所述预处理用于矫正待识别图像的亮度和颜色，所述基础特征包括所有单个待识别目标个体的特征；

60、行为特征提取模块，用于将完全相同的两份基础特征分别输入行为特征提取网络的群体行为特征提取支路和个体行为特征提取支路，所述行为特征提取网络用于分别获取由多个待识别目标个体组成的子群体之间的群体行为特征和单个待识别目标个体之间的个体行为特征；

61、所述群体行为特征提取支路根据自适应子群体划分算法对所述基础特征进行分类，以获取多个不同的子群体，所述自适应子群体划分算法用于将具有相似特征的待识别目标个体划分为一个子群体，再根据交互特征提取算法，获取群体行为特征；

62、所述个体行为特征提取支路根据深层交互特征提取算法，获取个体行为特征；

63、卷积识别模块，用于将所述群体行为特征和所述个体行为特征进行融合，以获取融合特征并输入卷积识别网络，获取危险行为识别结果以进行告警，所述卷积识别网络用于对所述融合特征进行全局尺度上的增强，再识别分类为危险行为和非危险行为。

64、本发明还提供一种存储介质，所述存储介质存储一个或多个程序，所述程序被处理器执行时实现如上述的基于群体行为识别的危险行为告警方法。

65、本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，其中：

66、所述存储器用于存放计算机程序；

67、所述处理器用于执行所述存储器中存放的所述计算机程序时，实现如上述的基于群体行为识别的危险行为告警方法。

技术特征：

1.一种基于群体行为识别的危险行为告警方法，其特征在于，包括：

2.根据权利要求1所述的基于群体行为识别的危险行为告警方法，其特征在于，所述获取待识别图像并进行预处理，以提取待识别图像中每个待识别目标个体的基础特征的步骤，具体包括：

3.根据权利要求1所述的基于群体行为识别的危险行为告警方法，其特征在于，所述自适应子群体划分算法具体包括：

4.根据权利要求1所述的基于群体行为识别的危险行为告警方法，其特征在于，所述交互特征提取算法具体包括：

5.根据权利要求1所述的基于群体行为识别的危险行为告警方法，其特征在于，所述深层交互特征提取算法具体包括：

6.根据权利要求1所述的基于群体行为识别的危险行为告警方法，其特征在于，所述卷积识别网络具体包括：

7.根据权利要求6所述的基于群体行为识别的危险行为告警方法，其特征在于，所述上下文感知块和多层注意力块具体包括：

8.一种基于群体行为识别的危险行为告警系统，其特征在于，包括：

9.一种存储介质，其特征在于，所述存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-7任一项所述的基于群体行为识别的危险行为告警方法。

10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：

技术总结
本发明设计图像处理识别领域，提出了一种基于群体行为识别的危险行为告警方法及系统，通过设计一种行为特征提取网络，分别提取待识别图像中的群体行为特征和个体行为特征，对于单个待识别目标之间和相似待识别目标组成的子群体之间的交互关系进行提取，极大地增强了对个体和群体行为识别的精度和泛化能力，并且还通过设计一种自适应子群体划分算法对子群体内的复杂动态进行精确识别，极大地提高了子群体划分的精准性，进一步提高了整体识别的精准性，还设计了一种卷积识别网络，进行全局特征增强，进而提高在复杂环境中的识别精度和适应性，本发明极大地提高了危险行为识别告警的精度和对复杂环境的适应性。

技术研发人员：洪泉生,胡博文,农欣悦
受保护的技术使用者：华东交通大学
技术研发日：
技术公布日：2024/9/23