基于物联网的智慧园区安全管理系统及方法与流程

本申请涉及智能安全管理领域，且更为具体地，涉及一种基于物联网的智慧园区安全管理系统及方法。

背景技术：

1、随着城市化进程的加快，各类工业园区、科技园区、商业园区等迅速发展，园区规模不断扩大，功能日益复杂。园区内的活动多样，包括生产、物流、仓储、办公等，这些活动可能带来各种安全风险，如火灾、爆炸、泄漏、交通事故等。因此，通过评估园区的风险等级，可以及时发现潜在的安全隐患，采取预防措施，减少事故发生的风险。

2、然而，传统园区风险等级评估方法通常依赖于单一类型的数据，如历史事故记录或现场检查报告，这些数据往往只能提供有限的信息，并且通常是事后回顾的，导致难以实时并全面反映园区当前的安全状况，限制了园区安全管理的有效性和响应速度。此外，现有一些通过摄像头监控园区安全的方法通常需要人工进行监控，但这种方式的智能化程度较低，无法注意到图像中的细节，如小范围的环境变化、微小的安全违规行为和隐患等，这些细节虽然不易察觉，但可能预示着潜在的安全风险。

3、因此，需要一种优化的园区安全管理方案。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于物联网的智慧园区安全管理系统及方法。

2、根据本申请的一个方面，提供了一种基于物联网的智慧园区安全管理系统，其包括：待评估园区区域视觉状态图像获取模块，用于获取由摄像头采集的待评估园区区域的视觉状态图像；待评估园区区域状态文本描述获取模块，用于获取由用户输入的所述待评估园区区域的状态文本描述；园区视觉状态特征提取模块，用于将所述视觉状态图像输入园区视觉特征提取器以得到园区视觉状态特征图；园区视觉状态特征强化模块，用于将所述园区视觉状态特征图输入基于跨通道交叉的特征空间结构保持自关注强化模块以得到园区视觉状态强化特征图；待评估园区区域状态文本描述编码模块，用于对所述待评估园区区域的状态文本描述进行语义编码以得到待评估园区区域状态语义编码特征向量；待评估园区区域多模态联合编码模块，用于将所述待评估园区区域状态语义编码特征向量和所述园区视觉状态强化特征图输入异构数据驱动的多模态transformer联合编码器以得到待评估园区区域状态多模态联合编码特征图作为待评估园区区域状态多模态联合编码特征；评估结果生成模块，用于基于所述待评估园区区域状态多模态联合编码特征，得到评估结果，所述评估结果用于表示待评估园区区域的风险等级标签。

3、根据本申请的另一方面，提供了一种基于物联网的智慧园区安全管理方法，其包括：获取由摄像头采集的待评估园区区域的视觉状态图像；获取由用户输入的所述待评估园区区域的状态文本描述；将所述视觉状态图像输入园区视觉特征提取器以得到园区视觉状态特征图；将所述园区视觉状态特征图输入基于跨通道交叉的特征空间结构保持自关注强化模块以得到园区视觉状态强化特征图；对所述待评估园区区域的状态文本描述进行语义编码以得到待评估园区区域状态语义编码特征向量；将所述待评估园区区域状态语义编码特征向量和所述园区视觉状态强化特征图输入异构数据驱动的多模态transformer联合编码器以得到待评估园区区域状态多模态联合编码特征图作为待评估园区区域状态多模态联合编码特征；基于所述待评估园区区域状态多模态联合编码特征，得到评估结果，所述评估结果用于表示待评估园区区域的风险等级标签。

4、与现有技术相比，本申请提供的基于物联网的智慧园区安全管理系统及方法，其采用基于深度学习的数据分析算法来对待评估园区区域的视觉状态图像进行特征提取和强化，同时对待评估园区区域的状态文本描述进行语义编码，以此根据待评估园区区域的视觉状态图像特征和状态文本语义特征之间的多模态融合特征来自动地评估待评估园区区域的风险等级。这样，通过分析园区区域更全面的安全信息，有助于及时发现并响应安全事件，同时能够自主识别园区区域内小范围环境变化和微小安全违规行为，进而提高了园区安全管理的智能化水平。

技术特征：

1.一种基于物联网的智慧园区安全管理系统，其特征在于，包括：待评估园区区域视觉状态图像获取模块，用于获取由摄像头采集的待评估园区区域的视觉状态图像；待评估园区区域状态文本描述获取模块，用于获取由用户输入的所述待评估园区区域的状态文本描述；园区视觉状态特征提取模块，用于将所述视觉状态图像输入园区视觉特征提取器以得到园区视觉状态特征图；园区视觉状态特征强化模块，用于将所述园区视觉状态特征图输入基于跨通道交叉的特征空间结构保持自关注强化模块以得到园区视觉状态强化特征图；待评估园区区域状态文本描述编码模块，用于对所述待评估园区区域的状态文本描述进行语义编码以得到待评估园区区域状态语义编码特征向量；待评估园区区域多模态联合编码模块，用于将所述待评估园区区域状态语义编码特征向量和所述园区视觉状态强化特征图输入异构数据驱动的多模态transformer联合编码器以得到待评估园区区域状态多模态联合编码特征图作为待评估园区区域状态多模态联合编码特征；评估结果生成模块，用于基于所述待评估园区区域状态多模态联合编码特征，得到评估结果，所述评估结果用于表示待评估园区区域的风险等级标签。

2.根据权利要求1所述的基于物联网的智慧园区安全管理系统，其特征在于，所述园区视觉状态特征提取模块，用于：将所述视觉状态图像输入基于空洞卷积神经网络模型的园区视觉特征提取器以得到所述园区视觉状态特征图。

3.根据权利要求2所述的基于物联网的智慧园区安全管理系统，其特征在于，所述园区视觉状态特征强化模块，包括：园区视觉状态特征图归一化处理单元，用于对所述园区视觉状态特征图进行层归一化以得到归一化园区视觉状态特征图；归一化园区视觉状态特征点卷积处理单元，用于对所述归一化园区视觉状态特征图进行点卷积处理以得到园区视觉状态通道上下文关联表示特征图；园区视觉状态通道上下文关联表示特征点卷积编码单元，用于对所述园区视觉状态通道上下文关联表示特征图进行卷积编码以得到园区视觉状态空间上下文关联表示特征图；园区视觉状态空间上下文关联表示特征备份单元，用于复制所述园区视觉状态空间上下文关联表示特征图以得到园区视觉状态备份空间上下文关联表示特征图；园区视觉状态上下文关联表示特征形状重塑单元，用于分别对所述园区视觉状态通道上下文关联表示特征图、所述园区视觉状态空间上下文关联表示特征图和所述园区视觉状态备份空间上下文关联表示特征图进行特征形状重塑以得到园区视觉状态通道上下文关联表示特征矩阵、园区视觉状态空间上下文关联表示特征矩阵和园区视觉状态备份空间上下文关联表示特征矩阵；园区视觉状态跨通道协方差计算单元，用于计算所述园区视觉状态通道上下文关联表示特征矩阵和所述园区视觉状态空间上下文关联表示特征矩阵之间的园区视觉状态跨通道交叉协方差矩阵；园区视觉状态特征全局交互单元，用于对所述园区视觉状态跨通道交叉协方差矩阵进行激活处理以得到园区视觉状态特征全局交互注意力矩阵；园区视觉状态注意力强化特征表示生成单元，用于计算所述园区视觉状态备份空间上下文关联表示特征矩阵与所述园区视觉状态特征全局交互注意力矩阵之间的乘积以得到园区视觉状态注意力强化特征表示矩阵；园区视觉状态强化特征生成单元，用于对所述园区视觉状态注意力强化特征表示矩阵进行特征形状重塑以得到所述园区视觉状态强化特征图。

4.根据权利要求3所述的基于物联网的智慧园区安全管理系统，其特征在于，所述园区视觉状态跨通道协方差计算单元，用于：计算所述园区视觉状态通道上下文关联表示特征矩阵和所述园区视觉状态空间上下文关联表示特征矩阵之间的矩阵乘积以得到园区视觉状态通道-空间上下文关联表示特征矩阵；计算所述园区视觉状态通道-空间上下文关联表示特征矩阵与预定超参数的按位置除法以得到所述园区视觉状态跨通道交叉协方差矩阵。

5.根据权利要求4所述的基于物联网的智慧园区安全管理系统，其特征在于，所述园区视觉状态特征全局交互单元，用于：使用softmax函数对所述园区视觉状态跨通道交叉协方差矩阵进行激活处理以得到所述园区视觉状态特征全局交互注意力矩阵。

6.根据权利要求5所述的基于物联网的智慧园区安全管理系统，其特征在于，所述待评估园区区域多模态联合编码模块，包括：待评估园区区域状态特征线性变换形状重塑单元，用于对所述待评估园区区域状态语义编码特征向量进行线性变换和特征形状重塑以得到待评估园区区域状态语义编码调制矩阵；园区视觉状态强化特征线性变换单元，用于对所述园区视觉状态强化特征图进行第一线性变换和第二线性变换以得到第一线性变换园区视觉状态强化特征图和第二线性变换园区视觉状态强化特征图；线性变换园区视觉状态强化特征形状重塑单元，用于对所述第一线性变换园区视觉状态强化特征图和所述第二线性变换园区视觉状态强化特征图进行特征形状重塑以得到第一线性变换园区视觉状态强化特征矩阵和第二线性变换园区视觉状态强化特征矩阵；待评估园区区域状态注意力计算单元，用于以所述第一线性变换园区视觉状态强化特征矩阵和所述第二线性变换园区视觉状态强化特征矩阵为键矩阵和值矩阵且以所述待评估园区区域状态语义编码调制矩阵作为查询矩阵，将所述查询矩阵、所述键矩阵和所述值矩阵输入transformer结构以得到待评估园区区域语义编码注意力查询园区视觉状态矩阵；待评估园区区域语义编码注意力查询园区视觉状态特征生成单元，用于对所述待评估园区区域语义编码注意力查询园区视觉状态矩阵进行形状重塑和点卷积编码以得到待评估园区区域语义编码注意力查询园区视觉状态特征图；待评估园区区域状态多模态联合编码特征生成单元，用于将所述待评估园区区域语义编码注意力查询园区视觉状态特征图与所述园区视觉状态强化特征图进行按位置点乘以得到所述待评估园区区域状态多模态联合编码特征图；其中，所述待评估园区区域状态注意力计算单元，用于：计算所述待评估园区区域状态语义编码调制矩阵的转置矩阵与所述第一线性变换园区视觉状态强化特征矩阵之间的矩阵乘积后输入所述softmax函数以得到待评估园区区域状态语义-视觉特征关联矩阵；将所述待评估园区区域状态语义-视觉特征关联矩阵作为权重矩阵，计算所述权重矩阵与所述第二线性变换园区视觉状态强化特征矩阵之间的矩阵乘积以得到所述待评估园区区域语义编码注意力查询园区视觉状态矩阵。

7.根据权利要求6所述的基于物联网的智慧园区安全管理系统，其特征在于，所述待评估园区区域状态特征线性变换形状重塑单元，用于：将所述待评估园区区域状态语义编码特征向量与待评估园区区域状态调制矩阵进行矩阵相乘后与待评估园区区域状态偏置向量进行按位置相加以得到待评估园区区域状态语义编码调制偏置向量；将所述待评估园区区域状态语义编码调制偏置向量输入sigmoid函数进行激活处理以得到待评估园区区域状态语义编码调制激活向量；对所述待评估园区区域状态语义编码调制激活向量进行形状重塑以得到所述待评估园区区域状态语义编码调制矩阵。

8.根据权利要求7所述的基于物联网的智慧园区安全管理系统，其特征在于，所述园区视觉状态强化特征线性变换单元，用于：将所述园区视觉状态强化特征图中沿通道维度的各个特征矩阵与第一园区视觉状态调制矩阵进行按位置相乘后与第一园区视觉状态偏置矩阵进行按位置相加以得到第一园区视觉状态偏置特征图；将所述第一园区视觉状态偏置特征图输入所述sigmoid函数进行激活处理以得到所述第一线性变换园区视觉状态强化特征图；将所述园区视觉状态强化特征图中沿通道维度的各个特征矩阵与第二园区视觉状态调制矩阵进行按位置相乘后与第二园区视觉状态偏置矩阵进行按位置相加以得到第二园区视觉状态偏置特征图；将所述第二园区视觉状态偏置特征图输入所述sigmoid函数进行激活处理以得到所述第二线性变换园区视觉状态强化特征图。

9.根据权利要求8所述的基于物联网的智慧园区安全管理系统，其特征在于，所述评估结果生成模块，用于：将所述待评估园区区域状态多模态联合编码特征图输入基于分类器的风险评估器以得到所述评估结果，所述评估结果用于表示待评估园区区域的风险等级标签。

10.一种基于物联网的智慧园区安全管理方法，其特征在于，包括：获取由摄像头采集的待评估园区区域的视觉状态图像；获取由用户输入的所述待评估园区区域的状态文本描述；将所述视觉状态图像输入园区视觉特征提取器以得到园区视觉状态特征图；将所述园区视觉状态特征图输入基于跨通道交叉的特征空间结构保持自关注强化模块以得到园区视觉状态强化特征图；对所述待评估园区区域的状态文本描述进行语义编码以得到待评估园区区域状态语义编码特征向量；将所述待评估园区区域状态语义编码特征向量和所述园区视觉状态强化特征图输入异构数据驱动的多模态transformer联合编码器以得到待评估园区区域状态多模态联合编码特征图作为待评估园区区域状态多模态联合编码特征；基于所述待评估园区区域状态多模态联合编码特征，得到评估结果，所述评估结果用于表示待评估园区区域的风险等级标签。

技术总结
本申请提供了一种基于物联网的智慧园区安全管理系统及方法，涉及智能安全管理领域，其采用基于深度学习的数据分析算法来对待评估园区区域的视觉状态图像进行特征提取和强化，同时对待评估园区区域的状态文本描述进行语义编码，以此根据待评估园区区域的视觉状态图像特征和状态文本语义特征之间的多模态融合特征来自动地评估待评估园区区域的风险等级。这样，通过分析园区区域更全面的安全信息，有助于及时发现并响应安全事件，同时能够自主识别园区区域内小范围环境变化和微小安全违规行为，进而提高了园区安全管理的智能化水平。

技术研发人员：姜舜尧,陈安,毛晓军,胡万里
受保护的技术使用者：杭州安之维物联技术有限公司
技术研发日：
技术公布日：2024/9/23