基于AI技术的拖轮人员安全操作行为监管系统及方法与流程

本发明涉及智能化行为监管领域，具体涉及一种基于ai技术的拖轮人员安全操作行为监管系统及方法。

背景技术：

1、拖轮是一种专门用于辅助船舶进出港口、靠泊和离泊的船舶，其操作需要高度的专业技能和严格的操作规范。在拖轮作业中，人员的安全操作行为至关重要，任何不当的操作都可能导致严重的安全事故，损害人员生命和财产安全。

2、然而，传统的拖轮人员安全操作行为监管方式主要依赖于人工巡查和监控，存在人力资源成本高、监管范围有限、监管不够及时等问题，容易出现疏漏和盲区。并且，人工监管的方式容易受到主观因素的影响，不同监管人员对于安全行为的判断标准可能存在偏差，导致监管结果的不一致性和不准确性。此外，传统监管系统往往需要人工分析监控画面，发现安全隐患后再进行处理，导致反应速度较慢，无法及时预警和干预。

3、因此，期望一种基于ai技术的拖轮人员安全操作行为监管系统。

技术实现思路

1、考虑到以上问题而做出了本公开。本公开的一个目的是提供一种基于ai技术的拖轮人员安全操作行为监管系统及方法。

2、本公开的实施例提供了一种基于ai技术的拖轮人员安全操作行为监管系统，其包括：

3、作业人员监控图像采集模块，用于获取由摄像头采集的拖轮作业人员的监控图像；

4、作业对象识别和目标区域划分模块，用于对所述拖轮作业人员的监控图像进行基于作业对象的目标区域划分以得到多个拖轮作业对象感兴趣区域图像；

5、作业对象特征提取及共空间映射模块，用于对所述多个拖轮作业对象感兴趣区域图像进行拖轮作业对象特征提取和共空间嵌入映射以得到嵌入映射拖轮作业对象特征向量的序列；

6、拖轮作业对象语义融合模块，用于将所述嵌入映射拖轮作业对象特征向量的序列通过基于信息传递强化网络的拖轮作业对象语义融合模块以得到拖轮作业对象语义融合特征向量作为拖轮作业对象语义融合特征；以及

7、操作行为安全隐患检测模块，用于基于所述拖轮作业对象语义融合特征，确定操作行为是否存在安全隐患。

8、例如，根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管系统，其中，所述作业对象识别和目标区域划分模块，用于：

9、将所述拖轮作业人员的监控图像通过基于yolo作业对象目标检测器的图像划分模块以得到所述多个拖轮作业对象感兴趣区域图像。

10、例如，根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管系统，其中，所述作业对象特征提取及共空间映射模块，包括：

11、拖轮作业对象特征提取单元，用于将所述多个拖轮作业对象感兴趣区域图像通过基于全卷积神经网络模型的拖轮作业对象特征提取器以得到拖轮作业对象特征向量的序列；以及

12、哈希嵌入映射单元，用于将所述拖轮作业对象特征向量的序列通过哈希编码模块以得到所述嵌入映射拖轮作业对象特征向量的序列。

13、例如，根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管系统，其中，所述哈希嵌入映射单元，包括：

14、全连接编码子单元，用于将所述拖轮作业对象特征向量的序列中的各个拖轮作业对象特征向量进行全连接编码以得到全连接编码拖轮作业对象特征向量的序列；以及

15、激活子单元，用于将所述全连接编码拖轮作业对象特征向量的序列中的各个全连接编码拖轮作业对象特征向量进行激活以得到所述嵌入映射拖轮作业对象特征向量的序列。

16、例如，根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管系统，其中，所述拖轮作业对象语义融合模块，包括：

17、相似度计算单元，用于计算所述嵌入映射拖轮作业对象特征向量的序列中的每两个嵌入映射拖轮作业对象特征向量之间的相似度以得到由多个相似度组成的相似度向量；

18、相隔数量统计单元，用于计算所述每两个嵌入映射拖轮作业对象特征向量之间相隔的特征向量的数量以得到由多个计数量组成的数量计数向量；

19、加权系数计算单元，用于分别计算所述相似度向量中各个位置的相似度与所述数量计数向量中相应位置的计数量之间乘积以得到由多个加权系数组成的加权系数向量；以及

20、语义加权融合单元，用于以所述加权系数向量中的各个位置的加权系数作为权重，计算所述嵌入映射拖轮作业对象特征向量的序列中多个嵌入映射拖轮作业对象特征向量的加权平均和以得到所述拖轮作业对象语义融合特征向量。

21、例如，根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管系统，其中，所述操作行为安全隐患检测模块，用于：

22、将所述拖轮作业对象语义融合特征向量通过基于分类器的操作行为安全识别器以得到识别结果，所述识别结果用于表示操作行为是否存在安全隐患。

23、例如，根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管系统，其中，还包括用于对所述基于全卷积神经网络模型的拖轮作业对象特征提取器、所述哈希编码模块、所述基于信息传递强化网络的拖轮作业对象语义融合模块和所述基于分类器的操作行为安全识别器进行训练的训练模块。

24、例如，根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管系统，其中，所述训练模块，包括：

25、训练图像采集单元，用于获取由摄像头采集的拖轮作业人员的训练监控图像；

26、训练作业对象识别和目标区域划分单元，用于对所述拖轮作业人员的训练监控图像进行基于作业对象的目标区域划分以得到多个训练拖轮作业对象感兴趣区域图像；

27、训练拖轮作业对象特征提取单元，用于将所述多个训练拖轮作业对象感兴趣区域图像通过所述基于全卷积神经网络模型的拖轮作业对象特征提取器以得到训练拖轮作业对象特征向量的序列；

28、训练哈希嵌入映射单元，用于将所述训练拖轮作业对象特征向量的序列通过所述哈希编码模块以得到训练嵌入映射拖轮作业对象特征向量的序列；

29、训练拖轮作业对象语义融合单元，用于将所述训练嵌入映射拖轮作业对象特征向量的序列通过所述基于信息传递强化网络的拖轮作业对象语义融合模块以得到训练拖轮作业对象语义融合特征向量；

30、损失计算单元，用于将所述训练拖轮作业对象语义融合特征向量通过所述基于分类器的操作行为安全识别器以得到分类损失函数值；以及

31、损失训练单元，用于基于所述分类损失函数值对所述基于全卷积神经网络模型的拖轮作业对象特征提取器、所述哈希编码模块、所述基于信息传递强化网络的拖轮作业对象语义融合模块和所述基于分类器的操作行为安全识别器进行训练，其中，在所述训练的每一轮迭代中，对所述训练拖轮作业对象语义融合特征向量进行校正。

32、本公开的实施例还提供了一种基于ai技术的拖轮人员安全操作行为监管方法，其包括：

33、获取由摄像头采集的拖轮作业人员的监控图像；

34、对所述拖轮作业人员的监控图像进行基于作业对象的目标区域划分以得到多个拖轮作业对象感兴趣区域图像；

35、对所述多个拖轮作业对象感兴趣区域图像进行拖轮作业对象特征提取和共空间嵌入映射以得到嵌入映射拖轮作业对象特征向量的序列；

36、将所述嵌入映射拖轮作业对象特征向量的序列通过基于信息传递强化网络的拖轮作业对象语义融合模块以得到拖轮作业对象语义融合特征向量作为拖轮作业对象语义融合特征；以及

37、基于所述拖轮作业对象语义融合特征，确定操作行为是否存在安全隐患。

38、例如，根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管方法，其中，对所述拖轮作业人员的监控图像进行基于作业对象的目标区域划分以得到多个拖轮作业对象感兴趣区域图像，包括：

39、将所述拖轮作业人员的监控图像通过基于yolo作业对象目标检测器的图像划分模块以得到所述多个拖轮作业对象感兴趣区域图像。

40、根据本公开的实施例的基于ai技术的拖轮人员安全操作行为监管系统及方法，其通过实时监测采集拖轮作业人员的监控图像，并在后端引入基于人工智能技术的数据处理和分析算法来进行该监控图像的分析，以捕获图像中的不同拖轮作业对象的语义特征，包括穿着特征和行为特征，进而再对于各个拖轮作业对象的语义特征进行相关性分析，以此来判断拖轮作业人员的操作行为是否存在安全隐患，并在检测到安全隐患时及时发出预警提示。

技术特征：

1.一种基于ai技术的拖轮人员安全操作行为监管系统，其特征在于，包括：

2.根据权利要求1所述的基于ai技术的拖轮人员安全操作行为监管系统，其特征在于，所述作业对象识别和目标区域划分模块，用于：

3.根据权利要求2所述的基于ai技术的拖轮人员安全操作行为监管系统，其特征在于，所述作业对象特征提取及共空间映射模块，包括：

4.根据权利要求3所述的基于ai技术的拖轮人员安全操作行为监管系统，其特征在于，所述哈希嵌入映射单元，包括：

5.根据权利要求4所述的基于ai技术的拖轮人员安全操作行为监管系统，其特征在于，所述拖轮作业对象语义融合模块，包括：

6.根据权利要求5所述的基于ai技术的拖轮人员安全操作行为监管系统，其特征在于，所述操作行为安全隐患检测模块，用于：

7.根据权利要求6所述的基于ai技术的拖轮人员安全操作行为监管系统，其特征在于，还包括用于对所述基于全卷积神经网络模型的拖轮作业对象特征提取器、所述哈希编码模块、所述基于信息传递强化网络的拖轮作业对象语义融合模块和所述基于分类器的操作行为安全识别器进行训练的训练模块。

8.根据权利要求7所述的基于ai技术的拖轮人员安全操作行为监管系统，其特征在于，所述训练模块，包括：

9.一种基于ai技术的拖轮人员安全操作行为监管方法，其特征在于，包括：

10.根据权利要求9所述的基于ai技术的拖轮人员安全操作行为监管方法，其特征在于，对所述拖轮作业人员的监控图像进行基于作业对象的目标区域划分以得到多个拖轮作业对象感兴趣区域图像，包括：

技术总结
一种基于AI技术的拖轮人员安全操作行为监管系统及方法。其首先获取由摄像头采集的拖轮作业人员的监控图像，接着，对所述拖轮作业人员的监控图像进行基于作业对象的目标区域划分以得到多个拖轮作业对象感兴趣区域图像，然后，对所述多个拖轮作业对象感兴趣区域图像进行拖轮作业对象特征提取和共空间嵌入映射以得到嵌入映射拖轮作业对象特征向量的序列，接着，将所述嵌入映射拖轮作业对象特征向量的序列通过基于信息传递强化网络的拖轮作业对象语义融合模块以得到拖轮作业对象语义融合特征，最后，基于所述拖轮作业对象语义融合特征，确定操作行为是否存在安全隐患。

技术研发人员：丁学明,吴飞云,林兵,张舟,顾晶祥,赖晓露,吕梦柯
受保护的技术使用者：舟山港海通轮驳有限责任公司
技术研发日：
技术公布日：2024/9/23