基于船舶姿态识别的船舶会遇局面判定方法
本发明涉及船舶姿态识别，尤其涉及一种基于船舶姿态识别的船舶会遇局面判定方法。
背景技术：
1、目前，国内学者已使用机器视觉和深度学习方法对船舶态势感知进行了一定研究。
2、上海海事大学物流科学与工程研究院的陈信强等人在杂质《人工智能的工程应用》中提出了一种基于yolo的船舶方向感知方法，通过考虑船舶旋转角度，引入旋转解耦、注意力机制和双向特征网络从图像中检测倾斜船舶。
3、大连海事大学航海学院的刘仕昊在其硕士学位论文基于深度学习的船舶会遇态势识别技术研究中提出了一种基于改进yolov4算法的船舶会遇态势判断模型，通过构建包含三种会遇局面的数据集进行训练，使得模型能够识别会遇态势。
4、陈信强提出的船舶方向感知方法通过考虑船舶旋转角度，可从海事图像中准确而快速的检测船舶。这种基于集成深度学习的船舶检测器利用海洋图像中的方向信息快速完成船舶方向检测任务。该方法在检测船舶方向的任务中表现出优异的性能，但未考虑船舶间的会遇关系，无法将船舶方向信息与船舶会遇局面联系起来，完成船舶会遇局面判定任务。
5、刘仕昊按照船舶会遇局面构建数据集训练目标检测模型对于船舶不同会遇局面的分类能力，但模型不具备对船舶姿态的识别能力，仅通过图像分类方法无法实现完成更精细的会遇局面判断，如无法判断在交叉相遇局面下的避让关系等。
6、现如今计算机视觉研究领域还未提出能够考虑船舶姿态和运动轨迹的船舶会遇局面判定方法，无法做到仅通过采集视觉信息完成避碰操作。
技术实现思路
1、本发明的目的在于克服上述技术的不足，而提供一种基于船舶姿态识别的船舶会遇局面判定方法。
2、本发明为实现上述目的，采用以下技术方案：
3、一种基于船舶姿态识别的船舶会遇局面判定方法，包括以下步骤：
4、s1:构建船舶姿态检测数据集；
5、s2：训练船舶关键点检测模型；
6、s3：图像数据检；
7、s4：对船舶目标跟踪；
8、s5：获取船舶姿态；
9、s6：船舶会遇局面判断。
10、优选地，在s1中，基于开源数据集和个人采集数据，对海上船舶姿态图像进行预处理，主要包括标注矩形框检测类别sh i p、关键点检测类别bow、port、starboard、stern、top，其中关键点检测位置均位于矩形框内部，标注获得l abe l文件内容包括检测框类别id、归一化的框中心点坐标和宽高、归一化的关键点坐标和关键点可见性信息，0为不可见，1为遮挡，2为可见不遮挡，关键点信息按照关键点类别顺序排序。
11、优选地，在s2中，搭建yolov8目标检测模型和深度学习环境，分别使用yolov8n、yolov8s、yolov8m、yolov8 l、yolov8x五种尺度大小的模型，分预训练和从头训练两种方式训练船舶姿态检测数据集，选取训练效果最佳的模型。
12、优选地，在s3中，使用训练好的船舶关键点检测模型检测图像中的目标，获取目标类别信息(id)、归一化边界框信息(u，v，w，h)、目标关键点坐标和关键点可见性信息。
13、优选地，在s4中，将基于yolov8的目标检测器与deep sort算法进行融合，实现对船舶目标的持续跟踪，记录目标船舶像素坐标运动轨迹。
14、优选地，在s4中，在多目标跟踪情况下，deep sort算法在获取目标检测框后使用卡尔曼滤波器预测目标当前位置，获得预测框，而后使用相似度计算方法，计算前一帧与当前帧目标之间的匹配程度，最后通过匈牙利算法进行数据关联，为每个对象分配目标的id。
15、优选地，在s5中，yolov8目标检测器在检测图像后输出关键点信息，关键点类别按照顺序排列，依次为bow、port、starboard、stern、top，包含归一化坐标信息和可见性信息，对于被遮挡船舶关键点，可见性统一为0不可见，将关键点连接绘制船舶骨架，考虑到实际检测过程中的遮挡关系，不连接bow与stern、port与starboard，获得船舶骨架后，使用模板匹配方法检测船舶骨架形状，每种骨架对应一种船舶姿态。
16、优选地，在s6中，获得目标跟踪模块和姿态检测模块输出的信息后，使用决策树模型整合两个模块信息，基于船舶状态和《colregs》进行船舶会遇场景划分，根据船舶运动轨迹信息和船舶姿态信息最终确定船舶会遇局面。
17、本发明的有益效果是:采用基于关键点检测的船舶姿态识别方法判定船舶会遇局面，能够有效提升智能船态势感知能力，增加智能船对海上交通整体环境的感知效果，弥补传统船舶传感器存在的弊端，如雷达无法检测航道中航行的木船，ai s数据重复样本、虚假身份、故意关闭ai s等情况。
18、使用yolov8-pose和deep sort相结合的检测方法可通过视觉信息迅速判断船舶会遇局面，做出避碰决策。相较于基于雷达、ai s的会遇局面判定方法，该方法能够更加直观、迅速的解算海上目标间会遇关系，有效获取更加精细的空间信息，包括目标船的形状、轮廓、状态等，进而做出更加准确的判断，
19、对于复杂的航行环境，该方法能够有效获取船舶姿态、船舶航行轨迹等信息，掌握船舶周边海上交通流状况，做出智能避碰决策。为未来研究具备完全自主航行能力的智能水面船提供技术参考和理论基础。
技术特征：
1.一种基于船舶姿态识别的船舶会遇局面判定方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于船舶姿态识别的船舶会遇局面判定方法，其特征在于：在s1中，基于开源数据集和个人采集数据，对海上船舶姿态图像进行预处理，主要包括标注矩形框检测类别ship、关键点检测类别bow、port、starboard、stern、top，其中关键点检测位置均位于矩形框内部，标注获得label文件内容包括检测框类别id、归一化的框中心点坐标和宽高、归一化的关键点坐标和关键点可见性信息，0为不可见，1为遮挡，2为可见不遮挡，关键点信息按照关键点类别顺序排序。
3.根据权利要求1所述的基于船舶姿态识别的船舶会遇局面判定方法，其特征在于：在s2中，搭建yolov8目标检测模型和深度学习环境，分别使用yolov8n、yolov8s、yolov8m、yolov8 l、yolov8x五种尺度大小的模型，分预训练和从头训练两种方式训练船舶姿态检测数据集，选取训练效果最佳的模型。
4.根据权利要求1所述的基于船舶姿态识别的船舶会遇局面判定方法，其特征在于：在s3中，使用训练好的船舶关键点检测模型检测图像中的目标，获取目标类别信息（id）、归一化边界框信息（u，v，w，h）、目标关键点坐标和关键点可见性信息。
5.根据权利要求1所述的基于船舶姿态识别的船舶会遇局面判定方法，其特征在于：在s4中，将基于yolov8的目标检测器与deep sort算法进行融合，实现对船舶目标的持续跟踪，记录目标船舶像素坐标运动轨迹。
6.根据权利要求4所述的基于船舶姿态识别的船舶会遇局面判定方法，其特征在于：在s4中，在多目标跟踪情况下，deep sort算法在获取目标检测框后使用卡尔曼滤波器预测目标当前位置，获得预测框，而后使用相似度计算方法，计算前一帧与当前帧目标之间的匹配程度，最后通过匈牙利算法进行数据关联，为每个对象分配目标的id。
7.根据权利要求1所述的基于船舶姿态识别的船舶会遇局面判定方法，其特征在于：在s5中，yolov8目标检测器在检测图像后输出关键点信息，关键点类别按照顺序排列，依次为bow、port、starboard、stern、top，包含归一化坐标信息和可见性信息，对于被遮挡船舶关键点，可见性统一为0不可见，将关键点连接绘制船舶骨架，考虑到实际检测过程中的遮挡关系，不连接bow与stern、port与starboard，获得船舶骨架后，使用模板匹配方法检测船舶骨架形状，每种骨架对应一种船舶姿态。
8.根据权利要求1所述的基于船舶姿态识别的船舶会遇局面判定方法，其特征在于：在s6中，获得目标跟踪模块和姿态检测模块输出的信息后，使用决策树模型整合两个模块信息，基于船舶状态和《colregs》进行船舶会遇场景划分，根据船舶运动轨迹信息和船舶姿态信息最终确定船舶会遇局面。
技术总结
本发明涉及船舶姿态识别技术领域，尤其涉及一种基于船舶姿态识别的船舶会遇局面判定方法，包括以下步骤：构建船舶姿态检测数据集；训练船舶关键点检测模型；图像数据检；对船舶目标跟踪；获取船舶姿态；船舶会遇局面判断。采用基于关键点检测的船舶姿态识别方法判定船舶会遇局面，能够有效提升智能船态势感知能力，增加智能船对海上交通整体环境的感知效果，弥补传统船舶传感器存在的弊端，如雷达无法检测航道中航行的木船，AI S数据重复样本、虚假身份、故意关闭AI S等情况。
技术研发人员：史佩儒,高邈,陈帅,陈鹏旭,曾希,张申文,董淘宁,张安民
受保护的技术使用者：天津大学
技术研发日：
技术公布日：2024/9/23