一种古城墙表面植被分类模型建立方法、分类方法及系统

本发明属于数字图像处理领域，涉及分类方法，具体是一种古城墙表面植被分类模型建立方法、分类方法及系统。

背景技术：

1、现阶段古城墙表面植被覆盖面积广，人工方法识别植被需要具备专业知识的植物学家一一辨别，取样检测时又需在确保植被完整的前提下减少对古城墙墙体的损害，过程耗时费力且增加了成本消耗。此外，还存在古城墙表面植被待分割植被目标小、形状不规则问题、古城墙图像背景信息占比大、干扰因素多的问题以及植被样本间数量、分布差异性大导致的模型偏差问题，另外，古城墙表面植被数据样本不均衡、同属异种植被类间差异小、判别性区域相似度高，导致分类精度低，针对此问题，需设计一种古城墙表面植被分类模型建立方法、分类方法及系统。使用古城墙图像数据训练分割模型，以获取古城墙表面植被图像及其类别信息，为后续植被精细分类预测样本提供先验知识，在通过分割模型对同属异种植被进行进一步分类。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于，提供一种古城墙表面植被分类模型建立方法、分类方法及系统，以解决现有技术中古城墙植被识别分类的准确度较低的技术问题。

2、为了解决上述技术问题，本发明采用如下技术方案予以实现：

3、一种古城墙表面植被分类模型构建方法，具体包括以下步骤：

4、步骤一，获取古城墙表面植被的图像数据集，并对其进行预处理；

5、步骤二，采用sam模型对经过预处理的图像数据集进行辅助标注，将标注后的图像数据集按比例随机划分为训练集与测试集；

6、所述图像数据集包括多肉类、独行菜类、苔藓类、藻类、生物残留物和其他类；

7、步骤三，构建基于注意力机制和可变形卷积的yolov8分割模型；

8、步骤四，将步骤二得到的训练集作为输入，将古城墙表面植被的类别信息作为输出，对步骤三得到的基于注意力机制和可变形卷积的yolov8分割模型中进行训练，得到训练好的基于注意力机制和可变形卷积的yolov8分割模型；

9、步骤五，将测试集输入到步骤四的到的训练好的基于注意力机制和可变形卷积的yolov8分割模型中进行分割，得到在分割后的测试集；

10、所述分割后的测试集为古城墙表面植被的植物类别；

11、步骤六，根据步骤五得到的分割后的测试集获取对应的公开植物数据集；

12、步骤七，构建基于双层路由注意力的swin transformer分类模型；

13、步骤八，将步骤六得到的公开植物数据集作为输入，将公开植物数据集中各植物的物种类别作为输出，对步骤七构建的基于双层路由注意力的swin transformer分类模型中进行训练，得到训练好的基于双层路由注意力的swin transformer分类模型。

14、所述基于注意力机制和可变形卷积的yolov8分割模型包括依次相连的backone、neck和head；

15、backbone用于提取古城墙表面植被的图像的多尺度特征信息，通过多个卷积层和注意力机制模块进行特征增强，输出特征图；

16、neck用于通过金字塔结构或特征融合网络对backbone输出的特征图进行特征融合和增强；

17、head用于利用全连接层或卷积层对neck处理后的特征图进行分割，输出分割结果。

18、所述backbone包括依次相连的cbs模块、cbs模块、第一c2f模块、cbs模块、第二c2f模块、cbs模块、第一c2f_dcn模块、cbs模块、第二c2f_dcn模块和sppf模块；

19、所述neck包括依次相连的第一cbam模块、第一upsample模块、第一concat模块、第三c2f模块、第二cbam模块、第二upsample模块、第二concat模块、第四c2f模块、第三cbam模块、cbs模块、第三concat模块、第五c2f模块、第四cbam模块、cbs模块、第四concat模块和第六c2f模块；

20、所述第一cbam模块和第四concat模块与所述sppf模块共同连接；第一concat模块与所述第一c2f_dcn模块相连；所述第二concat模块所述第二c2f模块与相连；所述第三concat模块与所述第三c2f模块相连；

21、所述head包括第一detect模块、第二detect模块、第三detect模块、segment模块和eiou-focal损失函数；所述第一detect模块与第四c2f模块相连；所述第二detect模块与所述第五c2f模块相连；所述第三detect模块与所述第六c2f模块相连；所述segment模块与所述第一detect模块、第二detect模块和第三detect模块共同连接。

22、所述基于双层路由注意力的swin transformer分类模型包括依次相连的mixup数据过采样模块、mixup模块、patchsets模块、backbone、layer norm模块、avg pooling模块、softmax模块、fully connected模块和classification模块。

23、所述backbone包括依次相连的四个stage，第一stage包括相连的linearebedding模块和两个swin routiformer模块、第二stage包括相连的patch merging模块和2个swin routiformer模块；第三stage包括相连的patch merging模块和6个swinroutiformer模块和第四stage均包括相连的patch merging模块和2个swin routiformer模块。

24、所述swin routiformer模块包括依次相连的第一layer norm模块、w-msa模块、第一残差链接模块、第二layer norm模块、第一mlp模块、第二残差链接模块、dwconv模块、第三残差链接模块、第三layer norm模块、bra模块、第四残差链接模块、第四layer norm模块、第二mlp模块和第五残差链接模块；

25、所述第一layer norm模块的输入端与第一残差链接模块相连；所述第一残差链接模块的输出端与第二残差链接模块相连；所述第二残差链接模块的输出端与dwconv模块的输入端相连；所述第三残差链接模块的输出端与第四残差链接模块相连；所述第四残差链接模块的输出端与第五残差链接模块相连。

26、步骤二中，所述比例为9:1。

27、所述预处理为medaugument方法进行数据增强处理。

28、一种古城墙表面植被分类方法，具体包括以下步骤：

29、步骤1，采集古城墙表面植被图片，对其依次进行预处理和sam模型辅助标注，并作为验证集；

30、步骤2，将步骤1采集的验证集输入到所述古城墙表面植被分类模型构建方法的步骤四得到的训练好的基于注意力机制和可变形卷积的yolov8分割模型中，得到分割后的验证集；

31、所述分割后的验证集为古城墙表面植被的植物类别；

32、步骤3，将步骤2得到的分割后的验证集输入至所述古城墙表面植被分类模型构建方法的步骤八得到的训练好的基于双层路由注意力的swin transformer分类模型中进行分类，得到各植物类别内各植物的物种类别。

33、一种古城墙表面植被识别分类系统，包括第一数据采集模块、模型建立模块、第一模型训练模块、第一处理模块、第二数据采集模块、第二模型训练模块和第二处理模块；

34、所述第一数据采集模块用于获取古城墙表面植被的图像数据集，并对其进行预处理，以及采用sam模型对经过预处理的图像数据集进行辅助标注，将标注后的图像数据集按比例随机划分为训练集与测试集；以及采集古城墙表面植被图片，对其依次进行预处理和sam模型辅助标注，并作为验证集；

35、所述模型建立模块用于构建基于注意力机制和可变形卷积的yolov8分割模型和基于双层路由注意力的swin transformer分类模型；

36、所述第一模型训练模块用于将训练集输入至基于注意力机制和可变形卷积的yolov8分割模型中进行训练，得到训练好的基于注意力机制和可变形卷积的yolov8分割模型；

37、所述第一处理模块用于将测试集输入到步骤四的到的训练好的基于注意力机制和可变形卷积的yolov8分割模型中进行分割，得到在分割后的测试集；以及，将采集的验证集输入到所述古城墙表面植被分类模型构建方法的步骤四得到的训练好的基于注意力机制和可变形卷积的yolov8分割模型中，得到分割后的验证集；

38、所述第二数据采集模块用于根据得到的分割后的测试集获取对应的公开植物数据集；

39、所述第二模型训练模块用于以及将得到的公开植物数据集输入到构建的基于双层路由注意力的swin transformer分类模型中进行训练，得到训练好的基于双层路由注意力的swin transformer分类模型；

40、所述第二处理模块用于将得到的分割后的验证集输入至得到的训练好的基于双层路由注意力的swin transformer分类模型中进行分类，得到各植物类别内各植物的物种类别。

41、本发明与现有技术相比，有益的技术效果是：

42、(ⅰ)本发明中针对古城墙表面植被的图像数据集，研究适用于古城墙表面植被的实例分割任务，通过构建基于注意力机制和可变形卷积的yolov8分割模型：抑制了无关特征，增强了卷积神经网络对植被信息的关注程度。针对城墙图像中植被目标小且形状不规则的问题，提高了卷积神经网络对不规则形状目标的适应性，并扩大了其感受野；对基于注意力机制和可变形卷积的yolov8分割模型进行训练与测试，对古城墙表面植被图像进行分割，获取了古城墙表面植被图像及其类别信息，为后续植被精细分类预测样本提供先验知识；采用公开数据集训练构建的基于双层路由注意力的swin transformer分类模型，然后采用基于双层路由注意力的swin transformer分类模型对分割后的古城墙植被图像数据集进行分类，对同属异种植被进行精细分类，解决了现有技术中古城墙植被识别分类的准确度较低的技术问题。

43、(ⅱ)本发明中构建了基于注意力机制和可变形卷积的yolov8分割模型，针对古城墙表面植被待分割植被目标小、形状不规则问题，在backone引入可变形卷积，设计c2f_dcn模块，赋予卷积采集点偏移量，使模型能自适应地调整卷积核的大小和形状，提升其分割小且形状不规则植被的能力；针对古城墙图像背景信息占比大、干扰因素多的问题，在neck嵌入cbam注意力机制，利用检测结果对特征图的权重更新进行反向指导，强化模型对古城墙表面植被信息的关注能力；为解决植被样本间数量、分布差异性大导致的模型偏差问题，在head中引入eiou-focal损失函数来替换ciou损失函数，降低易分类植被样本损失权重。

44、(ⅲ)本发明中构建了基于双层路由注意力的swin transformer分类模型，首先采用数据过采样和mixup混合增强方法处理分割后的测试集，降低了基于双层路由注意力的swin transformer分类模型因植被数据差异导致泛化能力弱的问题；基于bra的swinroutiformer模块，使基于双层路由注意力的swin transformer分类模型在粗区域级别过滤了无关特征信息，集中关注了对植被分类重要的判别区域。

技术特征：

1.一种古城墙表面植被分类模型构建方法，其特征在于，具体包括以下步骤：

2.如权利要求1所述古城墙表面植被分类模型构建方法，其特征在于，所述基于注意力机制和可变形卷积的yolov8分割模型包括依次相连的backone、neck和head；

3.如权利要求2所述古城墙表面植被分类模型构建方法，其特征在于，所述backbone包括依次相连的cbs模块、cbs模块、第一c2f模块、cbs模块、第二c2f模块、cbs模块、第一c2f_dcn模块、cbs模块、第二c2f_dcn模块和sppf模块；

4.如权利要求1所述古城墙表面植被分类模型构建方法，其特征在于，所述基于双层路由注意力的swin transformer分类模型包括依次相连的mixup数据过采样模块、mixup模块、patchsets模块、backbone、layer norm模块、avg pooling模块、softmax模块、fullyconnected模块和classification模块。

5.如权利要求4所述古城墙表面植被分类模型构建方法，其特征在于，所述backbone包括依次相连的四个stage，第一stage包括相连的linear ebedding模块和两个swinroutiformer模块、第二stage包括相连的patch merging模块和2个swin routiformer模块；第三stage包括相连的patch merging模块和6个swin routiformer模块和第四stage均包括相连的patch merging模块和2个swin routiformer模块。

6.如权利要求5所述古城墙表面植被分类模型构建方法，其特征在于，所述swinroutiformer模块包括依次相连的第一layer norm模块、w-msa模块、第一残差链接模块、第二layer norm模块、第一mlp模块、第二残差链接模块、dwconv模块、第三残差链接模块、第三layer norm模块、bra模块、第四残差链接模块、第四layer norm模块、第二mlp模块和第五残差链接模块；

7.如权利要求1所述古城墙表面植被分类模型构建方法，其特征在于，步骤二中，所述比例为9:1。

8.如权利要求1所述古城墙表面植被分类模型构建方法，其特征在于，所述预处理为medaugument方法进行数据增强处理。

9.一种古城墙表面植被分类方法，其特征在于，基于权利要求1至8任一项所述古城墙表面植被分类模型构建方法，具体包括以下步骤：

10.一种古城墙表面植被识别分类系统，其特征在于，基于权利要求1至8任一项所述古城墙表面植被分类模型构建方法和权利要求9所述古城墙表面植被分类方法，包括第一数据采集模块、模型建立模块、第一模型训练模块、第一处理模块、第二数据采集模块、第二模型训练模块和第二处理模块；

技术总结
本发明公开了一种古城墙表面植被分类模型建立方法、分类方法及系统，获取古城墙表面植被的图像数据集，并对其进行预处理；采用SAM模型对经过预处理的图像数据集进行辅助标注，针对城墙图像中植被目标小且形状不规则的问题，提高了卷积神经网络对不规则形状目标的适应性，并扩大了其感受野；对基于注意力机制和可变形卷积的Yolov8分割模型进行训练与测试，对古城墙表面植被图像进行分割，获取了古城墙表面植被图像及其类别信息，采用公开数据集训练构建的基于双层路由注意力的Swin Transformer分类模型，然后采用基于双层路由注意力的Swin Transformer分类模型对分割后的古城墙植被图像数据集进行分类，解决了现有技术中古城墙植被识别分类的准确度较低的技术问题。

技术研发人员：王慧琴,李佩晨,王可
受保护的技术使用者：西安建筑科技大学
技术研发日：
技术公布日：2024/9/23