基于机器视觉与激光雷达的葡萄收获机识别、导航与控制的方法与系统与流程

本发明涉及一种基于机器视觉与激光雷达的多源信息葡萄收获机的识别、导航与控制方法与系统，属于自动化控制。

背景技术：

1、市场调查和专利检索，发现现有的葡萄收获一般采用人工采摘方式、效率低下，且葡萄是比容易受损的，也出现一些采用收纳网采摘方式一次装一串葡萄，葡萄掉落时会撞击压坏收纳网中已经采摘的葡萄，这样便需要采摘人员频繁取放收纳网中的葡萄，工作无法实现自动化，为此，我们研制了一种基于机器视觉与激光雷达的葡萄收获机识别、导航与控制的方法与系统。

技术实现思路

1、本发明的目的所要解决的技术问题是要提供一种基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法，它包括：

2、手眼标定，确定第一组双目视觉模块与采摘机械臂坐标系之间的转换关系；

3、葡萄识别与定位，采集葡萄样本图像，对图像进行旋转、镜像、亮度调节、增加噪声等手段对样本图像数据集进行扩充；然后对图像中的葡萄及其果梗打标签，采用yolov8深度学习网络对图像和标签进行训练，获取最佳训练权重；通过调用yolov8最佳训练权重，通过yolov8模型对葡萄及其果梗进行检测，并获取其二维目标信息；通过相机双目立体匹配原理得到葡萄果实与果梗目标的深度图，然后通过三维重构，得到葡萄果实与果梗的点云信息，并计算获取果实与果梗目标的三维位置，并把坐标传输给仿生机械臂控制模块；

4、葡萄果串生长高度计算，基于yolov8模型的识别结果，计算当前视场下果串矩形框顶端中点二维目标信息，取其中点y值为该串葡萄的生长高度；

5、葡萄果梗关键点位置计算，基于yolov8模型的识别结果，计算当前视场下果梗矩形框底端中点二维目标信息，取其中点y值为当前葡萄果梗最低点高度，果梗矩形框顶端中点二维目标信息，取其中点y值为当前葡萄果梗最高点高度；

6、自主导航控制，分为果园地图构建、非结构化道路分割、导航路径提取以及自主避障部分。

7、于本发明的一个或多个实施例中，所述果园地图构建包括使用第一组双目视觉模块、激光雷达、北斗导航以及imu模块组成的多源传感slam系统在果园中构建地图，获得整个果园的三维点云地图，包括起始点、终点位置信息。

8、于本发明的一个或多个实施例中，所述非结构化道路分割分为图像预处理和道路分割；其中，图像预处理中对第一组双目视觉模块采集的果园图像进行预处理，以降低光线不均、灰尘等外界环境噪声等干扰对道路提取质量的影响；

9、再结合第二组双目视觉模块安装位置，对道路图像的感兴趣区域进行设定，减少道路无关区域对分割效率的影响；采用双边滤波器以平滑道路图像，保持道路边缘细节，以增强并提高道路前景和背景之间的对比度；在此基础上，通过对hsv空间下的v-分量进行对数变换、msrcr算法以及调整饱和度通道s等手段对图像进行校正与加强，以获取减小光照影响、细节增强及均匀亮度的道路图像；

10、其中，道路分割是将增强优化后的rgb图像转为hsv图像，分别设置各通道的阈值范围(hmin,hmax),(smin,smax)和(vmin,vmax)对图像进行二值化，完成对路侧葡萄藤等绿色区域的约束与提取，以区分道路与植物区域，实现hsv颜色空间下的道路提取；在此基础上，通过启发式方法并基于过度绿色指数(exg)进行灰度因子改进，并基于优化灰度因子对道路区域进行分割，基于优化后灰度因子如下公式所示；

11、gray(x,y)＝1.84g(x,y)-b(x,y)-r(x,y)    (1)

12、

13、将以上两种方法下的道路分割结果进行融合与形态学处理，完成非结构化道路的最终提取。

14、于本发明的一个或多个实施例中，还包括局部导航路径提取，以道路中线作为导航路径，通过求取感兴趣区域上底线中点、下底线中点作为导航点，采用最小二乘拟合的方法对导航点拟合，从而得到导航路径。

15、于本发明的一个或多个实施例中，还包括自动行走与避障，葡萄收获机具有两种自主导航前进模式；其中，第一种导航前进模式是按照局部导航路径行走；第二种导航前进模式是按照果园slam地图轨迹行走。在此期间，激光雷达实时检测障碍物并反馈与障碍物的距离给工控机；当距离小于1m时，葡萄收获机停下，20s内如果障碍物消失，则葡萄收获机继续行走；否则葡萄收获机绕过障碍物之后继续行走；

16、采摘机械臂仿生控制方，当葡萄收获机作业时，控制末端收获模块切割电机、机械臂关节电机开始作业，切割电机用于控制圆盘锯片式末端的切割刀具做旋转运动切割葡萄，机械臂关节电机用于调整刀具倾斜角度，防止葡萄收获过程中圆盘刀具对葡萄果串、结果枝的误切割；

17、当葡萄果梗的最低点高于当前圆盘锯片式刀具的最低点时，则机械臂关节电机综合控制圆盘锯片式刀具最低端向上旋转，减小刀具角度不当切割葡萄果串的概率；当葡萄果梗的最高点低于当前圆盘锯片式刀具的最低点时，则机械臂关节电机综合控制圆盘锯片式刀具最低端向下旋转，防止切割刀具误伤葡萄结果枝等问题；若以上两种情况都不存在，则圆盘锯片式刀具角度不变；当葡萄果串顶端高度低于采摘机械臂末端可采摘的最高高度时，则机械臂关节电机动作，升高采摘末端；当葡萄果串顶端高度高于采摘机械臂末端可采摘的最高高度时，则机械臂关节电机动作，降低采摘末端，最终实现采摘机械臂对葡萄生长高度的仿生控制。

18、于本发明的一个或多个实施例中，它还包括多任务自主决策步骤，该步骤为控制系统的主控制流程，当系统开始运行时，启动多源信息感知与导航模块，对葡萄图像、非结构化道路图像等进行采集、训练与权重调用，为葡萄识别与定位奠定基础；同时采集点云数据、北斗定位数据以及imu数据等，对葡萄果园的地图进行构建，完成对葡萄收获机无人作业的前期工作准备；

19、当前期工作准备结束后，完成采摘任务的控制与决策；系统对葡萄进行识别、定位以及生长高度的计算，并对末端收获控制模块进行控制，实现采摘机械臂末端的采摘作业；此外，通过葡萄果串生长高度计算方法、葡萄果梗关键点位置计算方法等，与当前采摘机械臂的高度、刀具倾斜角度进行比较，并通过采摘机械臂仿生控制方法对葡萄高度、果梗长度进行仿生，以降低葡萄采摘损伤率以及结果枝的误伤率；与此同时，同步进行行走任务的控制与决策；

20、葡萄收获机按照局部-全局路径交叉转换的方式在葡萄园中自主行走，当采摘收获机在葡萄行间时，结合非结构化道路分割与局部导航路径提取结果，实现局部导航路径的跟踪，完成行间的自主行走与果实采摘；

21、当采摘收获机在葡萄行尾时，则系统跳转至基于果园地图构建的全局路径跟踪，对采摘收获机进行换行、转弯控制，以完成大面积果园下的全局无人采摘作业；在此过程中，同步执行自动避障功能；重复执行上述流程，直至整个果园葡萄收获完成，采摘机器人停止作业。

22、同一构思之下，本发明提供一种实现上述基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法的系统，其特征在于，它包括：

23、主控制系统，

24、以及分别与所述主控制系统连接的底盘控制模块、多源信息感知与导航模块以及采摘机械臂仿生控制模块；

25、所述主控制系统用于接收采集的果园信息数据并发送控制指令，实现基于机器视觉与激光雷达的葡萄收获机在果园全局环境下的多任务协同作业决策；

26、所述多源信息感知模块用于采集果园果实、道路等图像、点云信息、imu信息以及北斗定位信息，为所述主控制系统功能实现与作业决策提供信息；

27、所述采摘机械臂仿生控制模块根据所述多源信息感知模块提供的葡萄信息，以实现对葡萄收获与果实行生物生长高度角度的仿生控制；所述底盘控制模块根据主控制系统输出信息实现底盘的启停及转弯动作。

28、所述主控制系统接收多源信息感知与导航模块的数据信息，实现葡萄的识别、定位以及果串平均生长高度的获取，完成果园道路的分割与自主导航路径的提取，构建果园slam地图，最终向底盘控制模块以及采摘机械臂仿生控制模块发出协同作业指令。

29、于本发明的一个或多个实施例中，所述多源信息感知与导航模块安装至多源传感器安装支架上，所述多源信息感知与导航模块安装包括北斗模块、多双目视觉模块、激光雷达模块以及imu模块；

30、所述北斗模块安装在多源传感器安装支架上，用于接收北斗定位信息；所述多双目视觉模块由二组双目视觉模块组成，其中，第一组双目视觉模块垂直于底盘前进方向且面向葡萄藤且安装于多源传感器安装支架上，用于采集葡萄藤图像并传输给主控制系统；第二组双目视觉模块面向底盘前进方向且安装于多源传感器安装支架上，用于采集果园非结构化道路图像并传输给主控制系统。

31、于本发明的一个或多个实施例中，所述激光雷达模块安装于多源传感器安装支架上，用于采集果园点云数据信息；所述多源传感器安装支架用于安装北斗模块、多双目视觉模块、激光雷达模块以及imu传感模块。

32、于本发明的一个或多个实施例中，所述采摘机械臂仿生控制模块安装在收获机械臂上，其组成包括升降控制模块以及末端收获控制模块，当接收到视觉多传感检测的生物葡萄串生长的位置时，通过信号发送给控制模块；所述升降控制模块通过驱动升降电动推杆实现采摘机械臂高低位置的控制；末端收获控制模块通过电机通过带动采摘末端刀具完成剪切作业以及刀具倾斜角度的控制，直接进行下一个目标的检测与切割。

33、本发明同背景技术相比存在的效果是：采用上述的技术方案，使发明可实现智能化葡萄的快速收获，解决低效率人工采摘与葡萄有限收获周期之间的矛盾，满足了大规模葡萄无人采摘的需求，因此，它在技术性、实用性和经济性方面均具优越的性能。

技术特征：

1.一种基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法，其特征在于，它包括：

2.根据权利要求1所述的基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法，其特征在于，所述果园地图构建包括使用第一组双目视觉模块、激光雷达、北斗导航以及imu模块组成的多源传感slam系统在果园中构建地图，获得整个果园的三维点云地图，包括起始点、终点位置信息。

3.根据权利要求2所述的基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法，其特征在于，所述非结构化道路分割分为图像预处理和道路分割；其中，图像预处理中对第一组双目视觉模块采集的果园图像进行预处理，以降低光线不均、灰尘等外界环境噪声等干扰对道路提取质量的影响；

4.根据权利要求3所述的基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法，其特征在于，还包括局部导航路径提取，以道路中线作为导航路径，通过求取感兴趣区域上底线中点、下底线中点作为导航点，采用最小二乘拟合的方法对导航点拟合，从而得到导航路径。

5.根据权利要求4所述的基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法，其特征在于，还包括自动行走与避障，葡萄收获机具有两种自主导航前进模式；其中，第一种导航前进模式是按照局部导航路径行走；第二种导航前进模式是按照果园slam地图轨迹行走。在此期间，激光雷达实时检测障碍物并反馈与障碍物的距离给工控机；当距离小于1m时，葡萄收获机停下，20s内如果障碍物消失，则葡萄收获机继续行走；否则葡萄收获机绕过障碍物之后继续行走；

6.根据权利要求5所述的基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法，其特征在于，它还包括多任务自主决策步骤，该步骤为控制系统的主控制流程，当系统开始运行时，启动多源信息感知与导航模块，对葡萄图像、非结构化道路图像等进行采集、训练与权重调用，为葡萄识别与定位奠定基础；同时采集点云数据、北斗定位数据以及imu数据等，对葡萄果园的地图进行构建，完成对葡萄收获机无人作业的前期工作准备；

7.一种实现权利要求1-6任一项基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制方法的系统，其特征在于，它包括：

8.根据权利要求7所述的基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制系统，其特征在于：所述多源信息感知与导航模块安装至多源传感器安装支架上，所述多源信息感知与导航模块安装包括北斗模块、多双目视觉模块、激光雷达模块以及imu模块；

9.根据权利要求8所述的基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制系统，其特征在于：所述激光雷达模块安装于多源传感器安装支架上，用于采集果园点云数据信息；所述多源传感器安装支架用于安装北斗模块、多双目视觉模块、激光雷达模块以及imu传感模块。

10.根据权利要求9所述的基于机器视觉与激光雷达的葡萄收获机的识别、导航与控制系统，其特征在于：所述采摘机械臂仿生控制模块安装在收获机械臂上，其组成包括升降控制模块以及末端收获控制模块，当接收到视觉多传感检测的生物葡萄串生长的位置时，通过信号发送给控制模块；所述升降控制模块通过驱动升降电动推杆实现采摘机械臂高低位置的控制；末端收获控制模块通过电机通过带动采摘末端刀具完成剪切作业以及刀具倾斜角度的控制，直接进行下一个目标的检测与切割。

技术总结
一种基于机器视觉与激光雷达的葡萄收获机识别、导航与控制的方法与系统，以及分别与所述主控制系统连接的底盘控制模块、多源信息感知与导航模块以及采摘机械臂仿生控制模块，其方法主要包括机器人果园手眼标定、葡萄识别与定位方法、葡萄果串生长高度计算方法、葡萄果梗关键点位置计算方法、自主导航控制方法、采摘机械臂仿生控制方法和多任务自主决策控制方法等；本发明可实现智能化葡萄的快速收获，可解决低效率人工采摘与葡萄有限收获周期之间的矛盾，满足了大规模葡萄无人采摘的需求。

技术研发人员：邹湘军,周馨曌,吴烽云,蒙贺伟,姚权,邹天龙
受保护的技术使用者：佛山市中科农业机器人与智慧农业创新研究院
技术研发日：
技术公布日：2024/9/23