一种抗密集杂草干扰的田间作物行提取方法
【技术领域】
[0001] 本发明涉及图像处理以及识别技术,特别涉及一种抗密集杂草干扰的田间作物行 提取方法。
【背景技术】
[0002] 农用车辆自动导航、辅助导航能有效降低农民工作强度,提高农业生产效率,减少 农药中毒、皮肤晒伤等农业事故的发生,并能促进精细农业发展。其中基于机器视觉的农用 车辆自动导航、辅助导航方法因获得信息量丰富、使用灵活、体积小、能耗低被广泛采用。
[0003] 作物行提取是农田导航实现的关键步骤,一些研宄者提出采用正、余弦模版匹配 的方法获取作物行,这类方法需事先知道农田结构,如作物行宽、图像中的作物行数等,不 仅假定田间少杂草或无杂草,并要求作物行上的作物生长密集。
[0004] 还有些研宄者采用具有很好的容错性和较好抗杂草干扰能力的Hough变换提取 作物行,但当杂草较密集,尤其分布较均匀时,Hough变换正确提取作物行的能力大大减弱。
[0005] 最小二乘法及一元线性回归法是农田作物行提取中应用广泛的另一种方法,能在 一定程度上克服断垄影响,实时性好于Hough变换,但也对杂草等噪声敏感。采用两次最大 类间方差(简称Otsu)分割法可提高作物行提取过程去除杂草的能力,但当杂草和作物颜 色区别不大、或光照不匀、或有阴影,或农田中不仅含有一种杂草时,杂草去除效果大打折 扣。依据杂草和作物产生主频的差异,实现杂草去除的方法,对主频和作物相似的杂草去除 效果不佳。
[0006] 采用otsu和小波变换相配合去除杂草的方法,能很好的提高杂草去除率,申请公 布号CN103914848A的专利文献公开了一种基于小波变换及最大类间方差的农田图像分 割方法,首先将采集的RGB空间的农田图像转换到HIS空间,然后进行作物所在小波分解层 的判定;再是判定主要作物信息所在的小波分解层;最后是进一步在分割图像上进行导航 线提取或障碍物检测。上述发明充分利用作物和干扰在频率、颜色等方面的差异,实现作物 信息提取,实现过程抗密集杂草干扰能力良好,为农田导航后续导航线提取、障碍物检测打 下良好基础。
[0007] 但其采用的作物行交替判定方法对作物断垄、缺株敏感,且对采集的农田图像无 论有无杂草都进行相同的杂草去除操作,不仅不利于作物行提取过程实时性的提高,其间 用到的小波变换算法还会造成不必要的作物信息损失。
【发明内容】
[0008] 本发明提供了一种抗密集杂草干扰的田间作物行提取方法,充分考虑非绿色噪 声、杂草和作物在颜色和频率两方面的区别,并利用作物按作物行排列的分布特点,实现杂 草的有效去除、提高作物行提取过程的鲁棒性。
[0009] -种抗密集杂草干扰的田间作物行提取方法,包括以下步骤:
[0010] (1)将待提取图像转换成去除非绿色噪声的灰度图像;
[0011] (2)判断步骤(1)获得的灰度图像中是否存在杂草,如果不存在杂草,则进入步骤 (3);如果存在杂草,则进入步骤(4);
[0012] (3)对步骤(1)获得的灰度图像进行Otsu分割得到结果图像,根据结果图像得到 各作物行的中心线;
[0013] (4)对步骤(1)获得的灰度图像中像素值非零的像素进行Otsu分割,小于分割阈 值的像素值置零,大于等于阈值的像素值保留原值,生成新的灰度图像;
[0014] 通过这一步能将和作物颜色相似但不同的杂草去除,同时提高和作物颜色可分性 低的密集杂草的频率辨识度,这是因为密集杂草容易发生叶片相互遮挡,遮挡处的颜色和 未发生遮挡的颜色略有不同,当作物和杂草颜色不可分时,通过Otsu分割能将遮挡、未遮 挡区域的颜色差异体现出来,从而将因遮挡发生的重叠叶片分离开,使它们成为独立体,从 而能更好的通过后续的小波变换体现出叶片主频。
[0015] (5)对步骤⑷生成的灰度图像进行小波去噪,得到去除杂草的作物层;
[0016] (6)对步骤(5)获得的作物层中的非零像素值进行Otsu分割;
[0017] (7)对步骤(6)获得的图像进行团块噪声滤除操作,得到结果图像,根据结果图像 得到各作物行的中心线。
[0018] 本发明方法中,增加了杂草判定条件,当图像中无杂草或极少杂草时,增加的杂草 有无判定操作能节省杂草去除的时间;而当有较多杂草时,增加的这步操作而增加的处理 时间很少;而当没有杂草这类绿色干扰时,仅otsu分割方法就能很好的去除和作物颜色不 同的噪声,不需进一步的小波去噪,节省提取时间;且通过利用Otsu法和小波分解相配合 提高农田图像分割过程的抗杂草干扰能力,同时改进小波分解后选取作物层的方式,提高 作物行验证过程的鲁棒性。
[0019] 为了提高小波去噪过程去除杂草的效果,从而提高作物层提取效果,优选的,在步 骤(5)中,对步骤(4)生成的灰度图像进行小波去噪的具体步骤如下:
[0020] 5-1、对步骤(4)生成的灰度图像进行x级小波分解,x多5,将分解后的频率最高 的细节小波分解层称为第1级小波分解层,随着频率的降低依次将分解后的细节小波分解 层称为2到x级小波分解层;
[0021] 计算2~x级小波分解层的频率总量,选取频率总量最大的N级小波分解层进行 下述操作,N多2 ;小波分解的频率最高的小波分解层主要是各种边缘信息,不能有效表达 作物特征,所以计算频率总量时不考虑。
[0022] 5-2、先选取频率总量最大的小波分解层;
[0023] 5-3、对选取的小波分解层进行小波重构,然后将小波重构后的图像的像素值按行 求和,将像素值和存到行向量氏中;
[0024] 5-4、扫描行向量氏中像素值和的大小,获取多个极值点;
[0025] 5-5、计算步骤5-4获取的每一极值点对应的图像行的像素的平均值,以平均值作 为阈值对这一行像素进行二值分割,统计这一行中黑色线段的数量,并计算组成每一黑色 线段的像素数,保留像素数大于等于选定阈值的黑色线段,所述选定阈值为待提取图像宽 度的1/20~1/15 ;
[0026] 5-6、根据待提取图像由远到近地顺序来比较每行中黑色线段的数量,如果数量依 次递减或和前面相邻行的相同,判断为有作物行交替,则将该经小波重构的小波分解层作 为作物层,并进入步骤(6);否则选取频率总量小一级的小波分解层进行步骤5-3~5-6的 操作,如果N级小波分解层都无法作为作物层,则进入步骤5-7 ;
[0027] 5-7、选择满足黑色线段的数量依次递减或和前面相邻行的相同关系最多的小波 重构后的图像作为目标图像;
[0028] a、将目标图像中不符合依次递减且不符合和前面相邻行相同的要求的行的位置 记录下来,将记录下来的行到其它小波重构后的图像上验证对应行的黑色线段数量是否也 不满足目标图像的依次递减且不符合和前面相邻行相同的要求,如不满足,选定目标图像 作为作物层;
[0029] b、否则再对其它选定的N级小波分解层对应的小波重构后的图像,依照满足黑色 线段的数量依次递减或和前面相邻行的相同关系最多到最少的顺序依次作为目标图像,重 复步骤a,直到满足条件,选定目标图像作为作物层,如果重复N-1次后仍无法满足条件,则 进入步骤5-8 ;
[0030] 5-8、计算选定的N级小波分解层进行小波重构得到的小波重构后的图像中行上 黑色线段数量最大值与最小值的差异,选取差异不是最大而且满足黑色线段的数量依次递 减关系数量不是最小的图像作为作物层。
[0031] 通过图像远端到近端对应的黑色线段数量依次递减或和前面相邻行的相同来判 断选定作物层,是因为图像远端收入的作物行数量多于近端,所以表达作物行间信息的黑 色线段数量要多。
[0032] 优选的,N= 3,选频率总量最多的前3级主要是考虑到,虽多数情况下农田作物占 有数量上的优势,相比其它物体会在对应小波分解层上产生更多的频率信息,但有些时候 杂草特别密集,其产生频率总量可能超过作物,或者较密集杂草、作物产生的非主频信息叠 加在同一小波分解层上,也可能使产生的频率总量超过作物,同时考虑到一些不可预知因 素,并综合考虑算法执行实时性的要求,选频
率总量最多的前3级作为研宄对象。
[0033] 为了提高非绿色噪声的去除效果,优选的,步骤(1)中,将待提取图像转换成去除 非绿色噪声的灰度图像的具体步骤如下:
[0034] 1-1、对待提取图像进行超绿变换,获得第一灰度图像,变换公式为:
[0035] I= 2G-R-B;
[0036] 通过超绿变换获得灰度图像,能有效增强绿色植物和非绿色噪声的对比度,有利 于通过后续Otsu分割将非绿色噪声去除;
[0037] 1-2、对待提取图像采用三基色平均法转换为第二灰度图像,转换公式为:
[0039]其中,
[0040] R指采集的待提取图像中红色分量灰度值;
[0041] G指绿色分量灰度值;
[0042] B指蓝色分量灰度值;
[0043] I表示转换成的灰度图像的亮度值。
[0044] 三基色平均法获得的灰度图像,各基色分量R、G、B所占比重一样,保持了原农田 图像的明暗、颜色深浅变化,有利于实现后续绿色植物之间的分离。
[0045] 1-3、对第一灰度图像进行Otsu分割法分割获得第三灰度图像,记录第三灰度图 像中像素值为零的坐标;
[0046] 1-4、将第二灰度图像中与第三灰度图像中所记录的坐标位置相同的像素值置零, 获得去除非绿色噪声的灰度图像。
[0047] 为了减少计算时间,只针对存在作物的图像部分进行杂草验证,优选的,步骤(2) 中,判断步骤(1)获得的灰度图像中是否存在杂草的具体步骤包括:
[0048] 2-1、计算步骤(1)获得的灰度图像的行像素值的和,投影成曲线;
[0049] 2-2、对步骤2-1获得的整条投影曲线进行扫描,获得跳变幅度最大和次大的跳变 沿;
[0050] 2-3、判断步骤2-2获得的跳变沿是否满足明显跳变的条件,即跳变沿前后两部分 行像素值的和的均值是否满足相差1~2倍以上,如满足,则将图像底端到距离图像底端较 近的满足明显跳变的跳变沿所在图像行间的图像作为处理对象,如未检测到明显跳变的跳 变沿,则将整幅图像作为处理对象,验证处理对象中是否有作物行交替,如有作物行交替, 判定农田中不存在杂草,否则判定农田存在杂草。
[0051] 选取图像底端到明显跳变沿处的图像进行作物行交替判定,主要是考虑到:对于 田间进行作物行提取操作,田头是从图像顶端渐入图像的,一旦田头进入图像,只能依据图 像底端的作物行进行田间作物行提取;明显跳变定义成跳变沿前后两部分行像素值和的均 值是否满足相差1~2倍以上主要为了避免作物自身分布或生长不匀造成的小跳变被当成 田头产生的跳变;如果因为跳变倍数选择太大,导致田头漏判,或者错判,会导致检测不到 作物行交替,从而判定农田中有杂草,此时会进入步骤(4)进行后续处理,不会影响作物行 的正确提取。
[0052] 为了提高验证是否存在杂草的准确性,优选的,步骤2-3中,验证处理对象中是否 有无作物行交替的具体步骤如下:
[0053] 2-3-1、将处理对象的像素值按行求和,将像素值和存到行向量氏中;
[0054] 2-3-2、先求行向量氏中像素值和的平均值,记录像素值和大于平均值的像素值 和位置,并将其它像素值和置零,然后扫描这些像素值和找到极值点,再将行向量等分为n 份,在每份中记录本份中极值点最大的Si个极值的位置,如果某一份中提取不到极值点或 提取个数少于Sif,则在最靠近向量心起始位置且未补充过极值点的份中选取未被选择过 的且数值最大的极值点作为补充极值点进行补充,使每份中极值点总数达到Sif,且限制 每一份提取的总极值点个数小于等于2XSi个,n和Si自定义,采集待提取图像的俯仰角为 0。~40。时,n选10~20, 51选1~4;俯仰角为40。~90。时,n选5~15, 51选2~ 6 ;
[0055] 2-3-3、计算步骤2-3-2获取的每一极值点对应的图像行的像素的平均值,以平均 值作为阈值对这一行像素进行二值分割,统计这一行中黑色线段的数量,并计算组成每一 黑色线段的像素数,保留像素数大于等于选定阈值的黑色线段,所述选定阈值选为图像宽 度的1/20~1/15 ;
[0056] 2-3-4、根据待提取图像由远到近地顺序来比较每行中黑色线段的数量,如果数量 依次递减或和前面相邻行的相同,则判定处理对象存在作物行交替,否则不存在作物行交 替。
[0057] 以工控机采用Intel(R)Core(TM) 2处理器为例,主频2. 93GHz,4G内存,运行系统 为WindowsXP,针对480X640像素大小的图像,当田间无杂草或极少杂草时,增加的杂草 有无判定操作能节省几十毫秒的时间;当有较多杂草时,增加的这步操作仅增加不到3ms 处理时间,可以有效提尚提取效率。
[0058] 优选的,步骤(5)中,对步骤(4)生成的灰度图像进行小波分解,计算2~x级小 波分解层的频率总量的计算公式为:
[0059] Cx=Clh+Cld+Clv
[0060] 其中:
[0061] 1为小波分解的任一小波分解层;
[0062] h为1层水平分解系数图像;
[0063] d为1层对角分解系数图像;
[0064] v为1层垂直分解系数图像;
[0065] Clh为1层水平分解系数图像的频率;
[0066] Cld为1层对角分解系数图像的频率;
[0067] Clv为1层垂直分解系数图像的频率;
[0068] Cly(y=h,d,v)的计算公式如下:
[0070] 其中,
[0071] MXN为小波分解第1层各方向细节子图像的大小,所述细节子图像是指小波分 解后分别将各层水平、垂直、对角线细节系数标定成非负数后,将系数作为灰度级生成的图 像,所述MXN取值为步骤(4)生成的灰度图像尺寸^※队的1/2iX1/2^2彡1彡x;
[0072] fly(i,j)为任一坐标点(i,j)处的小波分解系数。
[0073] 为了获取有效的极值点,提高验证的准确性,优选的,步骤5-4中,扫描行向量比 中像素值和的大小,获取多个极值点的具体步骤如下:
[0074] 5-4-1、如经小波分解后小波重构的是第x-1或第x级图像,则依次扫描行向量氏 中像素值和的大小,记录极值点位置,如果检测到像素值和爬升到顶点后,后面紧跟一系列 和其大小一样或相差几个像素的像素值和,然后像素值和才开始下降,则取这一系列紧邻 极值点中位置在中间或近似中间的点作为极值点,然后在记录的所有极值点中选取像素值 和最大的\个记录其位置,如极值点个数不足S^,则寻找相邻距离最大的两个极值点,在这 两个极值点中间位置附近选取非零的非极值点补充为极值点,重复操作,直至得到\个极 值点,其中5彡SQ彡15 ;
[0075] 上述操作考虑到小波分解的第x-1或第x级对应的频率较低,体现在重构后的图 像上,导致构成整幅图像前景的最小图像块较大,当x= 6时,会达到16X16像素(重构 的为小波第5级)或32X32像素(重构的为小波的第6级),也就容易出现"像素值和爬 升到顶点后,后面紧跟一系列和其大小一样或相差几个像素的像素值和,然后像素值和才 开始下降"的情况,而这一系列大小相同或相差很少的像素值和表达的是同一图像块,所以 选择中间或近似中间位置处的点做代表即可。而极值点不足时补充极值点方式的选定,也 是考虑到最小图像块较大,导致整幅图像中体现作物行交替的典型点本就不多,所以这里 允许采用非极值点补充;最小图像块较大同时也导致重构的图像中即使含有一个最小的由 杂草生成的图像块也会大大影响极值点的选择,为了避免选择的极值点都过多集中在杂草 区,将补充极值点的位置选在相邻距离最大的两个极值点之间。
[0076] 5-4-2、如经小波分解后小波重构的是x-a级时,2彡a彡(x-2),则先求行向量氏 中像素值和的平均值,记录像素值和大于平均值的像素值和位置,并将其它像素值和置零, 然后扫描这些像素值和找到极值点,再将行向量氏等分为n份,在每份中记录本份中极值 点最大的Si个极值的位置,如果某一份中提取不到极值点或
提取个数少于S:个,则在最靠 近向量氏起始位置且未补充过极值点的份中选取未被选择过的且数值最大的极值点作为 补充极值点进行补充,使每份中极值点总数达到Sif,且限制每一份提取的总极值点个数 小于等于2XSi个。
[0077] 当重构的是小波分解的x-a级中的一级时,较高频率信息会产生较多极值点,所 以先通过保留像素值和大于平均值的像素值和位置,对极值点进行初步筛选;将行向量等 分为n份取极值点是为了避免极值点过于集中,从而缺少代表性;在最靠近向量起始位置 补充极值点是考虑到平行的两条直线成像时在远方会交于一点,因此近似平行的作物行成 像后在图像远端的作物行交替特征相比图像底端要弱,尤其俯仰角小时这种削弱更明显。
[0078] 上述参数n和参数Si的选定原则为:采集图像的俯仰角小时,n选得大,得小, 保证均匀取极值点的同时,避免出现极值点集中于图像远端;俯仰角大时,n选得小,Si选得 大,此时图像远端的作物行交替仍很明显,选极值点时不需考虑避开这一端,而主要考虑避 开断垄的影响:份数n取得小,能减少单份中某作物行完全是断垄的可能性,而单份中选极 值点时并不考虑极值点位置分布均不均匀,因此有利于减少选中的图像行通过断垄行的可 能性。
[0079] 采集待提取图像的俯仰角为0°~40°时,n选10~20, 1~4 ;俯仰角为 40。~90。时,n选5~15, 5丨选2~6。
[0080] 优选的,步骤(7)中,对步骤(6)获得的图像进行团块噪声滤除操作的具体步骤如 下:
[0081] 7-1、判断步骤(5)中选取频率总量最大的N级小波分解层中,是否包含小波分解 的第x-1级、第x级中的至少一个,如果包含则进入步骤7-2,否则进入步骤7-3 ;
[0082] 因作物叶片较大、较密集时,会在小波分解第x-1或第x低频级上产生较多信息, 而此时在更高频率级上保留的较高频信息更容易相互成为邻域,此时采用下述步骤7-2的 操作,将孤立团块去除不仅不会过多减少作物信息还会提高噪声去除率。
[0083] 7-2、选取的作物层为小波分解的第x-a级时,则去除图像上小于等于 yx-rf 像素大小的白色孤立团块;
[0084] 7-3、去除图像中所有黑色孤立团块。
[0085] 本发明的有益效果:
[0086] 本发明的抗密集杂草干扰的田间作物行提取方法,通过Otsu和小波多分辨率分 解相配合提高农田图像分割过程的抗杂草干扰能力,通过增加杂草有无判断环节改善、减 少作物行提取过程的平均用时,提高提取效率,通过改进验证作物行交替的方法,提高作物 行验证过程的鲁棒性。
【附图说明】
[0087] 图1为本发明的技术方案的流程图。
[0088] 图2为实施例1中采用超绿变换获得的萝卜地农田图像灰度图。
[0089] 图3为实施例1中采用三基色平均法获得的萝卜地农田图像灰度图。
[0090] 图4为实施例1中去除非绿色噪声的萝卜地农田灰度图像。
[0091] 图5为实施例1中对图4的灰度图像的行像素进行像素值求和后生成的投影曲 线。
[0092] 图6为实施例1中去除杂草后生成的二值图像。
[0093] 图7为实施例1中图3叠加了导航线的灰度图像。
[0094] 图8为实施例2中去除非绿色噪声的青菜地灰度图像。
[0095] 图9为实施例2中对图8采用Otsu分割获得的灰度图像。
[0096] 图10为实施例2中对图9进行小波去噪后获得的作物层。
[0097] 图11为实施例2中对图10进行Otsu分割后获得的二值图。
【具体实施方式】
[0098] 下面结合实例,对本发明作进一步说明。
[0099] 实施例1
[0100] 本实施例的待提取图像:彩色萝卜地农田图像,拍摄时的俯仰角在45°左右,相 机距地面高度为1. 7m左右,图像分辨率为480X640像素。
[0101] (1)将待提取图像转换成去除非绿色噪声的灰度图像,具体步骤如下:
[0102] 1-1、对待提取图像进行超绿变换,获得图2,变换公式为:
[0103] I= 2G-R-B;
[0104] 通过超绿变换获得灰度图像,能有效增强绿色植物和非绿色噪声的对比度,有利 于通过后续Otsu分割将非绿色噪声去除;
[0105] 1-2、对待提取图像采用三基色平均法转换为图3,转换公式为:
[0107] 其中,
[0108] R指采集的待提取图像中红色分量灰度值;
[0109] G指绿色分量灰度值;
[0110]B指蓝色分量灰度值;
[0111] I表示转换成的灰度图像的亮度值。
[0112] 1-3、对图2进行Otsu分割法分割获得二值图像,记录二值图像中像素值为零的坐 标;
[0113] 1-4、将图3中与二值图像中所记录的坐标位置相同的像素值置零,获得去除非绿 色噪声的图4。
[0114] (2)判断步骤⑴获得的图4中是否存在杂草,具体步骤如下:
[0115] 2-1、计算图4所示图像的行像素值的和,投影成曲线,如图5所示,图5中所示坐 标系的横坐标表示行,纵坐标表示行像素的灰度值之和,量级为1〇 4;
[0116] 2-2、扫描获得投影曲线的最大及次大跳变沿,验证这两个跳变沿是否符合明显跳 变,即跳变沿前后两部分行像素值的和的均值是否满足相差2倍以上,经验证两个跳变沿 都满足明显跳变沿条件,将图像底端到距离图像底端较近的满足明显跳变的跳变沿所在图 像行间的图像作为处理对象,进行有无作物行判定;
[0117] (3)对处理对象行有无作物行判定的具体步骤为:
[0118] 3-1、先求图4底端到距离图像底端较近的满足明显跳变的跳变沿所在的图像行 间的图像的行向素值和,并计算像素值和的平均值,记录像素值和大于平均值的像素值和 位置,并将其它像素值和置零,然后扫描这些像素值和找到极值点,再将行向量等分为n 份,在每份中记录本份中极值点最大的Si个极值的位置,如果某一份中提取不到极值点或 提取个数少于Sif,则在最靠近向量起始位置且未补充过极值点的份中将极值点总个数补 充上,且限制每一份提取的总极值点个数小于等于2XSif,其中n选为5、Si选为2。
[0119] 计算提取的每一极值点对应的图像行的像素的平均值,以平均值作为阈值I;对这 一行像素进行二值分割,统计这一行中黑色线段的数量,并计算组成每一黑色线段的像素 数,保留像素数大于等于选定阈值的黑色线段,按照由图像顶到底的顺序来比较黑色线 段的数量,发现数量依次递减,判定存在作物行交替,则判定为没有杂草,本实施例中,1\选 为待提取图像宽度的1/15。
[0120] (4)对图4进行Otsu分割,且仅显示进行了作物行交替验证的图像部分,如图6所 示,对图6采用最小二乘法提取作物行的中心线1,然后获得导航线2,将获得的中心线1和 导航线2附加到图3中,如图7所示。
[0121] 实施例2
[0122] 本实施例的待提取图像:彩色青菜地农田图像,拍摄时的俯仰角为60°左右,相 机距地面高度为1. 7m左右,图像分辨率为640X480像素。
[0123] (1)将待提取图像转换成去除非绿色噪声的灰度图像,方式与实施例1相同,得到 图8 ;
[0124] (2)对图8验证是否存在杂草,具体步骤如下:
[0125] 2-1、先计算图8的行像素值的和,投影成曲线,然后扫描获得投影曲线的最大及 次大跳变沿,经验证没有符合明显跳变要求的跳变沿,明显跳变为跳变沿前后两部分行像 素值的和的均值相差2倍以上的跳变沿,对图8整幅图像进行有无作物行判定;
[0126] 2-2、先求图8对应的投影曲线中像素值和的平均值,记录像素值和大于平均值的 像素值和位置,并将其它像素值和置零,然后扫描这些像素值和找到极值点,再将行向量等 分为n份,在每份中记录本份中极值点最大的Si个极值的位置,如果某一份中提取不到极 值点或提取个数少于Sif,则在最靠近向量起始位置
且未补充过极值点的份中将极值点总 个数补充上,且限制每一份提取的总极值点个数小于等于2XSif,其中n选为5、Si选为 2 ;
[0127] 2-3、计算每一极值点对应的图像行的像素的平均值,以平均值作为阈值I;对这一 行像素进行二值分割,统计这一行中黑色线段的数量,并计算组成每一黑色线段的像素数, 保留像素数大于等于选定阈值1\的黑色线段,按照由图像顶到底的顺序来比较黑色线段的 数量,发现不满足数量依次递减,判定不存在作物行交替,即待提取图像中有杂草干扰, 选为图像宽度的1/15。
[0128] (3)、对图8中的像素值非零的像素采用Otsu进行分割,小于分割阈值的像素值置 零,大于等于阈值的像素值保留原值,生成新的灰度图像,如图9所示。
[0129](4)、对图9进行6级小波分解,将分解后的频率最高的细节小波分解层称为第1 级小波分解层,随着频率的降低依次将分解后的细节小波分解层称为2到6级小波分解层, 按照下述公式计算2~6各小波分解层的频率总量,选取频率总量最大的3级小波分解层, 进行下述操作,
[0130] 步骤(5)中,对步骤(4)生成的灰度图像进行小波分解,计算2~6级小波分解层 的频率总量的计算公式为:
[0131] C1=Clh+Cld+Clv
[0132] 其中:
[0133] 1为小波分解的任一小波分解层;
[0134] h为1层水平分解系数图像;
[0135] d为1层对角分解系数图像;
[0136] v为1层垂直分解系数图像;
[0137] Clh为1层水平分解系数图像的频率;
[0138] Cld为1层对角分解系数图像的频率;
[0139] Clv为1层垂直分解系数图像的频率;
[0140] Cly(y=h,d,v)的计算公式如下:
[0142] 其中,
[0143] MXN为小波分解第1层各方向细节子图像的大小,所述细节子图像是指小波分 解后分别将各层水平、垂直、对角线细节系数标定成非负数后,将系数作为灰度级生成的图 像,所述MXN取值为步骤(1)生成的灰度图像尺寸^※队的1/2iX1/2^2彡1彡6 ;
[0144] fly(i,j)为任一坐标点(i,j)处的小波分解系数。
[0145] 4-1、先选取频率总量最大的小波分解层;
[0146] 4-2、对选取的小波分解层进行小波重构,然后将小波重构后的图像的像素值按行 求和,将像素值和存到行向量氏中;
[0147] 4-3、扫描行向量氏中像素值和的大小,获取多个极值点,获取步骤如下:
[0148] 4-3-1、如经小波分解后小波重构的是第5或第6级图像,则依次扫描行向量氏中 像素值和的大小,记录极值点位置,然后在记录的所有极值点中选取像素值和最大的SQ个 记录其位置,如极值点个数不足\,则寻找相邻距离最大的两个极值点,在这两个极值点中 间位置附近选取非零的非极值点补充为极值点,重复操作,直至得到\个极值点,,本实施 例中取SQ= 10 ;
[0149]4-3-2、如经小波分解后小波重构的是2~4级时,则先求行向量氏中像素值和的 平均值,记录像素值和大于平均值的像素值和位置,并将其它像素值和置零,然后扫描这些 像素值和找到极值点,再将行向量等分为n份,在每份中记录本份中极值点最大的&个极 值的位置,如果某一份中提取不到极值点或提取个数少于Sif,则在最靠近向量Hi起始位 置且未补充过极值点的份中将极值点总个数补充上,即将选定补充极值点的份中的极值点 从大到小排列,选取未被选择过的数值最大的极值点作为补充极值点,补充达到Sif,且限 制每一份提取的总极值点个数小于等于2XSif,本实施例中,n= 5,S2。
[0150] 4-4、计算步骤4-3获取的每一极值点对应的图像行的像素的平均值,以平均值作 为阈值对这一行像素进行二值分割,统计这一行中黑色线段的数量,并计算组成每一黑色 线段的像素数,保留像素数大于等于选定阈值的黑色线段;
[0151] 4-5、根据待提取图像由远到近地顺序来比较每行中黑色线段的数量,如果数量依 次递减或和前面相邻行的相同,则将该经小波重构的小波分解层作为作物层,并进入步骤 (5);否则选取频率总量小一级的小波分解层进行步骤4-2~4-5的操作,如果3级小波分 解层都无法作为作物层,则进入步骤4-6 ;
[0152] 4-6、选择满足黑色线段的数量依次递减或和前面相邻行的相同关系最多的小波 重构后的图像作为目标图像;
[0153]a、将目标图像中不符合依次递减且不符合和前面相邻行相同的要求的行的位置 记录下来,将记录下来的行到其它小波重构后的图像上验证对应行的黑色线段数量是否也 不满足目标图像的依次递减且不符合和前面相邻行相同的要求,如不满足,选定目标图像 作为作物层;
[0154] b、否则再对其它选定的3级小波分解层对应的小波重构后的图像,依照满足黑色 线段的数量依次递减或和前面相邻行的相同关系最多到最少的顺序依次作为目标图像,重 复步骤a,直到满足条件,选定目标图像作为作物层,如果重复2次后仍无法满足条件,则进 入步骤4-7 ;
[0155] 4-7、计算选定的3级小波分解层进行小波重构得到的小波重构后的图像中行上 黑色线段数量最大值与最小值的差异,选取差异不是最大而且满足黑色线段的数量依次递 减关系数量不是最小的图像作为作物层。
[0156] 经过步骤4-1~4-5的判断(其中4-3步进行的是4-3-1步),发现频率总量最多 的3级小波分解中的第5级重构后的图像,满足黑色线段数量依次递减或和前面相邻行相 同的规律,选为作物层,如图10所示;
[0157] (5)、对图10的像素值非零的像素再次进行Otsu分割,从而去除这一层中的弱频 率信息,使作物层表达的主频信息更集中,有利于进一步减少杂草干扰,获得的图像如图11 所示;
[0158] (6)、对步骤(5)获得的图11进行团块噪声滤除操作,去除图像中所有黑色孤立团 块。
[0159] (7)、对经步骤(6)处理的二值图像进行最小二乘法的作物行中心线提取,获得导 航线。
【主权项】
1. 一种抗密集杂草干扰的田间作物行提取方法,其特征在于,包括以下步骤: (1) 将待提取图像转换成去除非绿色噪声的灰度图像; (2) 判断步骤(1)获得的灰度图像中是否存在杂草,如果不存在杂草,则进入步骤(3); 如果存在杂草,则进入步骤(4); (3) 对步骤(1)获得的灰度图像进行Otsu分割得到结果图像,根据结果图像得到各作 物行的中心线; (4) 对步骤(1)获得的灰度图像中像素值非零的像素进行Otsu分割,小于分割阈值的 像素值置零,大于等于阈值的像素值保留原值,生成新的灰度图像; (5) 对步骤(4)生成的灰度图像进行小波去噪,得到去除杂草的作物层; (6) 对步骤(5)获得的作物层中的非零像素值进行Otsu分割; (7) 对步骤(6)获得的图像进行团块噪声滤除操作,得到结果图像,根据结果图像得到 各作物行的中心线。2. 如权利要求1所述的抗密集杂草干扰的田间作物行提取方法,其特征在于,在步骤 (5)中,对步骤(4)生成的灰度图像进行小波去噪的具体步骤如下: 5-1、对步骤(4)生成的灰度图像进行X级小波分解,X多5,将分解后的频率最高的细 节小波分解层称为第1级小波分解层,随着频率的降低依次将分解后的细节小波分解层称 为2到X级小波分解层; 计算2~X级小波分解层的频率总量,选取频率总量最大的N级小波分解层进行下述 操作,N彡2 ; 5-2、先选取频率总量最大的小波分解层; 5-3、对选取的小波分解层进行小波重构,然后将小波重构后的图像的像素值按行求 和,将像素值和存到行向量氏中; 5-4、扫描行向量H1中像素值和的大小,获取多个极值点; 5-5、计算步骤5-4获取的每一极值点对应的图像行的像素的平均值,以平均值作为阈 值对这一行像素进行二值分割,统计这一行中黑色线段的数量,并计算组成每一黑色线段 的像素数,保留像素数大于等于选定阈值的黑色线段,所述选定阈值为待提取图像宽度的 1/20
~1/15 ; 5-6、根据待提取图像由远到近地顺序来比较每行中黑色线段的数量,如果数量依次递 减或和前面相邻行的相同,则将该经小波重构的小波分解层作为作物层,并进入步骤(6); 否则选取频率总量小一级的小波分解层进行步骤5-3~5-6的操作,如果N级小波分解层 都无法作为作物层,则进入步骤5-7 ; 5-7、选择满足黑色线段的数量依次递减或和前面相邻行的相同关系最多的小波重构 后的图像作为目标图像; a、 将目标图像中不符合依次递减且不符合和前面相邻行相同的要求的行的位置记录 下来,将记录下来的行到其它小波重构后的图像上验证对应行的黑色线段数量是否也不满 足目标图像的依次递减且不符合和前面相邻行相同的要求,如不满足,选定目标图像作为 作物层; b、 否则再对其它选定的N级小波分解层对应的小波重构后的图像,依照满足黑色线段 的数量依次递减或和前面相邻行的相同关系最多到最少的顺序依次作为目标图像,重复步 骤a,直到满足条件,选定目标图像作为作物层,如果重复N-I次后仍无法满足条件,则进入 步骤5-8 ; 5-8、计算选定的N级小波分解层进行小波重构得到的小波重构后的图像中行上黑色 线段数量最大值与最小值的差异,选取差异不是最大而且满足黑色线段的数量依次递减关 系数量不是最小的图像作为作物层。3. 如权利要求2所述的抗密集杂草干扰的田间作物行提取方法,其特征在于,步骤(5) 中,N = 3〇4. 如权利要求1所述的抗密集杂草干扰的田间作物行提取方法,其特征在于,步骤(1) 中,将待提取图像转换成去除非绿色噪声的灰度图像的具体步骤如下: 1-1、对待提取图像进行超绿变换,获得第一灰度图像; 1-2、对待提取图像采用三基色平均法转换为第二灰度图像; 1-3、对第一灰度图像进行Otsu分割法分割获得第三灰度图像,记录第三灰度图像中 像素值为零的坐标; 1- 4、将第二灰度图像中与第三灰度图像中所记录的坐标位置相同的像素值置零,获得 去除非绿色噪声的灰度图像。5. 如权利要求1所述的抗密集杂草干扰的田间作物行提取方法,其特征在于,步骤(2) 中,判断步骤(1)获得的灰度图像中是否存在杂草的具体步骤包括: 2- 1、计算步骤(1)获得的灰度图像的行像素值的和,投影成曲线; 2-2、对步骤2-1获得的整条投影曲线进行扫描,获得跳变幅度最大和次大的跳变沿; 2-3、判断步骤2-2获得的跳变沿是否满足明显跳变的条件,即跳变沿前后两部分行像 素值的和的均值是否满足相差1~2倍以上,如满足,则将图像底端到距离图像底端较近 的满足明显跳变的跳变沿所在图像行间的图像作为处理对象,如未检测到明显跳变的跳变 沿,则将整幅图像作为处理对象,验证处理对象中是否有作物行交替,如有作物行交替,判 定农田中不存在杂草,否则判定农田存在杂草。6. 如权利要求5所述的抗密集杂草干扰的田间作物行提取方法,其特征在于,步骤2-3 中,验证处理对象中是否有无作物行交替的具体步骤如下: 2-3-1、将处理对象的像素值按行求和,将像素值和存到行向量氏中; 2-3-2、先求行向量H1中像素值和的平均值,记录像素值和大于平均值的像素值和位 置,并将其它像素值和置零,然后扫描这些像素值和找到极值点,再将行向量等分为η份, 在每份中记录本份中极值点最大的S1个极值的位置,如果某一份中提取不到极值点或提取 个数少于S1A,则在最靠近向量H i起始位置且未补充过极值点的份中选取未被选择过的 且数值最大的极值点作为补充极值点进行补充,使每份中极值点总数达到S1A,且限制每 一份提取的总极值点个数小于等于2XSi个,11和S1自定义,采集待提取图像的俯仰角为 0。~40。时,η选10~20, 51选1~4;俯仰角为40。~90。时,η选5~15, S 1选2~ 6 ; 2-3-3、计算步骤2-3-2获取的每一极值点对应的图像行的像素的平均值,以平均值作 为阈值对这一行像素进行二值分割,统计这一行中黑色线段的数量,并计算组成每一黑色 线段的像素数,保留像素数大于等于选定阈值的黑色线段,所述选定阈值为待提取图像宽 度的1/20~1/15 ; 2-3-4、根据待提取图像由远到近地顺序来比较每行中黑色线段的数量,如果数量依次 递减或和前面相邻行的相同,则判定处理对象存在作物行交替,否则不存在作物行交替。7. 如权利要求2所述的抗密集杂草干扰的田间作物行提取方法,其特征在于,步骤(5) 中,对步骤(4)生成的灰度图像进行小波分解,计算2~X级小波分解层的频率总量的计算 公式为: C1= C lh+cld+clv其中: 1为小波分解的任一小波分解层; h为1层水平分解系数图像; d为1层对角分解系数图像; V为1层垂直分解系数图像; Clh为1层水平分解系数图像的频率; Cld为1层对角分解系数图像的频率; Clv为1层垂直分解系数图像的频率; Cly (y = h,d,V)的计算公式如下:其中, MXN为小波分解第1层各方向细节子图像的大小,所述细节子图像是指小波分解后分 别将各层水平、垂直、对角线细节系数标定成非负数后,将系数作为灰度级生成的图像,所 述MXN取值为步骤(4)生成的灰度图像尺寸MqXNq的1/2'1/%,2彡1彡X ; fly(i,j)为任一坐标点(i,j)处的小波分解系数。8. 如权利要求2所述的抗密集杂草干扰的田间作物行提取方法,其特征在于,步骤5-4 中,扫描行向量H1中像素值和的大小,获取多个极值点的具体步骤如下: 5-4-1、如经小波分解后小波重构的是第x-1或第X级图像,则依次扫描行向量H1中 像素值和的大小,记录极值点位置,然后在记录的所有极值点中选取像素值和最大的Stl个 记录其位置,如极值点个数不足Stl,则寻找相邻距离最大的两个极值点,在这两个极值点 中间位置附近选取非零的非极值点补充为极值点,重复操作,直至得到Stl个极值点,其中 5 ^ S0^ 15 ; 5-4-2、如经小波分解后小波重构的是x-a级时,2 < a < (x-2),则先求行向量H1中像 素值和的平均值,记录像素值和大于平均值的像素值和位置,并将其它像素值和置零,然后 扫描这些像素值和找到极值点,再将行向量H1等分为η份,在每份中记录本份中极值点最 大的S1个极值的位置,如果某一份中提取不到极值点或提取个数少于S if,则在最靠近向 量H1起始位置且未补充过极值点的份中选取未被选择过的且数值最大的极值点作为补充 极值点进行补充,使每份中极值点总数达到S1A,且限制每一份提取的总极值点个数小于 等于2XSi个,I^PS1自定义,采集待提取图像的俯仰角为0°~40°时,η选10~20, Si 选1~4 ;俯仰角为40°~90°时,η选5~15, 51选2~6 ;9. 如权利要求2所述的抗密集杂草干扰的田间作物行提取方法,其特征在于,步骤(7) 中,对步骤(6)获得的图像进行团块噪声滤除操作的具体步骤如下: 7-1、判断步骤(5)中选取频率总量最大的N级小波分解层中,是否包含小波分解的第 x-1级、第X级中的至少一个,如果包含则进入步骤7-2,否则进入步骤7-3 ; 7-2、选取的作物层为小波分解的第x-a级时,则去除图像上小于等于XZtrf像 素大小的白色孤立团块; 7-3、去除图像中所有黑色孤立团块。
【专利摘要】本发明公开了一种抗密集杂草干扰的田间作物行提取方法,包括以下步骤:将待提取图像转换成去除非绿色噪声的灰度图像;判断是否存在杂草,如果不存在杂草,则进行Otsu分割,得到结果图像,根据结果图像得到各作物行的中心线;如果存在杂草,则对图像中像素值非零的像素进行Otsu分割,小于分割阈值的像素值置零,大于等于阈值的像素值保留原值,生成新的灰度图像;对生成的灰度图像进行小波去噪,得到去除杂草的作物层,对作物层中非零像素进行Otsu分割;再进行团块噪声滤除操作,得到结果图像,根据结果图像得到各作物行的中心线。本发明提高农田图像分割过程的抗杂草干扰能力,提高提取效率,提高作物行验证过程的鲁棒性。
【IPC分类】G06K9/00, G06K9/46
【公开号】CN104899553
【申请号】CN201510218378
【发明人】韩永华
【申请人】浙江理工大学
【公开日】2015年9月9日
【申请日】2015年4月30日