基于无人机图像的风机叶片表面缺陷检测方法及系统

1.本发明涉及叶片缺陷检测技术领域，尤其涉及一种基于无人机图像的风机叶片表面缺陷检测方法及系统。


背景技术：

2.近年来社会对能源需求越来越迫切，风能作为可再生能源得到大力发展，风能技术相应地也得到了提高。随着风机的装机容量大幅增加，影响风机稳定运行的因素也随之增多，风电机组主要由机舱、叶片、风轮轴、发电机、液压器、塔筒等组成。叶片风机能否高效、安全捕风的关键部件，为了最大限度的提高功率输出，风机叶片的长度也随之增加叶片损伤几率增大。风力资源往往集中位于山区、近海或戈壁等地，风电场也都是建立在这些地理、气候环境相对复杂的地区。风机叶片全年在多风沙、多盐雾、多灾害的艰苦环境下工作，叶片表面就会受到各种介质带来的伤害从而形成损伤。风力发电叶片的主要缺陷风力发电叶片常见的缺陷类型有腐蚀、裂纹、厚度不均匀、雷击损坏、胶衣脱落、覆冰、气孔、砂眼等缺陷。叶片失效已成为风电行业较为常见的现象。风机叶片的成本大约占到整个机组上生产成本的20%叶片的失效不仅会给风电企业带来经济损失还会造成严重的安全问题。因此风力机叶片乃至风电机组的状态监测具有很重要的意义。
3.在以人工为主导的叶片检测方式在主要是：吊绳、升降平台、望远镜观察，这种方式效率低、高空作业危险性高、时效性慢，不能及时发现叶片存在的问题。以传感器为主导的叶片非接触检测方式主要包括超声检测、声发射检测、红外热成像检测等方式，这些虽然也是无损检测但也有一些弊端，比如超声检测易受主观影响检测不全面，声发射需要在叶片附加装置，红外热成像价格昂贵应用难以落地。今天，在导航定位系统日渐发展下，无人机探测技术也日渐成熟被应用于很多领域之中，也出现了一些使用无人机巡检叶片表面的检测技术，然而目前无人机巡检叶片图像缺陷的算法中存在识别过程简单、精度不够的缺点。
4.因此，现有的叶片检测技术存在缺陷，如何有效地检测风机叶片表面缺陷仍然是一个亟待解决的问题。现有技术亟需一种完善地图像处理技术方法对叶片表面缺陷进行检测来解决现有技术中存在的问题。


技术实现要素：

5.本发明实施例提供了一种基于无人机图像的风机叶片表面缺陷检测方法及系统，用以解决现有技术中目前在风机叶片表面检测领域中存在的巡检费时费力成本高，危险程度高，经济效益低的技术问题。
6.本发明实施例提供一种基于无人机图像的风机叶片表面缺陷检测方法，包括以下步骤：近距离全方位采集叶片图像；将无人机采集到的叶片图像传输到地面处理系统；
对图像进行数字化处理，通过算法检测识别并提取出缺陷。
7.进一步的，所述地面处理系统对图像进行数字化处理与分析包括以下步骤：a1:对风机叶片的图像数字化处理；a2:对风机表面缺陷进行标记，检测识别出叶片缺陷。
8.进一步的，步骤a1中，对风机叶片的图像数字化处理的方法，还包括以下步骤：将采集到的叶片图像采用加权平均值法转换成灰度图像；将灰度处理后的叶片图像采用中值滤波算法进行滤波去噪；将滤波去噪后的图像采用限制对比度自适应直方图均衡化算法进行图像增强。
9.进一步的，所述限制对比度自适应直方图均衡化算法包括：将图像切分进行分块处理，均匀地分成大小一样的矩形块；计算每个块的直方图、累积分布函数及对应的变换；对于分割成块的图像按照像素分布可以分为三种情况处理：位于角点处的区域部分的像素直接使用所在子块的变换函数来映射；位于边界处的区域部分的像素则以两个相邻子块做映射变换函数后做线性插值得到；位于中心区域部分的像素则以周围四个子块变换函数后双线性插值得到。
10.进一步的，所述步骤a2的具体方法为：（1）采用前景分割技术上提取叶片图像，去掉复杂背景；（2）采用自定义阈值与迭代阈值结合的方式对所述提取叶片后的图像进行二值化处理；（3）对缺陷区域进行图像形态学处理,识别出缺陷区域,对所有的目标像素点进行连通区域检测,并利用邻域连通标记法,在风力发电机叶片图像中检测出缺陷，确定风力机叶片表面状态。
11.进一步的，步骤（2）中采用阈值分割算法，实现流程包括：
①
选取一个初始阈值g，g=（gmin+gmax）/2，式中gmin为缺陷图像最小灰度值，gmax为缺陷图像最大灰度值；
②
根据阈值g把给定图像分割成两组图像，记为r1和r2；r1由灰度值大于g的所有像素组成，r2由灰度值小于等于 g 的所有像素组成。
12.③
计算r1和r2均值μ1和μ2；计算出新的阈值g1，且g1=（μ1+μ2）/2;
④
若g1不再变化，则g1即为阈值；否则转至步骤（2）重新计算，直至连续迭代中g的差值小于预定值为止。
13.进一步的，在全方位采集叶片图像时，无人机按照导航系统对风机叶片前后两面进行图像采集，确保对叶片的全方位检测。
14.一种适用于无人机图像的风机叶片表面缺陷检测方法的系统，包括：无人机，用于采集风机叶片表面图像；导航定位系统，用于对无人机提供定位服务；地面处理系统，用于对图像进行数字化处理，通过改进算法检测识别并提取出缺陷；图像数据传输系统，用于将无人机采集到的叶片图像传输到所述地面处理系统。
15.进一步的，所述导航定位系统采用的是实时北斗卫星导航系统。
16.进一步的，所述无人机设有防抖的云台相机。
17.其工作原理和过程如下：无人机按导航定位系统飞至风电机组前，无人机通过导航进行近距离全方位采集叶片图像，导航系统为我国自主研发的实时北斗卫星导航系统（bds）,图像数据传输系统为无线传输，图像数据传输系统是将无人机采集到的叶片图像传输到的地面处理系统，地面处理系统对图像进行数字化处理，通过改进算法检测识别并提取出缺陷。
18.综上所述，本发明的有益效果如下：本发明通过自主导航系统保证无人机飞行安全的前提下全方位采集叶片图像信息实现高度自动化，通过传输图像数据使叶片进行数字化处理，经过筛选对含有缺陷的叶片进行灰度、去噪并使用改进的clahe算法对叶片缺陷进行增强，突出缺陷细节；在图像增强的基础上进行叶片前景提取并二值化锁定缺陷部分，提取出缺陷区域，并结合形态学开闭运算去除噪声及填充缺陷连接断裂部分，提高了基风机叶片缺陷检测准确率，达到检测缺陷的目的；应用无人机进行风机叶片检测大大减轻工作人员的劳动强度和降低风力发电机组运行风险，有效避免了人为因素的影响；同时应用该检测方法图像数据将会长期存留方便每次巡检对比，可以减少风力发电机叶片的维护成本。
附图说明
19.图1为本发明的基于无人机图像的风机叶片表面缺陷检测系统的整体示意图；图2为本发明中北斗卫星实时导航定位系统（bds）原理示意图；图3为本发明中无人机检测风机叶片缺陷流程图；图4为本发明中风机叶片表面缺陷检测图像处理流程图。
具体实施方式
20.实施例1：如图1-图4所示，本发明实施例提供一种基于无人机图像的风机叶片表面缺陷检测方法，包括以下步骤：无人机飞至风电机组的扇叶处；通过导航定位系统使无人机近距离全方位采集叶片图像；将无人机采集到的叶片图像传输到地面处理系统；通过地面处理系统对图像进行数字化处理，通过算法检测识别并提取出缺陷。
21.而上述步骤中，地面处理系统对图像进行数字化处理与分析包括以下步骤：a1:对风机叶片的图像数字化处理；a2:对风机表面缺陷进行标记，检测识别出叶片缺陷。
22.步骤a1中，对风机叶片的图像数字化处理的方法，还包括以下步骤：将采集到的叶片图像采用加权平均值法转换成灰度图像；将灰度处理后的叶片图像采用中值滤波算法进行滤波去噪，该算法能够调整窗口模板的大小根据统计特性的像素强度差异在窗户的附近以获得一个更好的噪声抑制和细节保护之间的平衡和改善传统的性能排名统计算法；将滤波去噪后的图像采用限制对比度自适应直方图均衡化算法进行图像增强，增
强图像清晰度，使叶片缺陷细节更明显。
23.上述步骤中，如图3和图4所示，据上述无人机采集的图像为彩色图像，直接处理会产生大量数据不利于快速计算，这里对采集到的图像采用加权平均值的方法进行灰度处理，其计算公式如下：f(i,j)=a1*r(i,j)+a2*g(i,j)+a3*b(i,j)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式中:f(i,j)表示为灰度图中（i,j）处的灰度值，a1,a2,a3为加权系数。因为人眼对绿色最为敏感，红色次之，对蓝色的敏感性最低，所以使a2》a1》a3将得到较易识别的灰度图像，当a1=0.299,a2=0.587,a3=0.114时能得到较好的处理结果。
24.所述灰度图像需要进行滤波去噪，无人机高空飞行、风电场恶劣环境所产生的噪声外，各电子设备产生的噪声噪声难以避免；中值滤波算法针对这类噪声具有很大优势，中值滤波公式可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，表示滤波前后的图像，w为二维滤波模板。
25.滤波去噪过后对图像进行增强分割处理，图像增强这里采用改进的图像增强算法
‑‑‑‑
限制对比度自适应直方图均衡化算法（clahe），对比传统的增强算法clahe增加了局部优化算法，引入对比度限制，使过于明亮的信息能够均匀分布至整体图像中，限制局部直方图的高度来达到限制噪声放大和局部对比度的增强。限制对比度自适应直方图均衡化算法包括：将图像切分进行分块处理，均匀地分成大小一样的矩形块；计算每个块的直方图、累积分布函数及对应的变换；对于分割成块的图像按照像素分布可以分为三种情况处理：位于角点处的区域部分的像素直接使用所在子块的变换函数来映射；位于边界处的区域部分的像素则以两个相邻子块做映射变换函数后做线性插值得到；位于中心区域部分的像素则以周围四个子块变换函数后双线性插值得到。
26.对于双线性插值是由两个变量的插值函数的扩展，核心就是在两个方向上分别进行线性插值。而线性插值则是一种采用一次多项式计算的插值方法，它根据需要插值的点的左右临近的数值计算的。
27.步骤a2的具体方法为：（1）采用前景分割技术上提取叶片图像，去掉复杂背景；（2）采用自定义阈值与迭代阈值结合的方式对提取叶片后的图像进行二值化处理，所述阈值分割能够有效保留叶片的几何特征，能够较好的反映图像整体和局部特征从而达到分割出缺陷目标；（3）对缺陷区域进行图像形态学处理,识别出缺陷区域,对所有的目标像素点进行连通区域检测,并利用邻域连通标记法,在风力发电机叶片图像中检测出缺陷，确定风力机叶片表面状态。
28.上述步骤中，所述增强后图像进行叶片前景分割提取，对提取后的叶片缺陷图像进行二值化处理分离出缺陷区域，对所述缺陷处理运用形态学算法进行修复。
29.所述形态学分为腐蚀；膨胀。开运算；闭运算。形态学处理可以剔除无用信息，突出缺陷部分并提取缺陷；对所有的目标像素点进行连通区域检测,并利用邻域连通标记法,在
风力发电机叶片图像中检测并框取出缺陷进行缺陷故障对比，确定风力机叶片表面状态。
30.步骤（2）中采用阈值分割算法，实现流程包括：
①
选取一个初始阈值g，g=（gmin+gmax）/2，式中gmin为缺陷图像最小灰度值，gmax为缺陷图像最大灰度值；
②
根据阈值g把给定图像分割成两组图像，记为r1和r2；r1由灰度值大于g的所有像素组成，r2由灰度值小于等于 g 的所有像素组成。
31.③
计算r1和r2均值μ1和μ2；计算出新的阈值g1，且g1=（μ1+μ2）/2;
④
若g1不再变化，则g1即为阈值；否则转至步骤（2）重新计算，直至连续迭代中g的差值小于预定值为止。
32.在全方位采集叶片图像时，无人机按照导航系统对风机叶片前后两面进行图像采集，确保对叶片的全方位检测。
33.如图1-图4所示，一种适用于无人机图像的风机叶片表面缺陷检测方法的系统，包括：无人机，用于采集风机叶片表面图像；无人机内部含有叶片图像采集功能模块、数据回传功能模块，为常规的拍摄用无人机，并没有特殊结构和型号要求，在导航系统的帮助下无人机可以近距离地沿着叶片飞行，不会发生飞行事故。无人机采集到的图像经过数据传输至地面处理系统，经过图像处理分析确定出叶片表面缺陷。
34.导航定位系统，用于对无人机提供定位服务，采用导航定位系统为我国自主研发的实时北斗卫星导航系统（bds）。如图2是上述北斗卫星导航系统，该系统是我国自主研发的实时卫星导航系统。它是第一代北斗系统的基本双星系统，由两颗地球同步卫星、校准系统和一个地面控制中心组成。当用户需要执行定位服务时，将应用服务提交给北斗系统，将入站信号发送给对地静止卫星，卫星将入站信号发送给地面中心。地面中心接收到信号后，对用户发送的信息进行解调，测量用户到两颗卫星的距离，计算出用户的地理坐标，然后校准系统对用户的定位和定时误差进行校准。最后，通过出站链接将准确的位置信息传输给用户，完成定位服务。目前，北斗卫星导航系统卫星总数已达35颗，其中地球同步卫星5颗，非同步卫星30颗，北斗卫星系统有一个自校准系统，以确保准确性，并在其覆盖的通信范围内保持良好的信号。
35.地面处理系统，用于对图像进行数字化处理，通过改进算法检测识别并提取出缺陷；图像数据传输系统，采用无线传输的方式，用于将无人机采集到的叶片图像传输到地面处理系统。
36.如图3是基于导航系统下的无人机检测流程图，首先让无人机进入待机状态，通过导航设置使无人机按着预定航线检测，如图1所示，无人机对叶片进行正面，侧面以及背面的检测。通过无人机的巡航能够精确的对叶片进行检测，对于采集到的图像信息传输到地面处理系统，地面处理系统对于叶片图像缺陷信息进行筛选，对于有缺陷的图像进行处理分析检测出缺陷。
37.无人机设有防抖的云台相机，可以减少机身抖动，降低飞行运动对采集的图像带来的影响。
38.其工作原理和过程如下：无人机按导航定位系统飞至风电机组前，无人机通过导航进行近距离全方位采集
叶片图像，导航系统为我国自主研发的实时北斗卫星导航系统（bds）,图像数据传输系统为无线传输，图像数据传输系统是将无人机采集到的叶片图像传输到的地面处理系统，地面处理系统对图像进行数字化处理，通过改进算法检测识别并提取出缺陷。
39.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于无人机图像的风机叶片表面缺陷检测方法，其特征在于，包括以下步骤：近距离全方位采集叶片图像；将无人机采集到的叶片图像传输到地面处理系统；对图像进行数字化处理，通过算法检测识别并提取出缺陷。2.根据权利要求1所述的基于无人机图像的风机叶片表面缺陷检测方法，其特征在于，所述地面处理系统对图像进行数字化处理与分析包括以下步骤：a1:对风机叶片的图像数字化处理；a2:对风机表面缺陷进行标记，检测识别出叶片缺陷。3.根据权利要求2所述的基于无人机图像的风机叶片表面缺陷检测方法，其特征在于，步骤a1中，对风机叶片的图像数字化处理的方法，还包括以下步骤：将采集到的叶片图像采用加权平均值法转换成灰度图像；将灰度处理后的叶片图像采用中值滤波算法进行滤波去噪；将滤波去噪后的图像采用限制对比度自适应直方图均衡化算法进行图像增强。4.根据权利要求3所述的基于无人机图像的风机叶片表面缺陷检测方法，其特征在于，所述限制对比度自适应直方图均衡化算法包括：将图像切分进行分块处理，均匀地分成大小一样的矩形块；计算每个块的直方图、累积分布函数及对应的变换；对于分割成块的图像按照像素分布可以分为三种情况处理：位于角点处的区域部分的像素直接使用所在子块的变换函数来映射；位于边界处的区域部分的像素则以两个相邻子块做映射变换函数后做线性插值得到；位于中心区域部分的像素则以周围四个子块变换函数后双线性插值得到。5.根据权利要求2所述的基于无人机图像的风机叶片表面缺陷检测方法及，其特征在于，所述步骤a2的具体方法为：（1）采用前景分割技术上提取叶片图像，去掉复杂背景；（2）采用自定义阈值与迭代阈值结合的方式对所述提取叶片后的图像进行二值化处理；（3）对缺陷区域进行图像形态学处理,识别出缺陷区域,对所有的目标像素点进行连通区域检测,并利用邻域连通标记法,在风力发电机叶片图像中检测出缺陷，确定风力机叶片表面状态。6.根据权利要求5所述的基于无人机图像的风机叶片表面缺陷检测方法及系统，其特征在于，步骤（2）中采用阈值分割算法，实现流程包括：
①
选取一个初始阈值g，g=（gmin+gmax）/2，式中gmin为缺陷图像最小灰度值，gmax为缺陷图像最大灰度值；
②
根据阈值g把给定图像分割成两组图像，记为r1和r2；r1由灰度值大于g的所有像素组成，r2由灰度值小于等于 g 的所有像素组成。7.
③
计算r1和r2均值μ1和μ2；计算出新的阈值g1，且g1=（μ1+μ2）/2;
④
若g1不再变化，则g1即为阈值；否则转至步骤（2）重新计算，直至连续迭代中g的差值小于预定值为止。8.根据权利要求1所述的基于无人机图像的风机叶片表面缺陷检测方法及系统，其特
征在于，在全方位采集叶片图像时，无人机按照导航系统对风机叶片前后两面进行图像采集，确保对叶片的全方位检测。9.一种适用于权利要求1所述的基于无人机图像的风机叶片表面缺陷检测方法的系统，其特征在于，包括：无人机，用于采集风机叶片表面图像；导航定位系统，用于对无人机提供定位服务；地面处理系统，用于对图像进行数字化处理，通过改进算法检测识别并提取出缺陷；图像数据传输系统，用于将无人机采集到的叶片图像传输到所述地面处理系统。10.根据权利要求8所述的基于无人机图像的风机叶片表面缺陷检测方法及系统，其特征在于，所述导航定位系统采用的是实时北斗卫星导航系统。11.根据权利要求9所述的基于无人机图像的风机叶片表面缺陷检测方法及系统，其特征在于，所述无人机设有防抖的云台相机。

技术总结
本发明属于叶片缺陷检测技术领域，以解决现有技术中目前在风机叶片表面检测领域中存在的巡检费时费力成本高，危险程度高，经济效益低的技术问题，基于此，提供了一种基于无人机图像的风机叶片表面缺陷检测方法及系统，包括以下步骤：近距离全方位采集叶片图像；将无人机采集到的叶片图像传输到地面处理系统；对图像进行数字化处理，通过算法检测识别并提取出缺陷。本发明所述的基于无人机图像的风机叶片表面缺陷检测方法及系统具有巡检更加省时省力、危险程度低、检测精度高且经济效益高的优点。优点。优点。


技术研发人员：谭兴国 张高明 张飞祥 盛伟 寇志庆
受保护的技术使用者：河南理工大学
技术研发日：2022.09.27
技术公布日：2023/1/6