一种基于双目视觉的人体与高压电力设备之间安全距离的测量方法与流程

本发明属于图像处理，尤其涉及一种基于双目视觉的人体与高压电力设备之间安全距离的测量方法。

背景技术：

1、在工业生产中，高压电力设备的应用非常广泛，如电机、变压器、开关柜等。然而，这些设备在运行过程中，如果操作不当或维护不及时，很容易发生触电事故，不仅会威胁到工作人员的生命安全，还会对企业的生产和经营造成严重影响。变电站高压电力设备工作中常采用的防触电手段主要有：使用绝缘材料、接地保护系统、继电保护技术等，但这些措施在受到电磁干扰、极端、复杂的环境条件下很有可能会出现故障，影响触电保护效果，进而导致触电事故的发生。

2、通过双目相机获得人体与高压电力设备的双目图像，对人体进行骨架提取，对高压电力设备平面进行平面拟合，获得人体关键关节点到高压电力设备平面的距离，并进行反馈干预，从而达到保护用户人身安全，防止触电行为发生的作用。因此，在防触电方面有重要的作用。

3、然而，现有技术在检测人体到高压电力设备平面距离时，所采用的平面拟合方法生成的点云数据存在部分分散的离群点和噪声的问题，导致难以精准测量人体与高压电力设备之间的安全距离。

技术实现思路

1、本发明所要解决的技术问题是：如何提高人体与高压电力设备之间安全距离的测量精度。

2、为解决上述技术问题，本发明是采用下述技术方案实现的。

3、本发明提供一种基于双目视觉的人体与高压电力设备之间安全距离的测量方法，包括：

4、获取双目相机的标定参数，根据标定参数获得左目相机和右目相机之间的位置关系；

5、获取人体与高压电力设备的双目图像，根据所述标定参数以及左目相机和右目相机之间的位置关系，对所述双目图像进行极线校正，获得校正后的双目图像；

6、将校正后的双目图像输入增强边缘信息与亮度信息的立体匹配算法，增强边缘信息与亮度信息，得到增强信息后的双目图像，对增强信息后的双目图像的十字交叉窗口区域的待匹配像素点进行两步法代价聚合，得到最终聚合代价值，根据最终聚合代价值进行视差计算，获得双目图像视差图和双目图像视差值；

7、对校正后的双目图像，进行特征提取，获取人体骨架关节点的二维坐标，根据提取的人体骨架关节点二维坐标和标定参数以及图像坐标和世界坐标的转换关系，对提取的人体骨架关节点二维坐标进行三维坐标转换，获得人体骨架关节点的三维坐标；

8、根据双目图像视差值，计算构成深度图的深度值，获得深度图，再将深度图输入到点云生成网络获得高压电力设备所在区域在左目相机坐标系下的三维点云，基于改进的ransac算法对对三维点云进行平面拟合迭代，获得平面拟合模型；

9、根据所述平面拟合模型，计算所述人体骨架关节点的三维坐标到高压电力设备拟合平面的距离，得到人体与高压电力设备之间的安全距离。

10、进一步地，根据张氏标定法，获取双目相机的标定参数的步骤，包括：

11、使用双目相机在不同角度和位置拍摄多张包含棋盘格标定板的图像，依次提取每张图像中的角点坐标；

12、分别对左目相机和右目相机进行单目标定，根据所述角点坐标和棋盘格的实际尺寸，通过张氏标定法分别求解，分别得到左目相机和右目相机的内部参数焦距，主点坐标和外部参数旋转矩阵、平移向量。

13、进一步地，根据标定参数获得左目相机和右目相机之间的位置关系，所述左目相机和右目相机之间的位置关系用旋转矩阵r与平移向量s表示，表达式为：

14、（1）；

15、式中，下标 l表示左，下标 r表示右，表示左目相机的旋转矩阵，表示左目相机的平移向量，表示右目相机的旋转矩阵，表示右目相机的平移向量， r r-1表示右目相机的旋转矩阵的逆矩阵。

16、进一步地，获取人体与高压电力设备的双目图像，根据所述标定参数以及左目相机和右目相机之间的位置关系，对所述双目图像进行极线校正，获得校正后的双目图像，包括：

17、基于所述旋转矩阵r，旋转左目相机、右目相机的坐标系，构造左目图像旋转矩阵和右目图像旋转矩阵，使左目相机与右目相机的成像平面处于同一平面；

18、基于所述平移向量s，构造平移向量方向的变换矩阵，使基线与左目相机与右目相机的成像平面平行；

19、将左目图像旋转矩阵和右目图像旋转矩阵分别与变换矩阵相结合，获得左目图像立体校正矩阵和右目图像立体校正矩阵：

20、将左目相机与左目图像立体校正矩阵相乘，将右目相机与右目图像立体校正矩阵相乘，获得校正后的双目图像。

21、进一步地，构建增强边缘信息与亮度信息的立体匹配算法的方法，包括：

22、根据校正后的双目图像，计算传统的变换下的匹配代价，应用边缘提取算子对校正后的双目图像进行处理，并计算边缘变换下的匹配代价，将边缘变换下的匹配代价与传统的变换下的匹配代价进行线性融合，得到边缘信息匹配代价；所述边缘匹配代价，表示为：

23、（2）；

24、式中，表示边缘匹配代价，表示汉明距离计算，表示计算得到的边缘值，表示左目图像像素点，表示右目图像像素点；

25、根据校正后的双目图像，使用对应像素点灰度值的绝对差和垂直方向上梯度值的绝对差进行线性融合，得到亮度信息匹配代价；所述亮度信息匹配代价，表示为：

26、（3）；

27、式中，表示亮度信息匹配代价，表示比例调节参数；表示灰度值，、表示常数，表示垂直方向的梯度，表示左目相机灰度值，表示右目相机灰度值，表示左目图像像素点，表示右目图像像素点，表示视差值；

28、将边缘信息匹配代价与亮度信息匹配代价进行非线性融合，得到增强边缘信息与亮度信息的立体匹配算法；所述增强边缘信息与亮度信息的立体匹配算法，表示为：

29、（4）；

30、式中， 表示增强边缘信息与亮度信息的匹配代价，表示指数运算，表示边缘信息匹配代价，表示亮度信息匹配代价，、属于自定义权重，表示控制增强边缘信息的匹配代价的自定义权重，表示控制增强亮度信息的匹配代价的自定义权重。

31、进一步地，将校正后的双目图像输入增强边缘信息与亮度信息的立体匹配算法，增强边缘信息与亮度信息，得到增强信息后的双目图像，对增强信息后的双目图像的十字交叉窗口区域的待匹配像素点进行两步法代价聚合，得到最终聚合代价值，根据最终聚合代价值进行视差计算，获得双目图像视差图和双目图像视差值，包括：

32、根据色彩相似性和空间距离关系，在校正后的双目图像的水平方向和垂直方向构造待匹配像素点的十字交叉窗口区域，作为人体初始骨架关节点，获得处理后的双目图像；

33、将处理后的双目图像输入增强边缘信息与亮度信息的立体匹配算法，增强边缘信息与亮度信息后，对处理后的双目图像的十字交叉窗口区域的待匹配像素点进行两步法代价聚合；得到最终聚合代价值；

34、根据最终聚合代价值，选出每个待匹配像素点对应的最小代价聚合量的视差值，进行计算视差，得到双目视差图，包括左目视差图和右目视差图；

35、根据左目视差图中任一像素点的最优视差值，所述像素点在右目视差图中对应的像素点的最优视差值以及视差阈值，识别异常匹配点，并对异常点进行修正，获得双目图像视差值。

36、进一步地，对所述十字交叉窗口区域的待匹配像素点进行两步法代价聚合，包括：

37、第一步，对所有待匹配像素，将其水平臂上的像素点匹配代价值相加，存储为临时值；第二步，对所有待匹配像素，将其竖直臂上的像素在第一步存储的临时值相加，得到该像素最终的聚合代价值。

38、进一步地，对校正后的双目图像，进行特征提取，获取人体骨架关节点的二维坐标，根据提取的人体骨架关节点二维坐标和标定参数，计算人体骨架关节点在左目相机坐标系下的三维坐标作为人体骨架关节点的三维坐标，包括：

39、将校正后双目图像输入多级cnn网络，进行特征提取，得到人体关节点二维坐标，输入到人体骨架关节点特征置信图的计算公式中，求解出人体骨架关节点特征置信度图，根据人体骨架关节点特征置信度图中的最大值确定人体骨架关节点；

40、基于人体骨架关节点特征置信度图，使用伴随关节之间的亲和力值计算每个人体骨架关节点之间的连接概率，连接每个人体骨架关节点，获得人体骨架结构图；

41、根据人体骨架关节点与伴随关节之间的每次演算，计算伴随关节之间的亲和力值h，将具有伴随关节之间的亲和力值的人体骨架关节点进行链接，得到人体骨架关节点的二维坐标；

42、根据提取的人体骨架关节点二维坐标和标定参数以及图像坐标和世界坐标的转换关系，对提取的人体骨架关节点二维坐标进行三维坐标转换，获得人体骨架关节点的三维坐标。

43、进一步地，根据双目图像视差值，计算构成深度图的深度值，获得深度图，再将深度图输入到点云生成网络获得高压电力设备所在区域在左目相机坐标系下的三维点云，基于改进的ransac算法对对三维点云进行平面拟合迭代，获得平面拟合模型，包括以下步骤：

44、（1）将双目图像视差值输入到视差深度转换公式获得深度图，再将深度图输入到点云生成网络获得高压电力设备所在区域在左目相机坐标系下的三维点云；对三维点云进行平面拟合，得到高压电力设备平面拟合模型；

45、所述视差深度转换公式如下：

46、（5）；

47、其中，表示构成深度图的深度值，表示相机焦距，表示基线距离，表示双目图像视差值；

48、（2） 计算三维点云中每个点的概率，根据每个点的概率从三维点云中选择3个样本点代入平面拟合方程，获得估计平面模型，其中，表示估计平面模型的变量，表示将3个样本点带入估计平面模型计算求得的变量对应的系数；

49、（3）计算所述三维点云中的每个点与所述估计平面模型的距离，将距离小于阈值的点记录在内点集中；

50、（4）根据三维点云中每个点的概率，计算每个属于内点集中的点的概率之和，再除以内点集中的点数，得到每个所述估计平面模型的得分；

51、（5）重复步骤（2）~步骤（4），直至达到预设的最大迭代次数，获取得分最大的估计平面模型作为高压电力设备平面拟合模型。

52、与现有技术相比，本发明所达到的有益效果：

53、本发明通过构建增强图像边缘信息和亮度信息的立体匹配算法，提高了计算准确度；在检测人体到高压电力设备之间的平面距离时，通过加入权重的平面拟合方法，解决了现有技术所采用的平面拟合方法生成的点云数据存在部分分散的离群点和噪声的问题，有效地提高了平面拟合的精度，更加精准的测量了人体与高压电力设备之间的安全距离。

技术特征：

1.一种基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，包括：

2.根据权利要求1所述的基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，根据张氏标定法，获取双目相机的标定参数的步骤，包括：

3.根据权利要求2所述的基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，根据标定参数获得左目相机和右目相机之间的位置关系，所述左目相机和右目相机之间的位置关系用旋转矩阵r与平移向量s表示，表达式为：

4.根据权利要求3所述的基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，获取人体与高压电力设备的双目图像，根据所述标定参数以及左目相机和右目相机之间的位置关系，对所述双目图像进行极线校正，获得校正后的双目图像，包括：

5.根据权利要求1所述的基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，构建增强边缘信息与亮度信息的立体匹配算法的方法，包括：

6.根据权利要求5所述的基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，将校正后的双目图像输入增强边缘信息与亮度信息的立体匹配算法，增强边缘信息与亮度信息，得到增强信息后的双目图像，对增强信息后的双目图像的十字交叉窗口区域的待匹配像素点进行两步法代价聚合，得到最终聚合代价值，根据最终聚合代价值进行视差计算，获得双目图像视差图和双目图像视差值，包括：

7.根据权利要求6所述的基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，对所述十字交叉窗口区域的待匹配像素点进行两步法代价聚合，包括：

8.根据权利要求1所述的基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，对校正后的双目图像，进行特征提取，获取人体骨架关节点的二维坐标，根据提取的人体骨架关节点二维坐标和标定参数，计算人体骨架关节点在左目相机坐标系下的三维坐标作为人体骨架关节点的三维坐标，包括：

9.根据权利要求3所述的基于双目视觉的人体与高压电力设备之间安全距离的测量方法，其特征在于，根据双目图像视差值，计算构成深度图的深度值，获得深度图，再将深度图输入到点云生成网络获得高压电力设备所在区域在左目相机坐标系下的三维点云，基于改进的ransac算法对对三维点云进行平面拟合迭代，获得平面拟合模型，包括以下步骤：

技术总结
本发明属于图像处理技术领域，公开一种基于双目视觉的人体与高压电力设备之间安全距离的测量方法，包括根据张氏标定法获得双目相机的标定参数；根据标定参数校正人体与高压电力设备的双目图像；构建增强边缘信息与亮度信息的立体匹配算法，对获得的双目图像，进行特征提取，构建人体骨架结构，根据人体骨架关节点与伴随关节之间的每次演算，获取人体骨架关节点的二维坐标，结合所述立体匹配算法获取人体骨架关节点的三维坐标；对高压电力设备进行平面拟合迭代，获得平面拟合模型；计算所述人体骨架关节点的三维坐标到高压电力设备拟合平面的距离，得到人体与高压电力设备之间的安全距离。本发明提高了人体与高压电力设备之间安全距离的测量精度。

技术研发人员：李庆武,孟凡领,郭旭鹏,刘超,惠远鑫,薛晓慧,厉娜,王浩,祁旦见尚
受保护的技术使用者：国网青海省电力公司
技术研发日：
技术公布日：2024/9/23