基于图像的校正方法及裂缝视觉测量方法

本发明属于图像校正及裂缝测量，具体涉及一种基于图像的校正方法及一种裂缝视觉测量方法。

背景技术：

1、随着经济和科技的不断发展，我国建筑业生产规模不断扩大，大量楼房、桥梁、大型基础设施等建筑物的建设，极大的满足了广大人民的需要，面对建筑物数量急剧增加的形势，建筑物的健康监测和维护刻不容缓。裂缝作为建筑物结构体表面一种常见的病害形式，不仅危害建筑物的寿命，同时还可能会对人民生命财产造成重大损失。及时发现评估建筑物结构体表面的裂缝，对后期的修补修复工作提供重要的参考，从而延长建筑物使用寿命、降低安全隐患。

2、当前对裂缝的识别和测量多采用传统人工的方法，不仅费事费力，而且对建筑物高处的检测难以保证测量人员的安全，同时由于精度和效率低下难以满足工业需求。现有技术中多使用光学相机采集裂缝图像，然后利用图像处理等方法识别裂缝。然而，现有技术中缺少对裂缝长度或宽度等信息的实时识别和判读，需要后期处理，过程繁琐。另外由于拍摄姿势或相机角度的原因，图像会产生不同程度的倾斜变形，这对后期裂缝参数的测量带来很大的误差，甚至使得现有技术难以直接对裂缝长度和宽度等进行测量。

技术实现思路

1、本发明为了解决现有的基于图像的测量方法存在由于拍摄不能正对目标存在图像倾斜变形的问题，以及其导致的基于图像的测量方法存在误差大的问题。

2、一种基于图像的校正方法，包括：

3、针对单点激光测距仪和摄像头采集到的图像，将图像中像素点的图像坐标记为原视图图像坐标系下的投影点(u,v)；所述的单点激光测距仪与摄像头均朝向拍摄目标且相对位置固定的单点激光测距仪和摄像头；

4、利用校正变换矩阵w实现原视图图像坐标下的投影点(u,v)到正视图图像坐标系下的投影点(u',v')，即得到校正后的图像；

5、校正变换矩阵w：

6、

7、其中，w为由原视图图像坐标下的投影点(u,v)到正视图图像坐标系下的投影点(u',v')的校正变换矩阵；fx、fy分别代表相机的内参矩阵中相机在x轴和y轴上的焦距，u0、v0代表相机的内参矩阵中相机光心的坐标；α、β、γ表示世界坐标系向相机坐标系转换时x、y、z三个自由度坐标轴旋转角度；t1＝t3 tanβ，t2＝t3 tanα，t3为相机外参矩阵中平移向量t＝[t1，t2，t3]的参数，其中t1，t2，t3分别描述了沿x轴、y轴、z轴相机光心在世界坐标系中的位置；t1，t2，t3分别描述了原视图相机坐标系沿x轴、y轴、z轴相机光心的平移分量；zc为原视图中激光投影点在原视图相机坐标系下z轴方向的坐标，zc’为正视图激光投影点在正视图相机坐标系下z轴方向的坐标。

8、进一步地，原视图中激光投影点在原视图相机坐标系下z轴方向的坐标其中，l为激光测距仪返回的距离值，(θx，θy，θz)为激光光束与相机坐标系三个坐标轴正方向夹角角度，激光束与相机坐标系坐标轴形成的夹角满足：cos2θx+cos2θy+cos2θz＝1；tz为激光发射点在相机坐标系下的偏移量中的z轴偏移量。

9、进一步地，为正视图激光投影点在正视图相机坐标系下z轴方向的坐标zc’通过以下方式确定：

10、在得到原视图中激光投影点在原视图相机坐标系下的坐标(xc，yc，zc)之后，基于(xc、yc、zc)，利用原相机坐标系到正视图相机坐标系的转换关系式得到正视图激光投影点在正视图相机坐标系下的坐标(xc'，yc'，zc')，即得到了zc’；

11、所述原相机坐标系到正视图相机坐标系的转换关系式为

12、

13、其中，t1、t2、t3分别为原视图相机坐标系沿x轴、y轴、z轴相机光心的平移分量。

14、进一步地，校正变换矩阵w的确定过程包括以下步骤：

15、s1：通过相机的参数标定，获得相机的内参矩阵、外参矩阵和畸变参数；

16、s2：采集含有激光光斑的图像，对相机和激光测距仪进行联合标定：

17、设(tx，ty，tz)为激光发射点在相机坐标系下的偏移量；(θx，θy，θz)为激光光束与相机坐标系三个坐标轴正方向夹角角度；

18、l为激光测距仪返回的距离值，激光束与相机坐标系坐标轴形成的夹角满足：cos2θx+cos2θy+cos2θz＝1；

19、基于激光光束与相机坐标系的位置关系，激光光斑在相机坐标系下的3d坐标应满足：

20、

21、根据相机内参矩阵得到相机坐标系与图像坐标系的转换关系：

22、

23、式中，(u，v)为空间点在图像坐标系中的坐标；[fx，fy，u0，v0]为相机内参中的参数；

24、进而得到：

25、同时启动相机和单点激光测距仪，在至少3个不同位置采集含有激光光斑的图像，进而求出联合标定矩阵中含有的5个参数θx、θy、tx、ty、tz；

26、s3：基于原相机坐标系到正视图相机坐标系的旋转平移矩阵，利用相机内外参矩阵结合深度信息构建图像畸变校正矩阵：

27、首先确定原视图相机坐标系到正视图相机坐标系的旋转平移矩阵：

28、相机坐标系与世界坐标系存在旋转角度，设rx、ry、rz分别为世界坐标系向相机坐标系转换时x、y、z三个自由度坐标轴旋转α、β、γ角度的旋转分量：

29、

30、相机外参矩阵中的旋转矩阵r表示为：

31、将旋转矩阵r用旋转分量表示为：r＝rxryrz，即：

32、

33、通过对应相等的方法得到：

34、则坐标轴轴旋转角度为：

35、基于轴旋转角度和相机外参中的平移量推导出原视图相机坐标到正视图相机坐标系的平移量：

36、

37、式中，t3为相机外参矩阵中平移向量t＝[t1，t2，t3]的参数，其中t1，t2，t3分别描述了沿x轴、y轴、z轴相机光心在世界坐标系中的位置；t1，t2，t3分别描述了原视图相机坐标系沿x轴、y轴、z轴相机光心的平移分量；

38、则原相机坐标系到正视图相机坐标系的转换关系式：

39、

40、其中，为旋转平移矩阵，其主要是用于原相机坐标系中的坐标转换到正视图相机坐标系中；(xc',yc',zc')表示正视图相机坐标系中的坐标；

41、然后由原视图图像坐标下的投影点(u,v)到正视图图像坐标系下的投影点(u',v')的校正变换矩阵w：

42、

43、在进行图像校正时的w中的zc和zc’由待进行校正的图像拍摄时的数据确定。

44、进一步地，s1所述的相机的参数标定过程包括：

45、首先使用相机在预设位置拍摄至少3张棋盘格标定板的图像，确保每张标定板都完全覆盖相机的视野；

46、然后从每张图像中提取亚像素级别的角点，并记录它们在图像中的坐标；根据这些角点的世界坐标和图像坐标之间的对应关系，采用张正友标定算法计算相机的内参矩阵、外参矩阵和畸变参数。

47、进一步地，所述世界坐标和图像坐标之间的对应关系入下：

48、

49、式中，(u,v)表示图像坐标系中的坐标，(xw,yw,zw)表示世界坐标系中的坐标；[rt]为相机的外参矩阵，r、t分为外参矩阵的旋转矩阵、平移矩阵；为相机的内参矩阵，其中fx、fy分别代表相机在x轴和y轴上的焦距，u0、v0代表相机光心的坐标。

50、一种基于图像的校正方法，包括以下步骤：

51、w1：由原视图图像坐标系下的点(u,v)经过逆投影变换得到原相机坐标系下的点(xc,yc,zc)，然后经过旋转平移矩阵进行视角变换得到正视图相机坐标系下的点(xc',yc',zc')，具体过程包括：

52、w101：通过相机的参数标定，获得相机的内参矩阵、外参矩阵和畸变参数；

53、w102：采集含有激光光斑的图像，对相机和激光测距仪进行联合标定：

54、设(tx，ty，tz)为激光发射点在相机坐标系下的偏移量；(θx，θy，θz)为激光光束与相机坐标系三个坐标轴正方向夹角角度；

55、l为激光测距仪返回的距离值，激光束与相机坐标系坐标轴形成的夹角满足：cos2θx+cos2θy+cos2θz＝1；

56、基于激光光束与相机坐标系的位置关系，激光光斑在相机坐标系下的3d坐标应满足：

57、

58、根据相机内参矩阵得到相机坐标系与图像坐标系的转换关系：

59、

60、式中，(u，v)为空间点在图像坐标系中的坐标；[fx，fy，u0，v0]为相机内参中的参数；

61、进而得到：

62、同时启动相机和单点激光测距仪，在至少3个不同位置采集含有激光光斑的图像，进而求出联合标定矩阵中含有的5个参数θx、θy、tx、ty、tz；

63、w103：基于原相机坐标系到正视图相机坐标系的旋转平移矩阵，利用相机内外参矩阵结合深度信息构建图像畸变校正矩阵：

64、首先确定原视图相机坐标系到正视图相机坐标系的旋转平移矩阵：

65、相机坐标系与世界坐标系存在旋转角度，设rx、ry、rz分别为世界坐标系向相机坐标系转换时x、y、z三个自由度坐标轴旋转α、β、γ角度的旋转分量：

66、

67、相机外参矩阵中的旋转矩阵r表示为：

68、将旋转矩阵r用旋转分量表示为：r＝rxryrz，即：

69、

70、通过对应相等的方法得到：

71、则坐标轴轴旋转角度为：

72、基于轴旋转角度和相机外参中的平移量推导出原视图相机坐标到正视图相机坐标系的平移量：

73、

74、式中，t3为相机外参矩阵中平移向量t＝[t1，t2，t3]的参数，其中t1，t2，t3分别描述了沿x轴、y轴、z轴相机光心在世界坐标系中的位置；t1，t2，t3分别描述了原视图相机坐标系沿x轴、y轴、z轴相机光心的平移分量；zc'为正视图相机坐标系下相机光心到被测平面的距离；

75、则原相机坐标系到正视图相机坐标系的转换关系式：

76、

77、其中，为旋转平移矩阵，其主要是用于原相机坐标系中的坐标转换到正视图相机坐标系中；(xc',yc',zc')表示正视图相机坐标系中的坐标；

78、w2：由正视图相机坐标系下的点(xc'，yc'，zc')经过重投影得到正视图图像坐标系下的点(u',v')，从而实现畸变图像校正。

79、进一步地，w101所述的相机的参数标定过程包括：

80、首先使用相机在预设位置拍摄至少3张棋盘格标定板的图像，确保每张标定板都完全覆盖相机的视野；

81、然后从每张图像中提取亚像素级别的角点，并记录它们在图像中的坐标；根据这些角点的世界坐标和图像坐标之间的对应关系，采用张正友标定算法计算相机的内参矩阵、外参矩阵和畸变参数。

82、进一步地，所述世界坐标和图像坐标之间的对应关系入下：

83、

84、式中，(u,v)表示图像坐标系中的坐标，(xw,yw,zw)表示世界坐标系中的坐标；[rt]为相机的外参矩阵，r、t分为外参矩阵的旋转矩阵、平移矩阵；为相机的内参矩阵，其中fx、fy分别代表相机在x轴和y轴上的焦距，u0、v0代表相机光心的坐标。

85、一种裂缝视觉测量方法，包括：

86、首先利用单点激光测距仪和摄像头采集到裂缝图像，并利用所述的一种基于图像的校正方法对图像进行校正，得到校正后的图像；再基于深度学习技术对裂缝进行识别，得到像素级别的裂缝，然后基于尺度变换矩阵h得到裂缝正视图图像坐标系下的投影点(u',v')对应到世界坐标系下的空间点(xw,yw,zw)，进而得到裂缝的实际测量结果；

87、由正视图图像坐标系下的投影点(u',v')到世界坐标系下的空间点(xw,yw,zw)的尺度变换矩阵h：

88、

89、其中，[rt]为相机的外参矩阵，r、t分为外参矩阵的旋转矩阵、平移矩阵。

90、有益效果：

91、本发明通过相机标定和相机激光的联合标定构建透视校正矩阵，从图像校正畸变图像，实现了测量人员远距离无接触地在任意场景下，以任意姿势或从任意角度采集裂缝图像。同时本发明通过构建目标检测和图像分割联合模型，实现裂缝识别、提取、测量一体化，不仅能够实现直接测量裂缝长度和宽度等尺寸，同时也大大提高了裂缝测量的精度和效率，可以有效解决现有技术中对建筑物结构体表面裂缝识别后难以实时测量的技术问题。

技术特征：

1.一种基于图像的校正方法，其特征在于，包括：

2.根据权利要求1所述的一种基于图像的校正方法，其特征在于，原视图中激光投影点在原视图相机坐标系下z轴方向的坐标其中，l为激光测距仪返回的距离值，(θx，θy，θz)为激光光束与相机坐标系三个坐标轴正方向夹角角度，激光束与相机坐标系坐标轴形成的夹角满足：cos2θx+cos2θy+cos2θz＝1；tz为激光发射点在相机坐标系下的偏移量中的z轴偏移量。

3.根据权利要求2所述的一种基于图像的校正方法，其特征在于，为正视图激光投影点在正视图相机坐标系下z轴方向的坐标zc’通过以下方式确定：

4.根据权利要求1至3任意一项所述的一种基于图像的校正方法，其特征在于，校正变换矩阵w的确定过程包括以下步骤：

5.根据权利要求4所述的一种基于图像的校正方法，其特征在于，s1所述的相机的参数标定过程包括：

6.根据权利要求5所述的一种基于图像的校正方法，其特征在于，所述世界坐标和图像坐标之间的对应关系入下：

7.一种基于图像的校正方法，其特征在于，包括以下步骤：

8.根据权利要求7所述的一种基于图像的校正方法，其特征在于，w101所述的相机的参数标定过程包括：

9.根据权利要求8所述的一种基于图像的校正方法，其特征在于，所述世界坐标和图像坐标之间的对应关系入下：

10.一种裂缝视觉测量方法，其特征在于，包括：

技术总结
基于图像的校正方法及裂缝视觉测量方法，属于图像校正及裂缝测量技术领域。为了解决现有的基于图像的测量方法存在由于拍摄不能正对目标存在图像倾斜变形的问题，以及其导致的基于图像的测量方法存在误差大的问题。本发明的校正方法首先在相机标定的基础上对相机激光联合标定，得到激光光斑的3D坐标；然后利用相机内外参结合光斑深度信息构建透视投影矩阵校正畸变图像；裂缝视觉测量方法首先利用校正方法对图像进行校正，然后再基于深度学习技术对裂缝进行识别，得到像素级别的裂缝，然后基于尺度变换矩阵得到裂缝正视图图像坐标系下的投影点(u',v')对应到世界坐标系下的空间点(Xw,Yw,Zw)，进而得到裂缝的实际测量结果。

技术研发人员：陶为戈,丁倩,梁宝,杨云星,贾子彦,肖淑艳,潘玲佼,吴全玉,王永星,程钦
受保护的技术使用者：江苏理工学院
技术研发日：
技术公布日：2024/9/23