三维点云获取方法、电子设备、存储介质及程序产品与流程

本公开涉及激光相机，本公开尤其涉及一种三维点云获取方法、电子设备、存储介质及程序产品。

背景技术：

1、现有的3d结构光相机原理基本都是通过向场景表面投影结构光条纹，用于调制空间高度信息，再通过解条纹和三角测量原理来进行空间的表面重建。

2、投影设备一般为dlp投影仪或激光振镜。dlp投影仪一般是宽光谱光源，受环境光影响严重，而且dlp投影仪虽然可以通过增加多个方向的条纹投影来一定程度的解决问题，但无法避免的增加至少一倍的图像采集时间，串行图像采集时间长。

3、以激光振镜作为投影设备的3d相机可以通过在传感器上增加带通滤光器件来过滤环境光，以实现抗干扰的效果。但是单一激光振镜只能投影单一方向条纹，当场景中有沿特定方向弯曲的曲面出现时，无法避免的会出现镜面反射，导致反光处细节丢失，例如沿着激光投射方向弯曲的光滑曲面在单方向光的照射下易出现光帷眩光，眩光处图像细节丢失。

技术实现思路

1、本公开提供了一种三维点云获取方法、电子设备、存储介质及程序产品。

2、根据本公开的一个方面，提供一种三维点云获取方法，包括：

3、向目标物体表面同时投影第一结构光和第二结构光；

4、采集所述第一结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，采集所述第二结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像；

5、对基于所述第一结构光获取的二维图像进行三维重建，获得基于所述第一结构光的三维点云，对基于所述第二结构光获取的二维图像进行三维重建，获得基于所述第二结构光的三维点云；

6、对所述基于所述第一结构光的三维点云和所述基于所述第二结构光的三维点云进行基于像素点三维坐标对准的点云融合，获得融合后三维点云，作为所述目标物体表面的三维点云。

7、根据本公开的至少一个实施方式的三维点云获取方法，采集所述第一结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，包括：使用第一相机采集所述第一结构光经所述目标物体表面调制后的反射光，获取调制后的二维图像；所述第一相机为单目相机。

8、根据本公开的至少一个实施方式的三维点云获取方法，采集所述第二结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，包括：使用第二相机采集所述第二结构光经所述目标物体表面调制后的反射光，获取调制后的二维图像；所述第二相机为单目相机。

9、根据本公开的至少一个实施方式的三维点云获取方法，所述第一结构光的波长范围为第一波长范围，所述第二结构光的波长范围为第二波长范围，所述第一波长范围与所述第二波长范围不具有重合范围。

10、根据本公开的至少一个实施方式的三维点云获取方法，采集所述第一结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，包括：

11、使用第一相机从第一视角采集所述第一结构光的所述反射光并获取调制后的第一图像；

12、使用第三相机从第三视角采集所述第一结构光的所述反射光并获取调制后的第三图像；

13、基于所述第一结构光获取的所述二维图像包括所述第一图像和所述第三图像；

14、所述第一视角与所述第三视角为相对于所述目标物体表面不同的视角。

15、根据本公开的至少一个实施方式的三维点云获取方法，所述第一视角与所述第三视角为相对于所述目标物体表面空间对称的视角。

16、根据本公开的至少一个实施方式的三维点云获取方法，采集所述第二结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，包括：

17、使用第二相机从第二视角采集所述第二结构光的所述反射光并获取调制后的第二图像；

18、使用第四相机从第四视角采集所述第二结构光的所述反射光并获取调制后的第四图像；

19、基于所述第二结构光获取的所述二维图像包括所述第二图像和所述第四图像；

20、所述第二视角与所述第四视角为相对于所述目标物体表面不同的视角。

21、根据本公开的至少一个实施方式的三维点云获取方法，所述第二视角与所述第四视角为相对于所述目标物体表面空间对称的视角。

22、根据本公开的至少一个实施方式的三维点云获取方法，使用第一振镜向目标物体表面投影所述第一结构光，使用第二振镜向所述目标物体表面投影所述第二结构光。

23、根据本公开的至少一个实施方式的三维点云获取方法，所述第一结构光和所述第二结构光均为编码结构光条纹。

24、根据本公开的至少一个实施方式的三维点云获取方法，对基于所述第一结构光获取的二维图像进行三维重建，获得基于所述第一结构光的三维点云，包括：

25、对基于所述第一结构光获取的所述二维图像进行结构光解码，获得解码后的二维图像；

26、基于所述解码后的二维图像的像素点的值，计算二维图像的深度信息，获得第一深度图；

27、基于所述第一深度图将所述二维图像中每个像素点的深度转换为三维坐标，获得基于所述第一结构光的三维点云。

28、根据本公开的至少一个实施方式的三维点云获取方法，对基于所述第二结构光获取的二维图像进行三维重建，获得基于所述第二结构光的三维点云，包括：

29、对基于所述第二结构光获取的所述二维图像进行结构光解码，获得解码后的二维图像；

30、基于所述解码后的二维图像的像素点的值，计算二维图像的深度信息，获得第二深度图；

31、基于所述第二深度图将所述二维图像中每个像素点的深度转换为三维坐标，获得基于所述结构光的三维点云。

32、根据本公开的至少一个实施方式的三维点云获取方法，对基于所述第一结构光获取的二维图像进行三维重建，获得基于所述第一结构光的三维点云，包括：

33、对所述第一图像和所述第三图像进行结构光解码，获得解码后的第一图像和解码后的第三图像；

34、对所述解码后的第一图像和所述解码后的第三图像的对应像素点的值进行比较，计算得到视差图；

35、将所述视差图中的视差值转换为深度信息，获得第一深度图；

36、基于所述第一深度图将所述第一图像和所述第三图像中每个像素点的深度转换为三维坐标，获得基于所述第一结构光的三维点云。

37、根据本公开的至少一个实施方式的三维点云获取方法，对基于所述第二结构光获取的二维图像进行三维重建，获得基于所述第二结构光的三维点云，包括：

38、对所述第二图像和所述第四图像进行结构光解码，获得解码后的第二图像和解码后的第四图像；

39、对所述解码后的第二图像和所述解码后的第四图像的对应像素点的值进行比较，计算得到视差图；

40、将所述视差图中的视差值转换为深度信息，获得第二深度图；

41、基于所述第二深度图将所述第二图像和所述第四图像中每个像素点的深度转换为三维坐标，获得基于所述第二结构光的三维点云。

42、根据本公开的至少一个实施方式的三维点云获取方法，对所述基于所述第一结构光的三维点云和所述基于所述第二结构光的三维点云进行基于像素点三维坐标对准的点云融合，包括：

43、为所述基于所述第一结构光的三维点云构建第一像素点置信度图，为所述基于所述第二结构光的三维点云构建第二像素点置信度图；

44、基于所述第一像素点置信度图和所述第二像素点置信度图进行所述基于像素点三维坐标对准的点云融合。

45、根据本公开的至少一个实施方式的三维点云获取方法，为所述基于所述第一结构光的三维点云构建第一像素点置信度图，为所述基于所述第二结构光的三维点云构建第二像素点置信度图，均包括：

46、基于二维图像中像素点的灰度值为三维点云中的对应像素点赋予像素置信度。

47、根据本公开的至少一个实施方式的三维点云获取方法，为所述基于所述第一结构光的三维点云构建第一像素点置信度图，为所述基于所述第二结构光的三维点云构建第二像素点置信度图，还均包括：

48、基于预设的像素灰度阈值对二维图像进行二值化，获得亮斑像素点；

49、对所述亮斑像素点进行连通域分析，获得亮斑连通域并赋予亮斑像素置信度；

50、对所述亮斑连通域的周围邻域内像素点的值进行高斯拟合，获得高斯拟合结果，基于高斯拟合结果对所述周围邻域内像素点赋予亮斑邻域像素置信度；

51、将所述三维点云中对应于所述亮斑像素点和对应于所述周围邻域内像素点的像素点分别赋予亮斑像素置信度和亮斑邻域像素置信度。

52、根据本公开的至少一个实施方式的三维点云获取方法，将所述二维图像中像素灰度值大于所述像素灰度阈值的像素点作为亮斑像素点。

53、根据本公开的至少一个实施方式的三维点云获取方法，为所述基于所述第一结构光的三维点云构建第一像素点置信度图，为所述基于所述第二结构光的三维点云构建第二像素点置信度图，均包括：

54、对所述二维图像进行边缘检测，获得二维图像的边缘像素点；

55、基于所述二维图像的边缘像素点获得三维点云的边缘像素点；

56、对所述三维点云的边缘像素点赋予边缘像素置信度。

57、根据本公开的至少一个实施方式的三维点云获取方法，为所述基于所述第一结构光的三维点云构建第一像素点置信度图，包括：

58、基于所述第一深度图中像素点的深度信息进行深度突变像素点检测，获得三维点云中的深度突变像素点；

59、对三维点云的深度突变像素点赋予深度突变像素置信度。

60、根据本公开的至少一个实施方式的三维点云获取方法，为所述基于所述第二结构光的三维点云构建第二像素点置信度图，包括：

61、基于所述第二深度图中像素点的深度信息进行深度突变像素点检测，获得三维点云中的深度突变像素点；

62、对三维点云的深度突变像素点赋予深度突变像素置信度。

63、根据本公开的至少一个实施方式的三维点云获取方法，为所述基于所述第一结构光的三维点云构建第一像素点置信度图，为所述基于所述第二结构光的三维点云构建第二像素点置信度图，均包括：

64、对三维点云的表面像素点进行曲率检测，对曲率低于曲率阈值的表面像素点赋予曲率异常像素置信度。

65、根据本公开的至少一个实施方式的三维点云获取方法，对三维点云的表面像素点进行曲率检测，包括：

66、对三维点云对应的深度图进行法向估计，获得深度图对应的法向图；

67、获取所述法向图的各点的法向变化率，将法向变化率作为所述曲率。

68、根据本公开的至少一个实施方式的三维点云获取方法，所述亮斑像素置信度、所述周围邻域内像素置信度、所述边缘像素置信度、所述深度突变像素置信度及所述曲率异常像素置信度均小于三维点云中所述亮斑像素点、所述周围邻域内像素点、所述边缘像素点、所述深度突变像素点及所述曲率异常像素点之外的像素点的像素置信度。

69、根据本公开的至少一个实施方式的三维点云获取方法，对所述基于所述第一结构光的三维点云和所述基于所述第二结构光的三维点云进行基于像素点三维坐标对准的点云融合，包括：

70、基于像素点三维坐标对所述基于所述第一结构光的三维点云和所述基于所述第二结构光的三维点云进行对准；

71、对于基于所述第一结构光的三维点云和基于所述第二结构光的三维点云中三维坐标相同的两个点，保留置信度较高的点，舍弃置信度较低的点。

72、根据本公开的另一个方面，提供一种图像采集系统，包括：第一模组和第二模组；

73、所述第一模组包括：

74、第一激光器，所述第一激光器能够发出激光；

75、第一振镜，所述第一振镜能够绕第一轴线偏转，所述第一振镜能够将所述第一激光器发出的激光投射至目标物体表面；

76、第一相机，所述第一相机沿垂直于所述第一轴线的方向配置，所述第一相机能够采集所述第一振镜投射至所述目标物体表面的激光经所述目标物体表面调制后的反射光以获取调制后的图像；

77、所述第二模组包括：

78、第二激光器，所述第二激光器能够发出激光；

79、第二振镜，所述第二振镜能够绕第二轴线偏转，所述第二振镜能够将所述第二激光器发出的激光投射至所述目标物体表面；

80、第二相机，所述第二相机沿垂直于所述第二轴线的方向配置，所述第二相机能够采集所述第二振镜投射至所述目标物体表面的激光经所述目标物体表面调制后的反射光以获取调制后的图像；

81、其中，所述第一轴线与所述第二轴线互相垂直，所述第一激光器的光轴垂直于所述第一轴线，所述第二激光器的光轴垂直于所述第二轴线；

82、所述图像采集系统用于执行本公开任一个实施方式的三维点云获取方法中的以下步骤：

83、向目标物体表面同时投影第一结构光和第二结构光；

84、采集所述第一结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，采集所述第二结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像。

85、根据本公开的又一个方面，提供一种电子设备，包括：存储器，所述存储器存储执行指令；处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本公开任一个实施方式的三维点云获取方法。

86、根据本公开的又一个方面，提供一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本公开任一个实施方式的三维点云获取方法。

87、根据本公开的再一个方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开任一个实施方式的三维点云获取方法。

技术特征：

1.一种三维点云获取方法，其特征在于，包括：

2.根据权利要求1所述的三维点云获取方法，其特征在于，采集所述第一结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，包括：

3.根据权利要求1或2所述的三维点云获取方法，其特征在于，采集所述第二结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，包括：

4.根据权利要求1所述的三维点云获取方法，其特征在于，所述第一结构光的波长范围为第一波长范围，所述第二结构光的波长范围为第二波长范围，所述第一波长范围与所述第二波长范围不具有重合范围。

5.根据权利要求1所述的三维点云获取方法，其特征在于，采集所述第一结构光经所述目标物体表面调制后的反射光并获取调制后的二维图像，包括：

6.根据权利要求1至5中任一项所述的三维点云获取方法，其特征在于，所述第一视角与所述第三视角为相对于所述目标物体表面空间对称的视角；

7.一种图像采集系统，其特征在于，包括：第一模组和第二模组；

8.一种电子设备，其特征在于，包括：

9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至6中任一项所述的三维点云获取方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的三维点云获取方法。

技术总结
本公开提供了一种三维点云获取方法、电子设备、存储介质及程序产品。本公开的三维点云获取方法，包括：向目标物体表面同时投影第一结构光和第二结构光；采集第一结构光经目标物体表面调制后的反射光并获取调制后的二维图像，采集第二结构光经目标物体表面调制后的反射光并获取调制后的二维图像；对基于第一结构光获取的二维图像进行三维重建，获得基于第一结构光的三维点云，对基于第二结构光获取的二维图像进行三维重建，获得基于第二结构光的三维点云；对基于第一结构光的三维点云和基于第二结构光的三维点云进行基于像素点三维坐标对准的点云融合，获得融合后三维点云，作为目标物体表面的三维点云。

技术研发人员：王梓儒,李城龙,李宏坤,樊钰
受保护的技术使用者：北京迁移科技有限公司
技术研发日：
技术公布日：2024/9/23