基于掩码自编码器的三维点云处理方法及装置、存储介质与流程

xiaoxiao3月前  21


本申请涉及激光雷达探测,尤其是涉及到一种基于掩码自编码器的三维点云处理方法及装置、存储介质、计算机设备。


背景技术:

1、随着深度学习技术的不断发展,该技术逐渐应用在越来越多的领域中,例如自动驾驶领域等。对于自动驾驶领域来说,其最重要的环节就是三维物体感知环节,而点云由于在各种挑战性场景下均具有高精度,因而通常将点云作为重要输入信号,对点云特征进行提取,从而利用提取的点云特征进行三维物体检测和三维语义分割。

2、然而,在利用深度学习技术对点云进行处理以得到三维物体检测结果、三维语义分割结果之前,通常需要大量的带有标注信息的点云数据对深度学习模型进行训练。这种方法不仅需要专业水平较高的人员进行标注,导致巨额的标注成本,同时标注效率低下,严重影响了深度学习模型的训练效率。

3、因此,如何利用大规模未标注点云数据来生成用于提取点云特征的模型,进而能够根据提取的点云特征进行后续的三维物体检测或三维语义分割,成为了本领域亟待解决的技术问题。


技术实现思路

1、有鉴于此,本申请提供了一种基于掩码自编码器的三维点云处理方法及装置、存储介质、计算机设备,在对初始掩码自编码器进行训练时,利用无标注信息的样本点云数据即可实现,进而得到目标掩码自编码器,简单方便,可以大大提升点云特征提取模型的训练效率以及降低标注成本。

2、根据本申请的一个方面,提供了一种基于掩码自编码器的三维点云处理方法,包括:

3、将原始点云数据进行第一体素分割,得到多个第一体素,并将所述多个第一体素输入目标掩码自编码器,得到第一编码特征;

4、将所述第一编码特征输入目标检测网络,得到目标检测结果;

5、其中,所述目标掩码自编码器按照下列方式得到:

6、将第一样本点云数据进行第二体素分割,得到多个第二体素;

7、对所述多个第二体素进行掩码处理,将掩码处理后的第二体素输入初始掩码自编码器,得到第二编码特征,并将所述第二编码特征输入至预设解码器中,得到重建体素特征;

8、对所述第二体素进行点云特征提取,得到点云提取特征;

9、根据所述重建体素特征、所述点云提取特征以及所述初始掩码自编码器,得到所述目标掩码自编码器。

10、根据本申请的另一方面,提供了一种基于掩码自编码器的三维点云处理装置,包括:

11、体素分割模块,用于将原始点云数据进行第一体素分割,得到多个第一体素,并将所述多个第一体素输入目标掩码自编码器,得到第一编码特征;

12、检测模块,用于将所述第一编码特征输入目标检测网络,得到目标检测结果;

13、其中,所述装置还包括:

14、所述体素分割模块,还用于将第一样本点云数据进行第二体素分割,得到多个第二体素;

15、掩码模块,用于对所述多个第二体素进行掩码处理,将掩码处理后的第二体素输入初始掩码自编码器,得到第二编码特征,并将所述第二编码特征输入至预设解码器中,得到重建体素特征;

16、特征提取模块,用于对所述第二体素进行点云特征提取,得到点云提取特征;

17、训练模块,用于根据所述重建体素特征、所述点云提取特征以及所述初始掩码自编码器,得到所述目标掩码自编码器。

18、依据本申请又一个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述基于掩码自编码器的三维点云处理方法。

19、依据本申请再一个方面,提供了一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述基于掩码自编码器的三维点云处理方法。

20、借由上述技术方案,本申请提供的一种基于掩码自编码器的三维点云处理方法及装置、存储介质、计算机设备,首先,将获取的原始点云数据进行第一体素分割,进而可以得到多个第一体素。接着,可以将这些第一体素输入到训练完成的目标掩码自编码器中,进而可以得到原始点云数据对应的第一编码特征。将第一编码特征输入到目标检测网络中,根据目标检测网络的输出得到目标检测结果。在这里,目标掩码自编码器的训练过程如下:首先将无标注的第一样本点云数据进行第二体素分割处理,得到多个第二体素。得到第二体素后,一方面对每个第二体素中的点云进行点云特征提取,这样可以得到第二体素对应的点云提取特征。另一方面,对分割得到的第二体素中的一部分进行掩码(也即遮蔽)处理,将剩余的未被掩码的第二体素作为剩余第二体素。得到剩余第二体素之后,将剩余第二体素输入至初始掩码自编码器中,通过初始掩码自编码器对每个剩余第二体素中包含的点云进行点云特征编码,得到对应的第二编码特征。之后,将第二编码特征输入至预设解码器。预设解码器的任务是重建最初划分的第二体素的体素特征,得到重建体素特征。最后,可以根据重建体素特征以及预先提取的点云提取特征,对初始掩码自编码器进行训练,最终得到目标掩码自编码器。本申请实施例在对初始掩码自编码器进行训练时,利用无标注信息的样本点云数据即可实现,进而得到目标掩码自编码器,简单方便,可以大大提升点云特征提取模型的训练效率以及降低标注成本。

21、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。



技术特征:

1.一种基于掩码自编码器的三维点云处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述第二体素的尺寸大于所述第一体素的尺寸;所述将掩码处理后的第二体素输入初始掩码自编码器,得到第二编码特征,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述对所述多个第二体素进行掩码处理之后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述第二编码特征输入至预设解码器中,通过所述预设解码器对所述第二编码特征以及所述更新后的目标第二体素进行处理,得到所述重建体素特征,包括:

5.根据权利要求1所述的方法,其特征在于,所述得到所述目标掩码自编码器之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述得到所述目标掩码自编码器之后,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述对所述多个第二体素进行掩码处理,包括:

8.一种基于掩码自编码器的三维点云处理装置,其特征在于,包括:

9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。


技术总结
本申请公开了一种基于掩码自编码器的三维点云处理方法及装置、存储介质、计算机设备,该方法包括:将原始点云数据进行第一体素分割,得到多个第一体素,并将多个第一体素输入目标掩码自编码器,得到第一编码特征;将第一编码特征输入目标检测网络,得到目标检测结果;目标掩码自编码器按照下列方式得到:将第一样本点云数据进行第二体素分割,得到多个第二体素;对多个第二体素进行掩码处理,将掩码处理后的第二体素输入初始掩码自编码器,得到第二编码特征,并将第二编码特征输入至预设解码器中,得到重建体素特征;对第二体素进行点云特征提取,得到点云提取特征;根据重建体素特征、点云提取特征以及初始掩码自编码器,得到目标掩码自编码器。

技术研发人员:程诺,罗川宇,胡睿智,马嗣昆,李晗,剧学铭
受保护的技术使用者:北京亮道智能汽车技术有限公司
技术研发日:
技术公布日:2024/9/23

最新回复(0)