一种基于毫米波雷达点云的抗干扰分类方法及装置与流程

1.本技术涉及人工智能的技术领域，特别是涉及一种基于毫米波雷达点云的抗干扰分类方法及装置。


背景技术：

2.自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，可以让电脑在没有任何人类主动的操作下，自动安全地操作机动车辆。而自动驾驶的过程中，最重要的是主动安全防撞功能实现，例如，前车防撞预警、变道辅助、自适应巡航控制以及盲点监测等功能实现。
3.传统的主动安全防撞功能，需要利用摄像头辅助进行目标种类的确认，例如确认目标物体是轿车、行人、自行车等分类中的哪一分类。由于在大雨、大雾天气下，摄像系统无法正常工作，所以，利用摄像头辅助进行目标种类的确认，很容易影响主动安全防撞的性能。为了减少天气对目标分类的影响，可以利用毫米波雷达点云进行目标分类。但是，毫米波雷达点云分辨率较低，且容易受到外界干扰，分类准确度较低。
4.因此，如何提高基于毫米波雷达点云的抗干扰分类方法的抗干扰能力，是本领域技术人员亟需解决的技术问题。


技术实现要素：

5.有鉴于此，本技术实施例提供了一种基于毫米波雷达点云的抗干扰分类方法及装置，旨在提高基于毫米波雷达点云的抗干扰分类方法的抗干扰能力。
6.第一方面，本技术实施例提供了一种基于毫米波雷达点云的抗干扰分类方法，包括：获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。
7.可选的，所述利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息，包括：将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息。
8.可选的，所述将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，包括：利用毫米波点云坐标系和像素坐标系的偏移矩阵以及相机内参，将所述多个毫米
波点云信息投射至所述像素坐标系，得到所述多个像素坐标点云信息，所述毫米波点云坐标系为所述多个毫米波点云信息对应的坐标系。
9.可选的，所述方法还包括：获取毫米波雷达和相机的相对位置信息，所述毫米波雷达用于获取所述多个毫米波点云信息，所述相机用于获取所述多个彩色图像信息；利用所述毫米波雷达和相机的相对位置信息，获取旋转矩阵与平移向量；利用所述旋转矩阵与平移向量，生成所述毫米波点云坐标系和像素坐标系的偏移矩阵。
10.可选的，所述目标分类神经网络包括第一卷积层、第二卷积层、最大池化层和全连接层；所述将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果，包括：将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息；将所述多个第一升维点云信息输入所述第二卷积层，得到多个第二升维点云信息；将所述多个第二升维点云信息输入所述最大池化层，得到多个池化点云信息；将所述多个池化点云信息输入所述全连接层，得到多个分类结果；根据所述多个分类结果，得到所述抗干扰分类结果。
11.可选的，在所述将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息之后，所述方法还包括：拼接所述多个第一升维点云信息，得到多个拼接点云信息；将所述多个拼接点云信息输入所述第二卷积层，得到多个拼接升维点云信息；将所述多个拼接升维点云信息输入所述最大池化层，得到多个拼接池化点云信息；将所述多个拼接池化点云信息输入所述全连接层，得到多个拼接分类结果；在所述根据所述多个分类结果，得到所述抗干扰分类结果之后，所述方法还包括：根据所述多个分类结果和所述多个拼接分类结果，得到多级抗干扰分类结果。
12.可选的，所述根据所述多个分类结果，得到所述抗干扰分类结果，包括：响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。
13.第二方面，本技术实施例提供了一种基于毫米波雷达点云的抗干扰分类装置，包括：获取模块，用于获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；染色模块，用于利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；分类模块，用于将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。
14.第三方面，本技术实施例提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面任一项所述的基于毫米波雷达点云的抗干扰分类方法。
15.第四方面，本技术实施例提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面任一项所述的基于毫米波雷达点云的抗干扰分类方法。
16.本技术实施例提供了一种基于毫米波雷达点云的抗干扰分类方法及装置，在执行所述方法时，先获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；后利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；最后将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。这样，将毫米波点云信息和图像信息结合，利用彩色图像对毫米波点云信息进行染色，基于多维度信息进行目标分类，增强了毫米波雷达的抗干扰能力，提升了目标分类的准确率。
附图说明
17.为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种方法流程图；图2为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的多个毫米波雷达点云信息示意图；图3为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的染色示意图；图4为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的另一种方法流程图；图5为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种神经网络示意图；图6为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种特征拼接示意图；图7为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的另一种神经网络示意图；图8为本技术实施例提供的基于毫米波雷达点云的抗干扰分类装置的一种结构示意图。
具体实施方式
19.传统的主动安全防撞功能，需要利用摄像头辅助进行目标种类的确认，例如确认目标物体是轿车、行人、自行车等分类中的哪一分类。由于在大雨、大雾天气下，摄像系统无
法正常工作，所以，利用摄像头辅助进行目标种类的确认，很容易影响主动安全防撞的性能。为了减少天气对目标分类的影响，可以利用毫米波雷达点云进行目标分类。但是，毫米波雷达点云分辨率较低，且容易受到外界干扰，分类准确度较低。
20.本技术实施例提供的方法由计算机设备执行，用于提高基于毫米波雷达点云的抗干扰分类方法的抗干扰能力。
21.显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
22.参见图1，图1为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种方法流程图，包括：步骤s101：获取多个毫米波点云信息和多个彩色图像信息。
23.毫米波雷达一般会在每个脉冲周期内都发射调频连续波，并在接收端对回波进行混频，最终得到的结果是多个目标回波的叠加。对叠加的一维回波信号进行傅里叶变化，会得到一维回波像，也称为一维距离像。进一步地，对多个连续发射的回波所得到的一维距离像在另一个维度进行傅里叶变换，最终可以得到观测空间中的目标在距离－多普勒速度图像上的分布，如图2所示，图2为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的多个毫米波雷达点云信息示意图。每个目标点在图上呈现为一个亮点，这个亮点的位置体现了目标自身的距离和速度，强度体现了目标的回波强度。多个目标点及其代表的信息共同组成了单个毫米波雷达点云信息。
24.毫米波雷达的波长一般在1-19mm之间，介于厘米波和光波之间，兼有微波制导和光电制导的优点，且其引导头具有体积小、质量轻和空间分辨率高的特点，穿透雾、烟、灰尘的能力强，不易受到恶劣天气或者光照条件的影响。
25.由于毫米波雷达无法直接分辨自己探测目标的种类，需要相机与之配合，进行目标种类的识别。多个彩色图像信息由相机获取，分别与所述多个毫米波点云信息对应。
26.步骤s102：利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息。
27.将相机拍摄的多个彩色图像信息的像素rgb赋值给毫米波雷达点云，可以实现对所述多个毫米波点云信息染色，产生多个染色点云信息，即xyrgb毫米波雷达点云。之后再与神经网络进行结合，可以极大地提高了目标分类的准确率，实现多传感器之间的信息交互，同时为抗干扰提供更加准确的信息。
28.作为一种可能的实施方式，参见图3，图3为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的染色示意图，可以先将毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；再将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息。
29.步骤s103：将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。
30.目标分类神经网络可以包括卷积、升维、全连接等操作，用于对染色点云信息进行特征提取，再对提取的特征进行分析，进而得到毫米波雷达的分类。作为一种可能的实施方
式，可以通过pytorch进行目标分类神经网络的搭建，再对其进行测试迭代，使其收敛，提高其分类的准确度。
31.作为一种可能的实施方式，在将所述多个染色点云信息输入目标分类神经网络前，可以先构建预训练神经网络；再利用训练样本训练所述预训练神经网络，得到所述目标分类神经网络。其中，训练样本是包括样本信息和结果信息的样本。作为一种可能的实施方式，样本信息可以是数据集是nuscence公开数据集的实测数据，结果信息可以是利用标准框对目标进行标注的信息。作为另一种可能的实施方式，训练样本也可以是通过autocad建模、仿真之后得到的毫米波雷达点云数据。需要说明的是，利用梯度下降法修正所述预训练神经网络的权值，以迭代目标分类神经网络，可以使得目标分类神经网络的分类更加精准。
32.综上所述，本实施例将毫米波点云信息和图像信息结合，利用彩色图像对毫米波点云信息进行染色，基于多维度信息进行目标分类，增强了毫米波雷达的抗干扰能力，提升了目标分类的准确率。
33.在本技术实施例中，上述图1所述的步骤存在多种可能的实现方式，下面分别进行介绍。需要说明的是，下文介绍中给出的实现方式仅作为示例性的说明，并不代表本技术实施例的全部实现方式。
34.参见图4，该图为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的另一种方法流程图，包括：步骤s401：获取多个毫米波点云信息和多个彩色图像信息。
35.步骤s402：将多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息。
36.像素坐标系为所述多个彩色图像信息对应的坐标系，将毫米波点云信息投射至像素坐标系，便于后续将彩色图像和毫米波点云信息结合。
37.作为一种可能的实施方式，可以利用毫米波点云坐标系和像素坐标系的偏移矩阵以及相机内参，将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述毫米波点云坐标系为所述多个毫米波点云信息对应的坐标系，用公式表示为：其中，y为多个像素坐标点云信息，为相机内参，为毫米波雷达坐标和相机坐标的偏移矩阵，x为多个毫米波点云信息。
38.需要说明的是，在具体的应用中，相机内参大多表示为3*3的矩阵，例如：毫米波点云坐标系和像素坐标系的偏移矩阵大多表示为4*4的矩阵，例如：
毫米波点云坐标系和像素坐标系的偏移矩阵需要预先根据毫米波雷达和相机的位置生成，具体包括：步骤s1：获取毫米波雷达和相机的相对位置信息。
39.毫米波雷达用于获取所述多个毫米波点云信息，相机用于获取所述多个彩色图像信息。通过获取二者的相对位置，可以结合物理原理将二者的坐标系转换为统一标准。
40.步骤s2：利用所述毫米波雷达和相机的相对位置信息，获取旋转矩阵与平移向量。
41.旋转矩阵与平移向量共同决定了如何把点云信息从毫米波点云坐标系转换到像素坐标系，旋转矩阵描述了毫米波点云坐标系的坐标轴相对于相机坐标轴的方向，平移向量描述了在像素坐标系下空间原点的位置。因此，根据实际的毫米波雷达和相机的相对位置信息，很容易得到毫米波点云坐标系转换到像素坐标系的旋转矩阵与平移向量。
42.步骤s3：利用所述旋转矩阵与平移向量，生成所述毫米波点云坐标系和像素坐标系的偏移矩阵。
43.毫米波点云坐标系和像素坐标系的偏移矩阵为4*4的矩阵，左上角三行三列为旋转矩阵，右上角第四列前三行为平移向量，左下角第四行前三列为0 0 0，右下角第四行第四列为1的矩阵。将旋转矩阵与平移向量代入以上形式，即可得到毫米波点云坐标系和像素坐标系的偏移矩阵。
44.步骤s403：将多个彩色图像信息的像素参数赋值至多个像素坐标点云信息，得到多个染色点云信息。
45.在将多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息后，可以将每个像素坐标点云信息的坐标对应的彩色图像信息的像素参数rgb赋值给该像素坐标点云信息，得到多个染色点云信息，即xyrgb的毫米波雷达点云信息。
46.步骤s404：将多个染色点云信息输入第一卷积层，得到多个第一升维点云信息。
47.作为一种可能的实施方式，目标分类神经网络可以如图5所示，图5为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种神经网络示意图。
48.其中，卷积网络可以包括多个卷积层，为了将不同的毫米波雷达点云信息结合起来，获取点与点之间的关系，可以先通过第一卷积层，将所述多个染色点云信息升维成多个第一升维点云信息，以便后续将其拼接到一起。
49.步骤s405：拼接多个第一升维点云信息，得到多个拼接点云信息。
50.将所述多个第一升维点云信息拼接到一起，可以得到多个拼接点云信息，对所述拼接点云信息进行后续操作，可以得到考虑到点与点之间关系的分类结果，进一步增加分类结果的抗干扰性能。例如，将卷积后的特征n*x与特征n*y进行拼接扩展，形成n*(x+y)的特征。
51.作为一种可能的实施方式，在进行拼接时，可以依据不同半径点云进行搜索，再将不同半径中的点云进行拼接。例如，参见图6，图6为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种特征拼接示意图。如图，三个不同半径的圆将画面分成不同圆环，每个圆环内都有多个点云，将不同圆环内点云的第一升维点云信息拼接在一起，即可实现抗干扰的功能。
52.作为另一种可能的实施方式，可以通过kd-tree算法划分出不同的拼接方案。
53.步骤s406：将多个第一升维点云信息和多个拼接点云信息输入第二卷积层，得到
多个第二升维点云信息和多个拼接升维点云信息。
54.第一升维点云信息和第二升维点云信息对应，拼接点云信息和拼接升维点云信息对应。将多个第一升维点云信息和多个拼接点云信息输入第二卷积层，可以利用第二卷积层对毫米波雷达点云信息进行特征提取。
55.作为一种可能的实施方式，当将输入的多个第一升维点云信息和多个拼接点云信息表示为(n，c
in
，l)，将输出的多个第二升维点云信息和多个拼接升维点云信息表示为(n，c
out
，l
out
)时，所述特征提取可以用公式表示为：，其中，n为第一升维点云信息和拼接点云信息或第二升维点云信息和拼接升维点云信息的数量，c
out
为第二升维点云信息和拼接升维点云信息的通道数，bias为第二卷积层的偏移量，c
in
为多个第一升维点云信息和拼接点云信息的通道数，weitght为第二卷积层的权重，input为输入的卷积形状。
56.，其中，l
out
为多个第二升维点云信息和多个拼接升维点云信息数据长度，l为多个第一升维点云信息和多个拼接点云信息数据长度，padding为多个第一升维点云信息和多个拼接点云信息的填充大小，dilation为卷积核之间的大小，kernel_size为卷积核大小，stride为卷积核移动步长。
57.步骤s407：将多个第二升维点云信息和多个拼接升维点云信息输入最大池化层，得到多个池化点云信息和多个拼接池化点云信息。
58.最大池化层可以借鉴本领域常用的池化网络，在此不作限定。
59.步骤s408：将多个池化点云信息和多个拼接池化点云信息输入所述全连接层，得到多个分类结果和多个拼接分类结果。
60.全连接层可以借鉴本领域常用的全连接网络，在此不作限定。
61.作为一种可能的实施方式，步骤s404到步骤s408可以合并表示为：，其中，f表示目标分类神经网络对多个染色点云信息的计算，x1，x2，xn，，，分别为单个的染色点云信息，γ表示全连接层的计算，g表示最大池化层的计算，h表示卷积层的计算。如图7，图7为本技术实施例提供的基于毫米波雷达点云的抗干扰分类方法的另一种神经网络示意图。
62.需要说明的是，因为毫米波雷达点云信息具有无序性，所以将所述多个染色点云信息输入所述卷积层，并不会受到顺序的影响，用公式可以表示为：，其中，x1，x2，xn，，，分别为单个的染色点云信息，f表示目标分类神
经网络对染色点云信息的计算。
63.步骤s409：根据多个分类结果，得到抗干扰分类结果。
64.通过对多个分类结果进行比对来得到完全相同的分类结果，作为可信的分类结果，予以采纳，实现分类结果抗干扰的目的。
65.即响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。
66.步骤s410：根据多个分类结果和多个拼接分类结果，得到多级抗干扰分类结果。
67.只考虑各个染色点云信息无法考虑点云之间的关系。因此，将比对多个分类结果和多个拼接分类结果，当结果完全相同时，说明分类结果没有受到干扰，分类结果可信，否则认为分类结果不可信。
68.即响应于所述多个分类结果和所述多个拼接分类结果一致，确认所述多级抗干扰分类结果为所述多个分类结果和所述多个拼接分类结果中的任一分类结果；响应于所述多个分类结果和所述多个拼接分类结果不一致，确认所述多级抗干扰分类结果为结果不可信。
69.综上所述，本实施例通过对目标分类神经网络进行训练，可以得到分类效果较好的目标分类神经网络，提高分类结果的精准度和分类效率；通过将卷积后的特征拼接，考虑到不同点云之间的联系，可以得到更为精准的目标分类结果，充分提高分类模型的抗干扰能力；整个实施例将毫米波点云信息和图像信息结合，利用彩色图像对毫米波点云信息进行染色，基于多维度信息进行目标分类，充分增强了毫米波雷达的抗干扰能力，提升了目标分类的准确率。
70.以上为本技术实施例提供基于毫米波雷达点云的抗干扰分类方法的一些具体实现方式，基于此，本技术还提供了对应的装置。下面将从功能模块化的角度对本技术实施例提供的装置进行介绍。
71.参见图8所示的基于毫米波雷达点云的抗干扰分类装置800的结构示意图，该装置800包括获取模块801、染色模块802和分类模块803。
72.获取模块801，用于获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；染色模块802，用于利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；分类模块803，用于将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。
73.作为一种可能的实施方式，所述染色模块802，包括：投射单元，用于将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；赋值单元，用于将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息。
74.作为一种可能的实施方式，所述投射单元，包括：投射组件，用于利用毫米波点云坐标系和像素坐标系的偏移矩阵以及相机内参，
将所述多个毫米波点云信息投射至所述像素坐标系，得到所述多个像素坐标点云信息，所述毫米波点云坐标系为所述多个毫米波点云信息对应的坐标系。
75.作为一种可能的实施方式，所述装置还包括：相对位置获取组件，用于获取毫米波雷达和相机的相对位置信息，所述毫米波雷达用于获取所述多个毫米波点云信息，所述相机用于获取所述多个彩色图像信息；矩阵向量获取组件，用于利用所述毫米波雷达和相机的相对位置信息，获取旋转矩阵与平移向量；偏移矩阵生成组件，用于利用所述旋转矩阵与平移向量，生成所述毫米波点云坐标系和像素坐标系的偏移矩阵。
76.作为一种可能的实施方式，所述目标分类神经网络包括第一卷积层、第二卷积层、最大池化层和全连接层；所述分类模块803，包括：第一卷积单元，用于将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息；第二卷积单元，用于将所述多个第一升维点云信息输入所述第二卷积层，得到多个第二升维点云信息；池化单元，用于将所述多个第二升维点云信息输入所述最大池化层，得到多个池化点云信息；全连接单元，用于将所述多个池化点云信息输入所述全连接层，得到多个分类结果；分类结果单元，用于根据所述多个分类结果，得到所述抗干扰分类结果。
77.作为一种可能的实施方式，所述装置还包括：拼接单元，用于拼接所述多个第一升维点云信息，得到多个拼接点云信息；拼接卷积单元，用于将所述多个拼接点云信息输入所述第二卷积层，得到多个拼接升维点云信息；拼接池化单元，用于将所述多个拼接升维点云信息输入所述最大池化层，得到多个拼接池化点云信息；拼接全连接单元，用于将所述多个拼接池化点云信息输入所述全连接层，得到多个拼接分类结果；多级分类单元，用于根据所述多个分类结果和所述多个拼接分类结果，得到多级抗干扰分类结果。
78.作为一种可能的实施方式，所述分类模块803，包括：第一分类单元，用于响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；第二分类单元，用于响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。
79.本技术实施例还提供了对应的设备以及计算机存储介质，用于实现本技术实施例提供的方案。
80.其中，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理
器用于执行所述指令或代码，以使所述设备执行本技术任一实施例所述的基于毫米波雷达点云的抗干扰分类方法。
81.所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现本技术任一实施例所述的基于毫米波雷达点云的抗干扰分类方法。
82.本技术实施例中提到的
ꢀ“
第一”、“第二”（若存在）等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
83.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器（英文：read-only memory，rom）/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者诸如路由器等网络通信设备）执行本技术各个实施例或者实施例的某些部分所述的方法。
84.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
85.以上所述仅是本技术示例性的实施方式，并非用于限定本技术的保护范围。

技术特征：
1.一种基于毫米波雷达点云的抗干扰分类方法，其特征在于，所述方法包括：获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。2.根据权利要求1所述的方法，其特征在于，所述利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息，包括：将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息。3.根据权利要求2所述的方法，其特征在于，所述将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，包括：利用毫米波点云坐标系和像素坐标系的偏移矩阵以及相机内参，将所述多个毫米波点云信息投射至所述像素坐标系，得到所述多个像素坐标点云信息，所述毫米波点云坐标系为所述多个毫米波点云信息对应的坐标系。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取毫米波雷达和相机的相对位置信息，所述毫米波雷达用于获取所述多个毫米波点云信息，所述相机用于获取所述多个彩色图像信息；利用所述毫米波雷达和相机的相对位置信息，获取旋转矩阵与平移向量；利用所述旋转矩阵与平移向量，生成所述毫米波点云坐标系和像素坐标系的偏移矩阵。5.根据权利要求1所述的方法，其特征在于，所述目标分类神经网络包括第一卷积层、第二卷积层、最大池化层和全连接层；所述将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果，包括：将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息；将所述多个第一升维点云信息输入所述第二卷积层，得到多个第二升维点云信息；将所述多个第二升维点云信息输入所述最大池化层，得到多个池化点云信息；将所述多个池化点云信息输入所述全连接层，得到多个分类结果；根据所述多个分类结果，得到所述抗干扰分类结果。6.根据权利要求5所述的方法，其特征在于，在所述将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息之后，所述方法还包括：拼接所述多个第一升维点云信息，得到多个拼接点云信息；将所述多个拼接点云信息输入所述第二卷积层，得到多个拼接升维点云信息；将所述多个拼接升维点云信息输入所述最大池化层，得到多个拼接池化点云信息；将所述多个拼接池化点云信息输入所述全连接层，得到多个拼接分类结果；在所述根据所述多个分类结果，得到所述抗干扰分类结果之后，所述方法还包括：根据所述多个分类结果和所述多个拼接分类结果，得到多级抗干扰分类结果。
7.根据权利要求5所述的方法，其特征在于，所述根据所述多个分类结果，得到所述抗干扰分类结果，包括：响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。8.一种基于毫米波雷达点云的抗干扰分类装置，其特征在于，所述装置包括：获取模块，用于获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；染色模块，用于利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；分类模块，用于将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。9.一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行权利要求1至7任一项所述的基于毫米波雷达点云的抗干扰分类方法。10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的计算机存储设备实现权利要求1至7任一项所述的基于毫米波雷达点云的抗干扰分类方法。

技术总结
本申请提供了一种基于毫米波雷达点云的抗干扰分类方法及装置，包括：获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。这样，将毫米波点云信息和图像信息结合，利用彩色图像对毫米波点云信息进行染色，基于多维度信息进行目标分类，增强了毫米波雷达的抗干扰能力，提升了目标分类的准确率。率。率。


技术研发人员：张军 陶征 章庆 王鹏立 程伟 宋清峰
受保护的技术使用者：南京慧尔视智能科技有限公司
技术研发日：2022.12.12
技术公布日：2023/1/6