本技术涉及数据处理领域,尤其是涉及到一种数据处理方法、装置、计算机设备和可读存储介质。
背景技术:
1、目前,车辆在不同的自动驾驶场景下,可能会有不同的自动驾驶问题。为了提高自动驾驶表现,会将车辆表现较差的场景记录下来,形成场景数据包,再利用checker框架进行场景的仿真回放,实现对场景表现的检查。
2、相关技术中,checker框架利用预先写好的规则,拉取数据,进行数据处理,再投喂给模型得到结果,最后判断结果是true或false,也即判断场景表现。
3、但是,规则算法需要使用人工先验经验,自动化程度具有一定局限性,在遇到大量问题时实现难度较大。
技术实现思路
1、有鉴于此,本技术提供了一种数据处理方法、装置、计算机设备和可读存储介质,能够自动化地检验大量的自动驾驶问题,降低研发成本和研发难度。
2、第一方面,本技术实施例提供了一种数据处理方法,应用于checker框架,checker框架包括数据组件和模型组件,数据组件包括数据捕捉模块和多个数据承载模块,数据承载模块至少纪录有回流数据的数据描述信息,方法包括:
3、获取自动驾驶车辆的回流数据,并将回流数据存储至多个数据队列;
4、基于数据查询信息和数据描述信息,利用数据捕捉模块在多个数据队列中获取第一目标回流数据,并将第一目标回流数据填充至数据承载模块;
5、基于数据承载模块中的数据,利用模型组件进行自动驾驶模型训练和评测。
6、本技术的技术方案,提出了一个预设checker框架,该预设checker框架也可以称为dd checker,该预设checker框架是基于数据驱动所开发,而不是应用规则形式所开发。预设checker框架由数据组件和模型组件构成,数据组件用于拉取数据,模型组件用于进行数据的训练和处理,数据组件包括数据捕捉模块和多个数据承载模块,数据承载模块是数据的载体,用于承载数据,它里面包含了一些数据值,数据值可以是tenser(张量),也可以是特征描述信息;数据捕捉模块是捕捉数据的组件,用于抓取需要的数据。
7、在自动驾驶车辆产生回流数据后,获取该回流数据并将其存储至多个数据队列,每个数据队列对应的数据类型不同,不同数据队列中注入不同类型的自动驾驶车辆的回流数据。数据捕捉模块根据数据查询信息和数据描述信息,在多个数据队列中查找第一目标回流数据,并将第一目标回流数据填充至该数据描述信息所对应的数据承载模块,基于该方式,能够实现多个数据承载模块的数据注入。最后,利用模型组件,根据数据承载模块中的数据进行自动驾驶模型训练和评测。
8、需要说明的是,最后数据承载模块中的数据除了查找出的目标回流数据,还包括其原有存储的数据。
9、本技术实施例,提出一种基于新的checker框架进行数据处理的方案,不需要人工设定规则和参数,而是利用数据驱动方式获取数据进行检测,可以自动化地检验大量的自动驾驶问题,降低研发成本和研发难度。
10、根据本技术实施例的上述方法,还可以具有以下附加技术特征:
11、在上述技术方案中,可选地,在获取自动驾驶车辆的回流数据之前,还包括:向数据承载模块中写入纪录信息;纪录信息包括以下至少一项:数据描述信息、待填充数据的大小、预设填充值、数据捕捉过程信息、数据分布情况、数据相关性。
12、在该技术方案中,每个数据承载模块除了可以承载数据,还可以记载有数据描述信息、待填充数据的大小、预设填充值、数据捕捉过程信息、数据分布情况、数据相关性等数据值。本技术实施例,通过向数据承载模块写入纪录信息,实现数据承载模块的自定义,为实现后续的自动化检验自动驾驶问题提供基础。
13、在上述任一技术方案中,可选地,每个数据队列包括多个节点,每个节点对应有回流数据和时间戳;基于数据查询信息和数据描述信息,利用数据捕捉模块在多个数据队列中获取第一目标回流数据,包括:利用数据捕捉模块在每个数据队列中进行搜索,获取数据描述信息与数据查询信息对应,且为相同时间戳的第一目标回流数据。
14、在该技术方案中,每个数据队列包括多个节点,每个节点会对应有回流数据和时间戳,例如,规划数据对应的数据队列中,第0.1秒为第一规划数据,第0.2为第二规划数据;感知数据对应的数据队列中,第0.1秒为第一感知数据,第0.2为第二感知数据。
15、数据捕捉模块即为一个捕捉器,捕捉器会按照时间戳的先后顺序在每个数据队列的节点上面移动,每到一个节点,捕捉器就会在这个节点里进行数据搜索。进行数据搜索是指,依据数据查询信息,在节点上搜索数据描述信息与数据查询信息对应的回流数据,作为第一目标回流数据。
16、本技术实施例,在设置完数据承载模块的信息后,可以自动化地由数据捕捉模块拉取目标回流数据,不需要人工处理,提高了数据获取效率。并且,由于获取到的目标回流数据为相同时间戳下的不同类型的数据网,所以方便后续的模型训练,对模型训练更加友好。
17、在上述任一技术方案中,可选地,基于数据查询信息和数据描述信息,利用数据捕捉模块在多个数据队列中获取第一目标回流数据,包括:在多个数据队列的节点上获取第一目标回流数据;和/或,在多个数据队列的节点上获取第二目标回流数据,根据第二目标回流数据获取第一目标回流数据。
18、在该技术方案中,第一目标回流数据不仅可以从数据队列中直接获取,还可以从数据队列中的其他回流数据(也即,第二目标回流数据)中产生,从而使得获取的目标回流数据更加丰富,提高对模型的训练效果。
19、在上述任一技术方案中,可选地,在基于数据查询信息和数据描述信息,利用数据捕捉模块在多个数据队列中获取第一目标回流数据之前,还包括:基于每个数据承载模块的纪录信息,对多个数据承载模块进行排序。
20、在该技术方案中,数据捕捉模块在工作时,可以先获取每个数据承载模块纪录的数据描述信息或者数据承载模块记录的其他信息(例如数据相关性),从而对多个数据承载模块进行优先等级由高到低的排序,数据捕捉模块在捕捉回流数据时,可以按照优先等级进行,确保优先捕捉到需要捕捉的数据。
21、在上述任一技术方案中,可选地,数据承载模块包括单帧数据承载模块,单帧数据承载模块用于承载单帧回流数据;数据承载模块包括数据序列承载模块,数据序列承载模块用于承载回流数据序列。
22、在该技术方案中,数据承载模块包括单帧数据承载模块和数据序列承载模块,数据序列承载模块由单帧数据承载模块组成。也就是说,数据承载模块可以承载单帧的回流数据,也可以承载数据序列。
23、第二方面,本技术实施例提供了一种数据处理装置,应用于checker框架,checker框架包括数据组件和模型组件,数据组件包括数据捕捉模块和多个数据承载模块,数据承载模块至少纪录有回流数据的数据描述信息,装置包括:
24、获取单元,用于获取自动驾驶车辆的回流数据;
25、存储单元,用于将回流数据存储至多个数据队列;
26、处理单元,用于基于数据查询信息和数据描述信息,利用数据捕捉模块在多个数据队列中获取第一目标回流数据,并将第一目标回流数据填充至数据承载模块;
27、模型训练模块,用于基于数据承载模块中的数据,利用模型组件进行自动驾驶模型训练和评测。
28、第三方面,本技术实施例提供了一种计算机设备,该计算机设备包括至少一个处理器,处理器和存储器耦合,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的方法的步骤。
29、第四方面,本技术实施例提供了一种可读存储介质,该可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面的方法的步骤。
30、第五方面,本技术实施例提供了一种芯片,该芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面的方法。
31、第六方面,本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面的方法。
32、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
1.一种数据处理方法,其特征在于,应用于checker框架,所述checker框架包括数据组件和模型组件,所述数据组件包括数据捕捉模块和多个数据承载模块,所述数据承载模块至少纪录有回流数据的数据描述信息,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在所述获取自动驾驶车辆的所述回流数据之前,还包括:
3.根据权利要求1所述的方法,其特征在于,每个所述数据队列包括多个节点,每个节点对应有回流数据和时间戳;
4.根据权利要求3所述的方法,其特征在于,所述基于数据查询信息和所述数据描述信息,利用所述数据捕捉模块在多个所述数据队列中获取第一目标回流数据,包括:
5.根据权利要求2所述的方法,其特征在于,在所述基于数据查询信息和所述数据描述信息,利用所述数据捕捉模块在多个所述数据队列中获取第一目标回流数据之前,还包括:
6.根据权利要求1至5中任一项所述的方法,其特征在于,
7.根据权利要求1至5中任一项所述的方法,其特征在于,
8.一种数据处理装置,其特征在于,应用于checker框架,所述checker框架包括数据组件和模型组件,所述数据组件包括数据捕捉模块和多个数据承载模块,所述数据承载模块至少纪录有回流数据的数据描述信息,所述装置包括:
9.一种计算机设备,其特征在于,包括至少一个处理器,所述处理器和存储器耦合,所述存储器存储有在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
10.一种可读存储介质,其上存储有程序或指令,其特征在于,所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。