训练样本构建及图像特征提取模型的训练方法、装置及设备与流程

本公开涉及计算机，特别是涉及一种训练样本构建及图像特征提取模型的训练方法、装置及设备。

背景技术：

1、3d零件的特征提取是支撑3d零件搜索任务、3d零件归一化等涉及3d零件相似度比对任务中最重要的一个环节。可以采用基于规则、基于文本、基于点云等特征提取方式对3d零件进行特征提取。然而，这些特征提取方式都存在一定的缺陷。

2、基于规则的特征提取方式，是指可以计算零件的尺寸、表面积、体积等各种零件参数，以这些零件参数作为零件特征。基于规则的特征提取方式，是比较传统的特征提取方法，对于简单的零件比较适用，但对于稍微复杂一些的零件形式，基于规则提取的特征就难以区分。比如，有些零件表面积大小相似但零件形状天差地别。

3、基于文本的特征提取方式，是指可以基于零件的stp文件，统计用来表示矢量的文本的各种词频和词共现作为零件的特征。基于文本的特征提取方式存在着比较低的理论上限。也就是说，同样的零件可以拥有很多种矢量的文本描述方法，所以基于文本的特征提取方式会带来比较大的波动，相似的零件之间可能会有比较大的距离。

4、基于点云的特征提取方式，是指可以将3d零件转为点云，然后利用神经网络提取特征。基于点云的特征提取方式，虽然可以通过采用深度神经网络，具备很强的特征表示能力，但一方面点云的转化本身就会带来误差，以及大量的冗余信息，另一方面点云合适的预训练模型比较少，不太能很容易地复用到当前的应用场景。

5、有鉴于此，可以利用图像领域广泛的预训练模型对3d零件的图像(如各个角度的透视图、轴测图)进行特征提取。预训练模型通常更多针对的是自然物体，而不是零件。所以利用零件，尤其是候选集中的零件，对预训练模型进行微调(finetune)，可以使得微调后模型能够提取更精确的特征。但对于模型库中数以万计的3d零件来说，对零件做相似度标记是一个很困难的事情。

6、因此，为了更好地将预训练模型应用于3d零件的特征提取，亟需一种无需人工标注的训练数据制作以及对预训练模型进行微调的方案。

技术实现思路

1、本公开要解决的一个技术问题是，如何提供一种无需人工标注的训练数据制作方案。

2、根据本公开的第一个方面，提供了一种训练样本构建方法，包括：将针对同一三维对象生成的图像集中的任意两个图像组成一个正样本对；针对多个三维对象中的各个三维对象，利用第一预训练图像神经网络模型分别对所述三维对象的图像集中的至少部分图像进行特征提取，得到所述至少部分图像中各个图像的第一特征提取结果；基于所述至少部分图像中各个图像的第一特征提取结果得到所述三维对象的特征表达；基于所述特征表达计算不同三维对象之间的相似度；将相似度低于第一阈值的两个三维对象的图像集中任意两个取自不同图像集的图像组成一个负样本对。

3、可选地，所述图像集包括一个或多个轴测图以及一个或多个透视图。

4、可选地，基于所述至少部分图像中各个图像的第一特征提取结果得到所述三维对象的特征表达，包括：计算所述至少部分图像中所有图像的第一特征提取结果的平均值；将所述平均值作为所述三维对象的特征表达。

5、可选地，所述方法还包括：利用非图像特征提取方式获取所述三维对象的第二特征提取结果，基于所述特征表达计算不同三维对象之间的相似度，包括：计算不同三维对象的特征表达之间的第一相似度；计算不同三维对象的第二特征提取结果之间的第二相似度；基于所述第一相似度和所述第二相似度，确定不同三维对象之间的相似度。

6、可选地，所述非图像特征提取方式包括以下至少一种：基于规则的特征提取方式、基于文本的特征提取方式、基于点云的特征提取方式。

7、可选地，所述三维对象包括以下至少一种：工业零部件、家具、电子产品。

8、根据本公开的第二个方面，提供了一种图像特征提取模型的训练方法，包括：获取训练样本集，所述训练样本集包括至少一个正样本对和至少一个负样本对，所述正样本对和所述负样本对是利用上述第一个方面所述的方法构建的；利用所述训练样本集训练所述图像特征提取模型，所述图像特征提取模型为第二预训练图像神经网络模型中的特征处理部分。

9、可选地，在训练过程中，以使所述图像特征提取模型对组成所述正样本对的两个图像分别进行特征提取得到的特征提取结果在特征空间中彼此接近，而对组成所述负样本对的两个图像分别进行特征提取得到的特征提取结果在特征空间中彼此远离为目标，调整所述图像特征提取模型。

10、根据本公开的第三个方面，提供了一种训练样本构建装置，包括：第一构建模块，用于将针对同一三维对象生成的图像集中的任意两个图像组成一个正样本对；第二构建模块，用于针对多个三维对象中的各个三维对象，利用第一预训练图像神经网络模型分别对所述三维对象的图像集中的至少部分图像进行特征提取，得到所述至少部分图像中各个图像的第一特征提取结果；基于所述至少部分图像中各个图像的第一特征提取结果得到所述三维对象的特征表达；基于所述特征表达计算不同三维对象之间的相似度；将相似度低于第一阈值的两个三维对象的图像集中任意两个取自不同图像集的图像组成一个负样本对。

11、可选地，所述图像集包括一个或多个轴测图以及一个或多个透视图。

12、可选地，所述第二构建模块计算所述至少部分图像中所有图像的第一特征提取结果的平均值，将所述平均值作为所述三维对象的特征表达。

13、可选地，所述第二构建模块利用非图像特征提取方式获取所述三维对象的第二特征提取结果，计算不同三维对象的特征表达之间的第一相似度；计算不同三维对象的第二特征提取结果之间的第二相似度；基于所述第一相似度和所述第二相似度，确定不同三维对象之间的相似度。

14、可选地，所述非图像特征提取方式包括以下至少一种：基于规则的特征提取方式、基于文本的特征提取方式、基于点云的特征提取方式。

15、可选地，所述三维对象包括以下至少一种：工业零部件、家具、电子产品。

16、根据本公开的第四个方面，提供了一种图像特征提取模型的训练装置，包括：获取模块，用于获取训练样本集，所述训练样本集包括至少一个正样本对和至少一个负样本对，所述正样本对和所述负样本对是利用上述第一个方面所述的方法构建的；训练模块，用于利用所述训练样本集训练所述图像特征提取模型。

17、可选地，在训练过程中，所述训练模块以使所述图像特征提取模型对组成所述正样本对的两个图像分别进行特征提取得到的特征提取结果在特征空间中彼此接近，而对组成所述负样本对的两个图像分别进行特征提取得到的特征提取结果在特征空间中彼此远离为目标，调整所述图像特征提取模型，所述图像特征提取模型为第二预训练图像神经网络模型中的特征处理部分。

18、根据本公开的第五个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述第一方面所述的方法。

19、根据本公开的第六个方面，提供了一种计算机程序产品，包括可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上述第一个方面或第二个方面所述的方法。

20、根据本公开的第七个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上述第一个方面或第二个方面所述的方法。

21、本公开在构建正样本对时可以将针对同一三维对象生成的图像集中的任意两个图像组成一个正样本对，在构建负样本对时则可以利用第一预训练图神经网络模型判别相似度比较低的三维对象对的图像作为负样本对。如此，正样本对和负样本对的构建均不需要人工参与标注，且所标注的正样本对和负样本对可以用于对预训练模型进行微调(finetune)。

技术特征：

1.一种训练样本构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求1所述的方法，其特征在于，基于所述至少部分图像中各个图像的第一特征提取结果得到所述三维对象的特征表达，包括：

4.根据权利要求1所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，所述非图像特征提取方式包括以下至少一种：基于规则的特征提取方式、基于文本的特征提取方式、基于点云的特征提取方式。

6.根据权利要求1所述的方法，其特征在于，

7.一种图像特征提取模型的训练方法，其特征在于，包括：

8.一种训练样本构建装置，其特征在于，包括：

9.一种图像特征提取模型的训练装置，其特征在于，包括：

10.一种计算设备，包括：

技术总结
本公开涉及一种训练样本构建及图像特征提取模型的训练方法、装置及设备。将针对同一三维对象生成的图像集中的任意两个图像组成一个正样本对；针对多个三维对象中的各个三维对象，利用第一预训练图像神经网络模型分别对三维对象的图像集中的至少部分图像进行特征提取，得到至少部分图像中各个图像的第一特征提取结果；基于至少部分图像中各个图像的第一特征提取结果得到三维对象的特征表达；基于特征表达计算不同三维对象之间的相似度；将相似度低于第一阈值的两个三维对象的图像集中任意两个取自不同图像集的图像组成一个负样本对。由此，无需人工参与标注即可构建正样本对和负样本对。

技术研发人员：王靖淞
受保护的技术使用者：第四范式（北京）技术有限公司
技术研发日：
技术公布日：2024/9/23