一种面向数据多样性增强的图像数据集构建方法和装置

xiaoxiao3月前  16

本发明属于数据集构建,具体涉及一种面向数据多样性增强的图像数据集构建方法和装置。
背景技术
::1、深度学习网络是一种基于人工神经网络的机器学习技术,通过多层次的数据处理和学习,实现对大量数据的高级特征提取与抽象表达。相较于传统数字图像处理方法,深度学习网络以其强大的特征提取能力和端到端的学习方式,已在分类、目标检测、分割等诸多感知任务上取得了显著的性能提升。2、与此同时,随着深度学习模型容量的不断提升,数据规模对于模型性能提升起着越来越重要的作用。目前大部分数据集仍依赖于人工标注,但人工标注成本高昂,无法高效扩展到大规模数据集。在此类数据上训练的模型容易在训练集上过拟合,尤其是对于罕见的类别更容易出现此种情况。3、然而,随着生成模型的不断发展,对于生成数据的真实度和可控程度也不断提升。因此,现有方法提出利用生成模型作为数据扩增的手段,即利用生成数据集来作为真实数据集的补充训练模型,提升模型的性能。4、其中,2023年,在线期刊transactions on machine learning research上公开的文献《synthetic data from diffusion models improves imagenet classification》通过微调预训练文生图模型,使得模型能够产生大规模数据集用于分类任务。5、2023年,会议论文集proceedings of the ieee/cvf international conferenceon computer vision第1206-1217页公开的文献《diffumask:synthesizing images withpixel-level annotations for semantic segmentation using diffusion models》探索了扩散模型交叉注意力图中蕴含的语义信息,使用自适应阈值策略,使得生成模型可以同时生成图像和对应的语义分割标注用于语义分割任务。6、同年,会议论文集proceedings of machine learning research第42098-42109页公开的文献《x-paste:revisiting scalable copy-paste for instance segmentationusing clip and stablediffusion》使用网络爬取数据与生成数据,并使用多种预训练分割模型对数据进行标注,结合拷贝粘贴策略,使得生成数据可以用于实例分割任务。7、尽管上述方法利用生成数据集对数据扩增进行了探索,但普遍存在的问题是:不能有效利用生成模型的全部潜力。首先,部分方法需要从网络上爬取数据,但由于反爬程序的存在,从网络上爬取大规模的数据非常具有挑战性。同时,从网络上爬取的数据内容通常不可控制,需要进行额外的检查以过滤不符合预期的数据。8、其次,现有方法没有充分利用生成模型的可控性,目前常用的生成模型通常依赖于输入的提示语决定输出图像的内容,但目前方法通常仅仅采用手工设计模板的方式构造提示语,限制了生成模型输出图像的潜在能力。技术实现思路1、本发明的目的是提供一种面向数据多样性增强的图像数据集构建方法和装置,通过在数据生成阶段增强数据的多样性,同时辅以高效的标注模块、筛选模块与增强模块,进一步挖掘生成模型的潜力,使得生成的图像数据集能够大规模扩展的同时保持对模型性能的提高能力。2、为实现上述发明目的,本发明提供的技术方案如下:3、第一方面,本发明实施例提供的一种面向数据多样性增强的图像数据集构建方法,包括以下步骤:4、步骤1:构建包含类别多样性增强模块、提示语多样性增强模块和生成模型多样性增强模块的数据生成模块,从任意具备类别标注的开源数据集中提取原始类别,并指定辅助附加类别,根据数据生成模块生成原始图像数据集;5、步骤2:构建包含图像标注模块和图像处理模块的数据标注模块,原始图像数据集通过数据标注模块得到标注数据,所述标注数据作为要生成的目标图像数据集的图像前景,其中,图像处理模块包含标注取反操作与裁切操作;6、步骤3:构建基于图像互相似度的数据筛选模块,在数据筛选模块中计算标注数据与开源数据集的互相似度,并筛选高于预设阈值的标注数据作为筛选数据;7、步骤4:构建基于拷贝粘贴的数据增强模块,将筛选数据和开源数据集通过数据增强模块进行拷贝粘贴,得到增强数据,作为目标图像数据集,用于模型训练。8、本发明的技术构思为:通过以从任意具备类别标注的开源数据集中提取到的图像类别作为原始类别,为了提升类别多样性,再引入额外的辅助附加类别,将两种类别信息整合为目标类别进行提示语设计,设计提示语时采用两种策略综合:分别是手工设计和大模型设计,根据目标类别设计两种提示语并混合,得到目标提示语,将目标提示语输入多种生成模型中生成具有多样性的原始图像数据集。9、接着,根据基于背景点提示的数据标注模块,对原始图像数据集进行标注得到背景信息,再进行标注取反操作,得到包含前景物体的标注,通过裁切操作得到图像前景,作为标注数据。10、由于标注数据的类别信息之一原始类别是来自于开源数据集,且开源数据集作为多种类别数据的真实来源,因此,将标注数据和开源数据集一起输入到基于图像互相似度的数据筛选模块,计算两者之间的互相似度,确保得到的标注数据与开源数据集中同类别的数据足够相似,将互相似度低于预设阈值的标注数据筛除,以保证标注数据的高质量,得到筛选数据。11、最后进行图像拼接,将开源数据集中的图像数据和筛选数据中的标注图像输入基于拷贝粘贴的数据增强模块,以图像数据为基底图,以标注图像为拷贝图,将拷贝图粘贴到基底图的任意位置,且一张基底图上可以粘贴多张拷贝图,粘贴完成后得到增强图像数据。重复上面的操作,得到增强图像数据集,用于模型训练,提高模型性能。12、进一步的,步骤1中,所述的从任意具备类别标注的开源数据集中提取原始类别,并指定辅助附加类别,根据数据生成模块生成原始图像数据集,具体为:13、将原始类别和辅助附加类别输入类别多样性增强模块进行叠加,得到目标类别;通过设置多个类别生成具有多样性的图像数据,从而增强下游任务模型学习特征的能力;14、提示语多样性增强模块包含手工设计提示语策略和大模型设计提示语策略;其中,手工设计提示语策略将目标类别带入预设模板,得到手工提示语,大模型设计提示语策略将目标类别输入大模型,得到大模型提示语,混合得到目标提示语,目标提示语用于限定生成模型生成图像的前景与背景;通过设置两种提示语策略混合,极大程度提升了提示语的多样性,有效缓解了生成数据重复单调的问题,能够充分释放生成模型输出图像的潜在能力;15、通过目标提示语对生成模型的约束,能够使得生成模型生成的图像前景为单一物体,图像背景尽量简单,即图像背景不含复杂纹理;通过设置这样的约束,一方面能够充分利用生成模型的可控性,另一方面能够减轻后续标注模块的标注难度;16、生成模型多样性增强模块包含多个生成模型,生成模型根据目标提示语生成多个数据集,混合多个数据集作为原始图像数据集。17、进一步的,步骤2中,数据标注模块中的图像标注模块包含图像编码器、提示编码器和标注解码器,其中,18、图像编码器用于得到原始图像数据集的第一编码信息;19、将原始图像数据集中图像的角点作为背景提示点输入提示编码器,得到第二编码信息;20、将第一编码信息和第二编码信息输入标注解码器中,得到背景标注。21、进一步的,步骤2中,将背景标注输入图像处理模块,对背景标注进行标注取反操作,得到前景标注;根据前景标注对原始图像数据集进行裁切操作,得到仅包含图像前景的标注数据。22、进一步的,步骤3中,所述的构建基于图像互相似度的数据筛选模块,具体为:23、数据筛选模块包含互相似度筛选器,所述互相似度筛选器由两个图像编码器和一个互相似度筛选模块组成;24、其中,一个图像编码器用于得到标注数据中标注图像的第一编码嵌入向量;25、另一个图像编码器用于得到开源数据集中图像数据的第二编码嵌入向量;26、计算第一编码嵌入向量与第二编码嵌入向量之间的互相似度;27、互相似度筛选模块设置有预设阈值,筛选互相似度高于预设阈值的标注数据作为筛选数据。28、进一步的,步骤3中,对于标注数据中的一个标注图像而言,计算所述标注图像与开源数据集中同类别的所有图像数据之间的互相似度的平均值,作为所述标注图像的最终图像互相似度,保留最终图像互相似度大于预设阈值的标注图像作为筛选数据。29、进一步的,步骤4具体为:30、基于拷贝粘贴的数据增强模块包含数据增强器;31、将筛选数据和开源数据集输入数据增强器进行数据增强:从开源数据集中随机选择一张图像数据作为基底图,从筛选数据中随机选择标注图像作为拷贝图;将拷贝图随机粘贴到基底图的任意位置,得到一个增强数据;32、重复数据增强过程,得到的多个增强数据作为目标图像数据集。33、第二方面,为实现上述发明目的,本发明实施例还提供了一种面向数据多样性增强的图像数据集构建装置,包括多样性图像生成模块、图像前景获取模块、图像前景筛选模块、图像粘贴增强模块;34、所述多样性图像生成模块用于构建包含类别多样性增强模块、提示语多样性增强模块和生成模型多样性增强模块的数据生成模块,从任意具备类别标注的开源数据集中提取原始类别,并指定辅助附加类别,根据数据生成模块生成原始图像数据集;35、所述图像前景获取模块用于构建包含图像标注模块和图像处理模块的数据标注模块,原始图像数据集通过数据标注模块得到标注数据,所述标注数据作为要生成的目标图像数据集的图像前景,其中,图像处理模块包含标注取反操作与裁切操作;36、所述图像前景筛选模块用于构建基于图像互相似度的数据筛选模块,在数据筛选模块中计算标注数据与开源数据集的互相似度,并筛选高于预设阈值的标注数据作为筛选数据;37、所述图像粘贴增强模块用于构建基于拷贝粘贴的数据增强模块,将筛选数据和开源数据集通过数据增强模块进行拷贝粘贴,得到增强数据,作为目标图像数据集,用于模型训练。38、第三方面,为实现上述发明目的,本发明实施例还提供了一种面向数据多样性增强的图像数据集构建设备,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于当执行所述计算机程序时,实现第一方面本发明实施例提供的面向数据多样性增强的图像数据集构建方法。39、本发明的有益效果如下:40、1)本发明通过面向数据多样性增强的数据生成模块,通过设置类别多样性、提示语多样性以及生成模型多样性,进一步挖掘生成模型输出图像的潜在能力,使得生成的图像数据集具有较强的多样性,且不需要额外的网络爬取数据,极大程度减轻大规模数据集构建的难度,提升大规模数据集构建的效率。41、2)本发明通过基于背景点提示的数据标注模块、基于图像互相似度的数据筛选模块以及基于拷贝粘贴的数据增强模块,有效提升生成的图像数据集的数据质量,从而当利用高质量的图像数据集训练模型时,能够增强模型对生成图像数据集的学习效率,提升模型在下游任务上的性能表现。当前第1页12当前第1页12
技术特征:

1.一种面向数据多样性增强的图像数据集构建方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的面向数据多样性增强的图像数据集构建方法,其特征在于,步骤1中,所述的从任意具备类别标注的开源数据集中提取原始类别,并指定辅助附加类别,根据数据生成模块生成原始图像数据集,具体为:

3.根据权利要求1所述的面向数据多样性增强的图像数据集构建方法,其特征在于,步骤2中,数据标注模块中的图像标注模块包含图像编码器、提示编码器和标注解码器,其中,

4.根据权利要求3所述的面向数据多样性增强的图像数据集构建方法,其特征在于,步骤2中,将背景标注输入图像处理模块,对背景标注进行标注取反操作,得到前景标注;根据前景标注对原始图像数据集进行裁切操作,得到仅包含图像前景的标注数据。

5.根据权利要求1所述的面向数据多样性增强的图像数据集构建方法,其特征在于,步骤3中,所述的构建基于图像互相似度的数据筛选模块,具体为:

6.根据权利要求5所述的面向数据多样性增强的图像数据集构建方法,其特征在于,步骤3中,对于标注数据中的一个标注图像而言,计算所述标注图像与开源数据集中同类别的所有图像数据之间的互相似度的平均值,作为所述标注图像的最终图像互相似度,保留最终图像互相似度大于预设阈值的标注图像作为筛选数据。

7.根据权利要求1所述的面向数据多样性增强的图像数据集构建方法,其特征在于,步骤4具体为:

8.一种面向数据多样性增强的图像数据集构建装置,其特征在于,包括多样性图像生成模块、图像前景获取模块、图像前景筛选模块、图像粘贴增强模块;

9.一种面向数据多样性增强的图像数据集构建设备,包括存储器和处理器,所述存储器用于存储计算机程序,其特征在于,所述处理器用于当执行所述计算机程序时,实现权利要求1-7任一项所述的面向数据多样性增强的图像数据集构建方法。


技术总结
本发明公开了一种面向数据多样性增强的图像数据集构建方法和装置,属于数据集构建技术领域,包括:构建包含类别多样性、提示语多样性和生成模型多样性的数据生成模块,指定原始类别和辅助附加类别,生成图像数据;构建包含图像标注和图像处理的数据标注模块,图像数据通过数据标注模块得到标注数据;构建基于图像互相似度的数据筛选模块,在数据筛选模块中计算标注数据与真实数据的互相似度,筛选高于阈值的标注数据作为筛选数据;构建基于拷贝粘贴的数据增强模块,将筛选数据和真实数据进行拷贝粘贴,得到目标图像数据集。本发明通过在数据生成阶段增强多样性,得到兼具多样性、可大规模扩展性且保持对模型性能提高能力的生成图像数据。

技术研发人员:陈昊,范承祥,朱慕之,刘阳,沈春华
受保护的技术使用者:浙江大学
技术研发日:
技术公布日:2024/9/23

最新回复(0)