一种基于风格一致性网格展平的三维纹样检索方法
本发明涉及计算机图形学，具体为一种基于风格一致性网格展平的三维纹样检索方法。
背景技术：
1、全国的文物资源储备量极为丰富且各地区分布差异显著，涵盖了陶器、瓷器、古建筑、青铜器、玉器、绘画等多种类型，总量呈上升趋势，进入数字智能时代后，对文物数字化的标准和技术要求日益提升，研究范围从宏观的文物整体形态及图像资料拓展至微观层面的纹饰细节、色彩层次与工艺技术探究，这为深化文物价值解读和创新利用方式提供了坚实的数据支撑，使用文物数字化与深度神经网络技术结合管理三维文物，以期推动文物信息系统的现代化进程。
2、现有技术的不足：
3、目前在研究三维传统纹样图案时，需要将有意义的纹样图案从三维模型中分割提取出来，进而推动文化大数据体系里三库的建设，不同于图像检索，三维纹样检索需要从三维到图像到纹样子图才能进行检索，而三维物体的表面大多为曲面，如何对三维纹样检索并未得到解决。
技术实现思路
1、本发明的目的在于提供一种基于风格一致性网格展平的三维纹样检索方法，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：本方法包括以下步骤：
3、s1、通过二维文物图像获取纹样数据集；
4、s2、通过三维重建技术获得三维模型，然后对三维模型做预处理操作；
5、s3、通过风格一致性展平技术对三维贴图进行预处理，获得三维贴图完整展平的二维图像；
6、s4、通过transformer和视觉标记方法提取预处理后的三维展平图像的特征；
7、s5、通过提取的特征计算三维贴图之间的特征距离，以特征距离作为三维贴图之间的相似度，排序后选取topn的三维模型作为结果展示。
8、优选的，所述步骤s1中所述二维文物图像可以为任意带有中华文化纹样的图像。
9、优选的，所述步骤s3包括以下步骤：
10、a1、使用边界优先展平算法将三维网格模型网格展平，提取展平后的三维模型；
11、a2、通过blender工具导入原本三维模型和所述步骤a1中获取到的三维模型，通过烘焙插件，将原本三维模型烘焙到所述步骤a1获取的三维模型中，通过uv映射得到展平的三维贴图；
12、a3、通过标注软件，例如利用labelme对展平贴图中的纹样进行标注，用于特征计算。
13、优选的，所述步骤s4包括以下步骤：
14、b1、使用空间注意力提取图像的局部信息，对于局部特征集fc，生成了l个注意映射a＝{a(1),a(2),…,a(l)}，它们由l个1×1卷积层实现；表示卷积层的参数为w＝[w1,w2,…,wl]∈rl×c，注意模块可以自适应地发现图像中特别的区域，在三维纹样检索中表示为纹样区域，注意图计算为
15、
16、其中即为第i个注意力图，w、h分别为局部图片的宽和高；
17、b2、视觉标记技术通过聚合局部特征以构建视觉标记，局部视觉标记计算为
18、
19、式中t(i)∈rc；
20、b3、视觉特征t作为输入，t映射到具有三个c×c维可学习矩阵的查询qs∈rl×c，键ks∈rl×c和值vs∈rl×c，注意力计算为
21、
22、其中归一化相似度si,j对不同视觉标记ti和tj之间的相关性进行建模；
23、b4、使用mha计算相似度s，在mha中，查询、键和值的不同投影矩阵用于不同的头部，这些矩阵将可视标记映射到不同的子空间，mha然后使用fc层的权重wm∈rl×d连接融合并降维不同头部的输出，在形式上，
24、
25、其中n为头数，为第i个头的输出。
26、优选的，所述步骤s5步骤中：
27、c1、计算库中所有纹样的特征，保存到npz文件中；
28、c2、输入查询三维模型及其贴图，根据所述步骤s3和所述步骤s4提取查询特征，并与库中所有纹样计算相似度，对计算结果进行排序，选出top10作为结果展示。
29、优选的，所述步骤b2相当于对图像内特定区域模式的抽象表达，在形式上，
30、
31、其中，n为高斯混合数，fi为维数为c的图像的局部特征，z为潜在聚类分配变量，cj和σj分别为第j次高斯分布的均值向量和方差；迭代地，每个点被模型的每个组成部分生成的概率，并更新平均向量:
32、
33、其中m为总特征数，在gmm中，p(z＝j|fi)表示局部特征fi∈rc被分配到第j个聚类的后验概率。
34、优选的，所述步骤c2中，相似度计算为余弦相似度方法，通过计算两个特征向量之间的余弦值来估算它们的相似程度，计算方法为
35、
36、两个向量的方向越相似，值越趋近于1，即纹样图案越相似。
37、优选的，所述步骤s4中，使用sgd训练模型，初始学习率为0.01，权重衰减系数为0.0001，动量为0.9。
38、优选的，所述步骤s4中采用线性衰减调度器，当达到所需步数时，将学习率逐渐衰减到0。
39、优选的，所述步骤s4中全局特征的维数d设置为1024。
40、与现有技术相比，本发明的有益效果是：
41、该一种基于风格一致性网格展平的三维纹样检索方法，本方法包括以下步骤：s1、通过二维文物图像获取纹样数据集，s2、通过三维重建技术获得三维模型，然后对三维模型做预处理操作，s3、通过风格一致性展平技术对三维贴图进行预处理，获得三维贴图完整展平的二维图像，s4、使用transformer和视觉标记方法提取预处理后的三维展平图像的特征，s5、通过提取的特征计算三维贴图之间的特征距离，以特征距离作为三维贴图之间的相似度，排序后选取topn的三维模型作为结果展示；本发明对于不同构型的文物三维纹样检索结果准确率均达到预期，具有很好的通用性，能够实现文物三维纹样的展平与检索，与三维模型的格式、光照、材质、分辨率等无关。
技术特征：
1.一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：本方法包括以下步骤：
2.根据权利要求1所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤s1中所述二维文物图像可以为任意带有中华文化纹样的图像。
3.根据权利要求1所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤s3包括以下步骤：
4.根据权利要求1所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤s4包括以下步骤：
5.根据权利要求1所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤s5步骤中：
6.根据权利要求4所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤b2相当于对图像内特定区域模式的抽象表达，在形式上，
7.根据权利要求5所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤c2中，相似度计算为余弦相似度方法，通过计算两个特征向量之间的余弦值来估算它们的相似程度，计算方法为
8.根据权利要求1所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤s4中，使用sgd训练模型，初始学习率为0.01，权重衰减系数为0.0001，动量为0.9。
9.根据权利要求1所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤s4中采用线性衰减调度器，当达到所需步数时，将学习率逐渐衰减到0。
10.根据权利要求1所述的一种基于风格一致性网格展平的三维纹样检索方法，其特征在于：所述步骤s4中全局特征的维数d设置为1024。
技术总结
本发明公开了一种基于风格一致性网格展平的三维纹样检索方法，本方法包括以下步骤：S1、通过二维文物图像获取纹样数据集，S2、通过三维重建技术获得三维模型，然后对三维模型做预处理操作，S3、通过风格一致性展平技术对三维贴图进行预处理，获得三维贴图完整展平的二维图像，S4、使用Transformer和视觉标记方法提取预处理后的三维展平图像的特征，S5、通过提取的特征计算三维贴图之间的特征距离，以特征距离作为三维贴图之间的相似度，排序后选取topN的三维模型作为结果展示；本发明对于不同构型的文物三维纹样检索结果准确率均达到预期，具有很好的通用性，能够实现文物三维纹样的展平与检索，与三维模型的格式、光照、材质、分辨率等无关。
技术研发人员：徐坤,赵海英
受保护的技术使用者：北京邮电大学
技术研发日：
技术公布日：2024/9/23