基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法
基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法
【技术领域】
[0001] 本发明涉及一种颜面赝复体优化模型的构建方法，属于机械工程和医学工程技术 领域。
【背景技术】
[0002] 传统逆向工程建模技术主要任务是完整几何特征的再现和再设计，而非完备几何 特征的测量数据建模技术侧重于通过分析已知数据的信息特点，来推知缺损区域数据的信 息，最大限度地恢复缺损区原貌，在医学工程、产品设计与制造、虚拟现实、人体测量、文物 保存等领域有很大的应用发展潜力，已成为近年来的一个研宄热点。特别是在颜面整形和 缺损修复医学领域，据统计，我国每年因肿瘤、外伤、先天畸形等原因造成颁面部缺损发病 率为0.24%;而战争中，颁面部战创伤高达全部战伤的23%。利用非完备几何特征的测 量数据建模技术，可以准确地构建赝复体的三维设计模型。二十世纪九十年代以来，随着多 种仿真赝复材料的研制成功，磁附着固位技术，种植体技术和力学分析系统的建立以及计 算机颜面赝复体辅助设计与制作系统的问世，颜面缺损的赝复已不再是简单的缺损修复， 形态、色彩、质感、功能仿真修复以及功能重建已成为颜面赝复的主要发展趋势，颁面赝复 技术已被发达国家列为口腔修复学标志性技术。微笑作为人类所特有的一种复杂的面部表 情，是容貌美的一个重要组成部分。自然、和谐的微笑被认为是容貌美的集中动态体现，带 有微笑表情的颜面形态赝复己成为颜面缺损治疗的主要目标之一。
[0003] 颜面赝复体可分成对称特征和非对称特征两种。对称特征颜面赝复体：颜面的 中心对称面可以用来将健康颜面的数据镜像到缺损区。2009年加拿大布雷西亚大学的 Sansoni等在"3Dimagingacquisition,modeling,andprototypingforfacialdefects reconstruction"（ProceedingsofSPIEThreeDimensionalImagingMetrology 2009，SanJoseCA，2009:l-8) -文中采用鼻尖、额头中及鼻梁标记点组成中心对称面 进行人眼赝复，但标记点的可靠性将影响最终计算的结果。2010年意大利博洛尼亚大 学的Ciocca等在''Immediatefacialrehabilitationincancerpatientsusing CADCAMandrapidprototypingtechnology:apilotstudy"（SupportiveCarein Cancer, 2010, 18(6) :723-728) -文中使用通用逆向工程软件Rapidform(Korea,INUSCo.) 来进行镜像操作，但这些商用软件界面设计复杂，为颜面缺损修复的医生所不容易掌握。 对于非对称特征颜面赝复体的修复，全鼻缺损是较常见的临床病例。2009年意大利博洛尼 亚大学的Ciocca等在"CAD/CAMbilateralearprosthesesconstructionforTreacher Collinssyndromepatientsusinglaserscanningandrapidprototyping"(Computer MethodsinBiomechanicsandBiomedicalEngineering，2009， （1):1-8.)-文中使 用鼻手术前预先扫描的鼻数据来进行鼻赝复体的重建，但患者一般不保存手术前的三维 数据。2013 年博洛尼亚大学的M.Fantini等在"DesignandRapidManufacturingof anatomicalprosthesisforfacialrehabilitation"（InternationalJournalon InteractiveDesignandManufacturing(IJIDeM), 2013, 7 (1) : 51-62.) 一文中使用鼻数 据库可以根据患者颜面形貌选择合适的参考鼻。国内学者也进行了相关的研宄。2010年 第四军医大学董岩博士在"汉族人外鼻三维形态数据库的建立与应用"（博士学位论文，第 四军医大学，2010.) -文中筛选现有CT数据分别建立了汉族人外鼻三维形态数据库以满 足计算机辅助设计鼻赝复体的需要。2010年中国协和医科大学张晋光博士等在"三维形态 分析技术在半侧颜面短小患者头面部软组织三维测量及外耳再造的研宄"（博士学位论文， 中国协和医科大学，2010.) -文中运用三维形态分析技术进行了半侧颜面短小患者头面部 软组织三维测量及外耳再造的研宄。2012年上海交通大学邱憬博士等在"颁面缺损结构 光三维测量与螺旋CT扫描图像的配准"（JournalofClinicalRehabilitativeTissue EngineeringResearch, 2010, 14(39).) -文中将螺旋CT扫描重建与三维打印快速成型技 术相结合应用于颜面缺损赝复。扬州大学孙进博士团队对颜面部缺损的数据采集和处理技 术进行了深入的研宄，取得了一系列成果。其中2011年孙进博士的"基于三维视觉测量的 对称特征颜面赝复体制备方法"（专利授权号：CN101292914B)和"基于三维视觉测量的非 对称特征颜面赝复体制备方法"（专利授权号：CN101292915B)分别获得国家发明专利。以 上的研宄考虑人体颜面的柔性以及表情变化还很少报道。2006年潘景光博士在"颁面缺损 结构光三维测量与螺旋CT扫描图像的配准"（博士学位论文，第四军医大学，2006.) -文中 对单侧眶缺损患者进行结构光扫描，在Geomagic软件中对单侧眶缺损患者的数字化模型 进行镜像、变形构建眼眶部赝复体。其中潘景光博士采用相位测量轮廓术对正常人面部微 笑表情状态进行动态过程的三维测量，为重建微笑表情的面部三维数字化模型进行了初步 的研宄。由此可见，目前国内外的研宄更多地专注于赝复体基本形状的修复，而距离融合表 情修饰的颜面形态赝复也还有相当长的距离。
[0004] 由于人体颜面组织通常表现为准不可压缩性、非线性-塑性-粘弹性等生物力学 特性，特别是受表情的影响，在运动过程中会产生变形。人是一个活动的组织，在采集三维 扫描和捕捉过程中不可能始终保持表情不变，而根据单一瞬间的颜面数据处理得到的赝复 体模型往往不够生动，显得呆板。
【发明内容】
[0005] 为了克服现有技术的不足和缺陷，本发明采用先进的数字技术，提供一种基于微 笑表情几何特征修饰的颜面赝复体优化模型的构建方法，该方法能够提高赝复体的仿真效 果。
[0006] 本发明的人目的是通过以下技术方案实现的，基于微笑表情几何特征修饰的颜面 赝复体优化模型的构建方法，包括以下步骤：
[0007] 1)基于数据融合的颜面赝复体基础模型的构建；
[0008] 2)基于微笑表情几何特征修饰的缺损区3D数据的重建；
[0009] 3)基于非刚性对齐的颜面赝复体优化模型的构建。
[0010] 优选的，所述步骤（1)中的基于面数据与体数据融合是指颜面表层数据与凹坑 (或有遮挡）的区域体数据的基于薄板样条的非刚性对齐，其中前者由面结构光扫描仪所 米集，后者为CT扫描仪所米集；
[0011] 其中所述面结构光扫描仪采集的颜面表层数据的方法是指对于不同视角采集的 深度图像，通过基于栅格结构探测环进而实现基于环的多视图深度图像对齐、基于空间等 间隔划分的方法来消除重叠区域、采用体素融合的方法消除孔洞构建颜面表层数据；
[0012] 所述CT扫描仪采集的凹坑或有遮挡的区域数据的方法是指利用基于截面阈值的 区域增长法实现CT体数据重构。
[0013] 优选的，所述步骤（2)中的缺损区3D数据的重建方法为：
[0014] (1)所述面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合；
[0015] (2)构建带有微笑表情几何特征修饰的缺损区3D数据：选择带有微笑表情的 患者 过去的照片，在整体图像集合中通过SIFT流（Scale-invariantfeaturetransform)计算 图像之间相似性来寻找到与该照片相匹配的图像，然后选择匹配最佳的若干图像与照片组 成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据的重建。
[0016] 优选的，所述步骤（3)中的颜面赝复体基础模型P'与缺损区3D数据P之间进行 基于约束的非刚性对齐算法是：
[0017] 选择的是薄板样条插值算法，定义相应的误差函数，包括
[0021] 米用L-BFGS-B算法进彳丁求解。
[0022] 式⑴中p^P'上的顶点，是对应的变换矢量。dist函数是Pi(在P'中）到 最近点1(在P中）的距离；式（2)中edges是P'上的边；1和'.是该边的顶点；式（3) 中a= 〇.1;0 = 2。
[0023] 与现有技术相比，本发明有益效果是：由于采用新型算法进行基于微笑表情几何 特征修饰的颜面赝复体优化模型的构建，提高赝复体的仿真效果，实现了颜面形态赝复。
【附图说明】
[0024] 图1基于微笑表情几何特征修饰的颜面赝复体优化模型构建方法流程图。
【具体实施方式】
[0025] 下面结合附图和基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法 对本发明的具体实施作进一步描述。
[0026] 如图1所示，本发明基于微笑表情几何特征修饰的颜面赝复体优化模型构建方 法，包括下述步骤：
[0027] 1)基于数据融合的颜面赝复体基础模型的构建；
[0028] 颜面体数据是由颜面表层数据以及内部软组织数据所组成。针对患者颜面缺损区 域进行三维面结构光扫描，采集到的颜面表层数据精度较高，而凹坑或有遮挡的区域的采 集技术难度大；相比较面结构光扫描而言，CT扫描仪能够采集体数据，但颜面表层数据精 度不高。因此利用面结构光扫描颜面表层数据，CT扫描仪采集凹坑或有遮挡的区域数据， 然后进行两者的融合可以实现颜面赝复体基础模型的构建。在利用面结构光扫描颜面表层 数据阶段，对于不同视角采集的深度图像，通过基于栅格结构探测环进而实现基于环的多 视图深度图像对齐、基于空间等间隔划分的方法来消除重叠区域、采用体素融合的方法消 除孔洞构建完整三维扫描颜面数据；在CT扫描仪采集凹坑或有遮挡的区域数据阶段，利用 基于截面阈值的区域增长法实现CT体数据重构；最后通过对两组数据进行基于薄板样条 的非刚性配准，从而实现颜面赝复体基础模型的构建。
[0029] 2)基于微笑表情几何特征修饰的缺损区3D数据的重建；
[0030] 人体颜面是一个柔性体和人脸表情的结合体。因此要构建基于微笑表情几何特征 修饰的颜面赝复体优化模型，首先要考虑微笑表情几何特征（如眉毛的曲率、眼球的扁平 程度、嘴巴的张开程等不同表情间变化比较大的信息）的提取的方法。颜面缺损的患者往 往没有可以参照的自身三维形貌，但是有其过去的照片。虽然由于维度缺失，通过二维照片 来恢复三维数据本身就是一个从低维到高维的病态的过程，但是如果增加额外的先验知识 就可以消除病态。缺损区3D数据的重建方法如下：
[0031] (1)面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合；
[0032] (2)构建带有微笑表情几何特征修饰的缺损区3D数据。选择带有微笑表情的患者 过去的照片。由于SIFT流是度量两幅图像之间SIFT特征分布一致性的表示，通过SIFT流 计算图像之间相似性，在2D图像集合中寻找到与该照片相匹配的图像，然后选择匹配最佳 的若干图像与照片组成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据 的重建。
[0033] 3)基于非刚性对齐的颜面赝复体优化模型的构建
[0034] 将颜面赝复体基础模型与缺损区3D数据进行基于约束的非刚性对齐，来获取颜 面赝复体优化模型。非刚性对齐算法选择的是薄板样条插值算法（TPS)。定义相应的误差 函数，
[0035] 包括
[0039] 米用L-BFGS-B算法进彳丁求解。
[0040] 式⑷中Pi是P'上的顶点，Ti是对应的变换矢量。dist函数是pi(在P'中）到 最近点1(在P中）的距离；式（5)中edges是P'上的边；\和'.是该边的顶点；式（6) 中a= 〇.1;0 = 2。
【主权项】
1. 基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，其特征在于，所述 建模方法包括以下步骤： (1) 基于面数据与体数据融合的颜面赝复体基础模型的构建； (2) 基于微笑表情几何特征修饰的缺损区3D数据的重建； (3) 基于非刚性对齐的颜面赝复体优化模型的构建。2. 根据权利要求1所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建 方法，其特征是，所述步骤（1)中的基于面数据与体数据融合是指颜面表层数据与凹坑或 有遮挡的区域体数据的基于薄板样条的非刚性对齐，其中颜面表层数据由面结构光扫描仪 所采集，凹坑或有遮挡的区域体数据为CT扫描仪所采集； 其中所述面结构光扫描仪采集的颜面表层数据的方法是指对于不同视角采集的深度 图像，通过基于栅格结构探测环进而实现基于环的多视图深度图像对齐、基于空间等间隔 划分的方法来消除重叠区域、采用体素融合的方法消除孔洞构建颜面表层数据； 所述CT扫描仪采集的凹坑或有遮挡的区域数据的方法是指利用基于截面阈值的区域 增长法实现CT体数据重构。3. 根据权利要求2所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建 方法，其特征是，所述步骤（2)中的缺损区3D数据的重建方法为： (1) 所述面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合； (2) 构建带有微笑表情几何特征修饰的缺损区3D数据：选择带有微笑表情的患者过去 的照片，在整体图像集合中通过SIFT流计算图像之间相似性来寻找到与该照片相匹配的 图像，然后选择匹配最佳的若干图像与照片组成局部图像集合，进行带有微笑表情几何特 征修饰的缺损区3D数据的重建。4. 根据权利要求1所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建 方法，其特征是，所述步骤（3)中的颜面赝复体基础模型P'与缺损区3D数据P之间进行基 于约束的非刚性对齐算法是： 选择的是薄板样条插值算法，定义相应的误差函数，包括距离误差 （1) 平滑误差 （2) 优化公式定义如_卜：at_g min E(A,…弋,）= ?€//, +/仏、", (3) 米用L-BFGS-B算法进彳丁求解。 式（1)中Pi是P'上的顶点，Ti是对应的变换矢量；dist函数是pjlj最近点距离， 其中p^P'中，q^P中； 式⑵中edges是P'上的边％和V」是该边的顶点； 式（3)中 α = 〇· 1 ; β = 2。
【专利摘要】基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，属于机械工程和医学工程技术领域。本发明基于面数据与体数据融合实现颜面赝复体基础模型的构建，前者由面结构光扫描仪采集，后者为CT扫描仪所采集；面数据进行投影获取到2D图像集合；通过SIFT流计算图像之间相似性，在2D图像集合寻找到与患者过去的照片相匹配的图像组成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据的重建；在颜面赝复体基础模型与缺损区3D数据之间进行基于约束的非刚性对齐算法实现颜面赝复体优化模型的构建。本发明方法可获得基于微笑表情几何特征修饰的颜面赝复体优化模型，提高了赝复体仿真效果和颜面形态赝复质量。
【IPC分类】G06T17/00
【公开号】CN104899923
【申请号】CN201510331315
【发明人】孙进, 朱兴龙, 竺志大, 张琦, 曹肖伟
【申请人】扬州大学
【公开日】2015年9月9日
【申请日】2015年6月15日
【技术领域】
[0001] 本发明涉及一种颜面赝复体优化模型的构建方法，属于机械工程和医学工程技术 领域。
【背景技术】
[0002] 传统逆向工程建模技术主要任务是完整几何特征的再现和再设计，而非完备几何 特征的测量数据建模技术侧重于通过分析已知数据的信息特点，来推知缺损区域数据的信 息，最大限度地恢复缺损区原貌，在医学工程、产品设计与制造、虚拟现实、人体测量、文物 保存等领域有很大的应用发展潜力，已成为近年来的一个研宄热点。特别是在颜面整形和 缺损修复医学领域，据统计，我国每年因肿瘤、外伤、先天畸形等原因造成颁面部缺损发病 率为0.24%;而战争中，颁面部战创伤高达全部战伤的23%。利用非完备几何特征的测 量数据建模技术，可以准确地构建赝复体的三维设计模型。二十世纪九十年代以来，随着多 种仿真赝复材料的研制成功，磁附着固位技术，种植体技术和力学分析系统的建立以及计 算机颜面赝复体辅助设计与制作系统的问世，颜面缺损的赝复已不再是简单的缺损修复， 形态、色彩、质感、功能仿真修复以及功能重建已成为颜面赝复的主要发展趋势，颁面赝复 技术已被发达国家列为口腔修复学标志性技术。微笑作为人类所特有的一种复杂的面部表 情，是容貌美的一个重要组成部分。自然、和谐的微笑被认为是容貌美的集中动态体现，带 有微笑表情的颜面形态赝复己成为颜面缺损治疗的主要目标之一。
[0003] 颜面赝复体可分成对称特征和非对称特征两种。对称特征颜面赝复体：颜面的 中心对称面可以用来将健康颜面的数据镜像到缺损区。2009年加拿大布雷西亚大学的 Sansoni等在"3Dimagingacquisition,modeling,andprototypingforfacialdefects reconstruction"（ProceedingsofSPIEThreeDimensionalImagingMetrology 2009，SanJoseCA，2009:l-8) -文中采用鼻尖、额头中及鼻梁标记点组成中心对称面 进行人眼赝复，但标记点的可靠性将影响最终计算的结果。2010年意大利博洛尼亚大 学的Ciocca等在''Immediatefacialrehabilitationincancerpatientsusing CADCAMandrapidprototypingtechnology:apilotstudy"（SupportiveCarein Cancer, 2010, 18(6) :723-728) -文中使用通用逆向工程软件Rapidform(Korea,INUSCo.) 来进行镜像操作，但这些商用软件界面设计复杂，为颜面缺损修复的医生所不容易掌握。 对于非对称特征颜面赝复体的修复，全鼻缺损是较常见的临床病例。2009年意大利博洛尼 亚大学的Ciocca等在"CAD/CAMbilateralearprosthesesconstructionforTreacher Collinssyndromepatientsusinglaserscanningandrapidprototyping"(Computer MethodsinBiomechanicsandBiomedicalEngineering，2009， （1):1-8.)-文中使 用鼻手术前预先扫描的鼻数据来进行鼻赝复体的重建，但患者一般不保存手术前的三维 数据。2013 年博洛尼亚大学的M.Fantini等在"DesignandRapidManufacturingof anatomicalprosthesisforfacialrehabilitation"（InternationalJournalon InteractiveDesignandManufacturing(IJIDeM), 2013, 7 (1) : 51-62.) 一文中使用鼻数 据库可以根据患者颜面形貌选择合适的参考鼻。国内学者也进行了相关的研宄。2010年 第四军医大学董岩博士在"汉族人外鼻三维形态数据库的建立与应用"（博士学位论文，第 四军医大学，2010.) -文中筛选现有CT数据分别建立了汉族人外鼻三维形态数据库以满 足计算机辅助设计鼻赝复体的需要。2010年中国协和医科大学张晋光博士等在"三维形态 分析技术在半侧颜面短小患者头面部软组织三维测量及外耳再造的研宄"（博士学位论文， 中国协和医科大学，2010.) -文中运用三维形态分析技术进行了半侧颜面短小患者头面部 软组织三维测量及外耳再造的研宄。2012年上海交通大学邱憬博士等在"颁面缺损结构 光三维测量与螺旋CT扫描图像的配准"（JournalofClinicalRehabilitativeTissue EngineeringResearch, 2010, 14(39).) -文中将螺旋CT扫描重建与三维打印快速成型技 术相结合应用于颜面缺损赝复。扬州大学孙进博士团队对颜面部缺损的数据采集和处理技 术进行了深入的研宄，取得了一系列成果。其中2011年孙进博士的"基于三维视觉测量的 对称特征颜面赝复体制备方法"（专利授权号：CN101292914B)和"基于三维视觉测量的非 对称特征颜面赝复体制备方法"（专利授权号：CN101292915B)分别获得国家发明专利。以 上的研宄考虑人体颜面的柔性以及表情变化还很少报道。2006年潘景光博士在"颁面缺损 结构光三维测量与螺旋CT扫描图像的配准"（博士学位论文，第四军医大学，2006.) -文中 对单侧眶缺损患者进行结构光扫描，在Geomagic软件中对单侧眶缺损患者的数字化模型 进行镜像、变形构建眼眶部赝复体。其中潘景光博士采用相位测量轮廓术对正常人面部微 笑表情状态进行动态过程的三维测量，为重建微笑表情的面部三维数字化模型进行了初步 的研宄。由此可见，目前国内外的研宄更多地专注于赝复体基本形状的修复，而距离融合表 情修饰的颜面形态赝复也还有相当长的距离。
[0004] 由于人体颜面组织通常表现为准不可压缩性、非线性-塑性-粘弹性等生物力学 特性，特别是受表情的影响，在运动过程中会产生变形。人是一个活动的组织，在采集三维 扫描和捕捉过程中不可能始终保持表情不变，而根据单一瞬间的颜面数据处理得到的赝复 体模型往往不够生动，显得呆板。
【发明内容】
[0005] 为了克服现有技术的不足和缺陷，本发明采用先进的数字技术，提供一种基于微 笑表情几何特征修饰的颜面赝复体优化模型的构建方法，该方法能够提高赝复体的仿真效 果。
[0006] 本发明的人目的是通过以下技术方案实现的，基于微笑表情几何特征修饰的颜面 赝复体优化模型的构建方法，包括以下步骤：
[0007] 1)基于数据融合的颜面赝复体基础模型的构建；
[0008] 2)基于微笑表情几何特征修饰的缺损区3D数据的重建；
[0009] 3)基于非刚性对齐的颜面赝复体优化模型的构建。
[0010] 优选的，所述步骤（1)中的基于面数据与体数据融合是指颜面表层数据与凹坑 (或有遮挡）的区域体数据的基于薄板样条的非刚性对齐，其中前者由面结构光扫描仪所 米集，后者为CT扫描仪所米集；
[0011] 其中所述面结构光扫描仪采集的颜面表层数据的方法是指对于不同视角采集的 深度图像，通过基于栅格结构探测环进而实现基于环的多视图深度图像对齐、基于空间等 间隔划分的方法来消除重叠区域、采用体素融合的方法消除孔洞构建颜面表层数据；
[0012] 所述CT扫描仪采集的凹坑或有遮挡的区域数据的方法是指利用基于截面阈值的 区域增长法实现CT体数据重构。
[0013] 优选的，所述步骤（2)中的缺损区3D数据的重建方法为：
[0014] (1)所述面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合；
[0015] (2)构建带有微笑表情几何特征修饰的缺损区3D数据：选择带有微笑表情的 患者 过去的照片，在整体图像集合中通过SIFT流（Scale-invariantfeaturetransform)计算 图像之间相似性来寻找到与该照片相匹配的图像，然后选择匹配最佳的若干图像与照片组 成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据的重建。
[0016] 优选的，所述步骤（3)中的颜面赝复体基础模型P'与缺损区3D数据P之间进行 基于约束的非刚性对齐算法是：
[0017] 选择的是薄板样条插值算法，定义相应的误差函数，包括
[0021] 米用L-BFGS-B算法进彳丁求解。
[0022] 式⑴中p^P'上的顶点，是对应的变换矢量。dist函数是Pi(在P'中）到 最近点1(在P中）的距离；式（2)中edges是P'上的边；1和'.是该边的顶点；式（3) 中a= 〇.1;0 = 2。
[0023] 与现有技术相比，本发明有益效果是：由于采用新型算法进行基于微笑表情几何 特征修饰的颜面赝复体优化模型的构建，提高赝复体的仿真效果，实现了颜面形态赝复。
【附图说明】
[0024] 图1基于微笑表情几何特征修饰的颜面赝复体优化模型构建方法流程图。
【具体实施方式】
[0025] 下面结合附图和基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法 对本发明的具体实施作进一步描述。
[0026] 如图1所示，本发明基于微笑表情几何特征修饰的颜面赝复体优化模型构建方 法，包括下述步骤：
[0027] 1)基于数据融合的颜面赝复体基础模型的构建；
[0028] 颜面体数据是由颜面表层数据以及内部软组织数据所组成。针对患者颜面缺损区 域进行三维面结构光扫描，采集到的颜面表层数据精度较高，而凹坑或有遮挡的区域的采 集技术难度大；相比较面结构光扫描而言，CT扫描仪能够采集体数据，但颜面表层数据精 度不高。因此利用面结构光扫描颜面表层数据，CT扫描仪采集凹坑或有遮挡的区域数据， 然后进行两者的融合可以实现颜面赝复体基础模型的构建。在利用面结构光扫描颜面表层 数据阶段，对于不同视角采集的深度图像，通过基于栅格结构探测环进而实现基于环的多 视图深度图像对齐、基于空间等间隔划分的方法来消除重叠区域、采用体素融合的方法消 除孔洞构建完整三维扫描颜面数据；在CT扫描仪采集凹坑或有遮挡的区域数据阶段，利用 基于截面阈值的区域增长法实现CT体数据重构；最后通过对两组数据进行基于薄板样条 的非刚性配准，从而实现颜面赝复体基础模型的构建。
[0029] 2)基于微笑表情几何特征修饰的缺损区3D数据的重建；
[0030] 人体颜面是一个柔性体和人脸表情的结合体。因此要构建基于微笑表情几何特征 修饰的颜面赝复体优化模型，首先要考虑微笑表情几何特征（如眉毛的曲率、眼球的扁平 程度、嘴巴的张开程等不同表情间变化比较大的信息）的提取的方法。颜面缺损的患者往 往没有可以参照的自身三维形貌，但是有其过去的照片。虽然由于维度缺失，通过二维照片 来恢复三维数据本身就是一个从低维到高维的病态的过程，但是如果增加额外的先验知识 就可以消除病态。缺损区3D数据的重建方法如下：
[0031] (1)面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合；
[0032] (2)构建带有微笑表情几何特征修饰的缺损区3D数据。选择带有微笑表情的患者 过去的照片。由于SIFT流是度量两幅图像之间SIFT特征分布一致性的表示，通过SIFT流 计算图像之间相似性，在2D图像集合中寻找到与该照片相匹配的图像，然后选择匹配最佳 的若干图像与照片组成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据 的重建。
[0033] 3)基于非刚性对齐的颜面赝复体优化模型的构建
[0034] 将颜面赝复体基础模型与缺损区3D数据进行基于约束的非刚性对齐，来获取颜 面赝复体优化模型。非刚性对齐算法选择的是薄板样条插值算法（TPS)。定义相应的误差 函数，
[0035] 包括
[0039] 米用L-BFGS-B算法进彳丁求解。
[0040] 式⑷中Pi是P'上的顶点，Ti是对应的变换矢量。dist函数是pi(在P'中）到 最近点1(在P中）的距离；式（5)中edges是P'上的边；\和'.是该边的顶点；式（6) 中a= 〇.1;0 = 2。
【主权项】
1. 基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，其特征在于，所述 建模方法包括以下步骤： (1) 基于面数据与体数据融合的颜面赝复体基础模型的构建； (2) 基于微笑表情几何特征修饰的缺损区3D数据的重建； (3) 基于非刚性对齐的颜面赝复体优化模型的构建。2. 根据权利要求1所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建 方法，其特征是，所述步骤（1)中的基于面数据与体数据融合是指颜面表层数据与凹坑或 有遮挡的区域体数据的基于薄板样条的非刚性对齐，其中颜面表层数据由面结构光扫描仪 所采集，凹坑或有遮挡的区域体数据为CT扫描仪所采集； 其中所述面结构光扫描仪采集的颜面表层数据的方法是指对于不同视角采集的深度 图像，通过基于栅格结构探测环进而实现基于环的多视图深度图像对齐、基于空间等间隔 划分的方法来消除重叠区域、采用体素融合的方法消除孔洞构建颜面表层数据； 所述CT扫描仪采集的凹坑或有遮挡的区域数据的方法是指利用基于截面阈值的区域 增长法实现CT体数据重构。3. 根据权利要求2所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建 方法，其特征是，所述步骤（2)中的缺损区3D数据的重建方法为： (1) 所述面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合； (2) 构建带有微笑表情几何特征修饰的缺损区3D数据：选择带有微笑表情的患者过去 的照片，在整体图像集合中通过SIFT流计算图像之间相似性来寻找到与该照片相匹配的 图像，然后选择匹配最佳的若干图像与照片组成局部图像集合，进行带有微笑表情几何特 征修饰的缺损区3D数据的重建。4. 根据权利要求1所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建 方法，其特征是，所述步骤（3)中的颜面赝复体基础模型P'与缺损区3D数据P之间进行基 于约束的非刚性对齐算法是： 选择的是薄板样条插值算法，定义相应的误差函数，包括距离误差 （1) 平滑误差 （2) 优化公式定义如_卜：at_g min E(A,…弋,）= ?€//, +/仏、", (3) 米用L-BFGS-B算法进彳丁求解。 式（1)中Pi是P'上的顶点，Ti是对应的变换矢量；dist函数是pjlj最近点距离， 其中p^P'中，q^P中； 式⑵中edges是P'上的边％和V」是该边的顶点； 式（3)中 α = 〇· 1 ; β = 2。
【专利摘要】基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，属于机械工程和医学工程技术领域。本发明基于面数据与体数据融合实现颜面赝复体基础模型的构建，前者由面结构光扫描仪采集，后者为CT扫描仪所采集；面数据进行投影获取到2D图像集合；通过SIFT流计算图像之间相似性，在2D图像集合寻找到与患者过去的照片相匹配的图像组成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据的重建；在颜面赝复体基础模型与缺损区3D数据之间进行基于约束的非刚性对齐算法实现颜面赝复体优化模型的构建。本发明方法可获得基于微笑表情几何特征修饰的颜面赝复体优化模型，提高了赝复体仿真效果和颜面形态赝复质量。
【IPC分类】G06T17/00
【公开号】CN104899923
【申请号】CN201510331315
【发明人】孙进, 朱兴龙, 竺志大, 张琦, 曹肖伟
【申请人】扬州大学
【公开日】2015年9月9日
【申请日】2015年6月15日
最新回复(0)