本发明涉及面部识别系统，具体涉及一种ai面部关键点自动识别系统及其方法。
背景技术：
1、随着现代医疗美容行业的不断发展，面部关键点识别已经成为了该行业不可或缺的步骤；
2、当前传统的识别方法例如二维图像识别和深度学习卷积网络对ct进行卷积存在以下问题：
3、1.对光照变化的敏感性；
4、2.姿态和表情变化的影响；
5、3.对图像质量的依赖；
6、4.识别出来点的精度不高；
7、5.难以处理极端角度；
8、6.二维图像还存在遮挡问题造成二维图像识别难度大。
9、基于此，本发明设计了一种ai面部关键点自动识别系统及其方法以解决上述问题。
技术实现思路
1、针对现有技术所存在的上述缺点，本发明提供了一种ai面部关键点自动识别系统及其方法。
2、为实现以上目的，本发明通过以下技术方案予以实现：
3、一种ai面部关键点自动识别系统，包括：
4、ct图像导入模块，所述ct图像导入模块用于ct图像的导入并将ct图像发送至图像预处理模块；
5、图像预处理模块，所述图像预处理模块用于对ct图像进行去噪、对比度增强、形态学处理和重采样的预处理；
6、所述图像预处理模块还用于对预处理后的ct图像根据骨头的ct值范围设置阈值并对数据进行归一化操作，并将骨头从其他组织中分离出来生成分割的ct图像；
7、关键点位划分模块，所述关键点位划分模块用于划出关键点位在ct图像中的目标区域；
8、点云生成模块，所述点云生成模块用于将分割的ct图像的连续的图像数据转化为离散的体素网格，并将体素网格进行提取点云并生成点云数据；
9、级联网络推理器，所述级联网络推理器用于对点云数据卷积提取目标区域特征点的初步特征v1，并通过两种尺度下的卷积神经网络对v1进行卷积得到两组特征点的进一步特征v2、v3，再将v2和v3进行多尺度卷积神经网络逐层特征提取并拼接成目标区域特征点的概率特征图v4。
10、更进一步的，所述级联网络推理器包括多维核点卷积模型、三维点特征卷积模型、动态点云变换网络和多尺度提取模型。
11、更进一步的，所述多维核点卷积模型用于对点云数据进行卷积并输出两个特征v1，多维核点卷积模型将两个v1分别发送至三维点特征卷积模型和动态点云变换网络，所述三维点特征卷积模型和动态点云变换网络分别卷积得到特征v2和特征v3，三维点特征卷积模型和动态点云变换网络将v2和v3发送至多尺度提取模型进行多尺度卷积神经网络逐层特征提取并拼接成目标区域特征点的概率特征图v4。
12、更进一步的，所述多尺度提取模型由三个尺度组成；
13、第一个尺度由一个逐点卷积1*1构成；
14、第二个尺度由两个逐点卷积1*1串联构成；
15、第三个尺度由一个逐点卷积1*1和一个7*7的卷积核串联与一个3*3加上一个5*5的卷积核并联构成。
16、为了更好地实现本发明的目的，本发明还提供了一种ai面部关键点自动识别方法，包括以下步骤：
17、所述图像预处理模块的图像处理步骤a为：
18、步骤a1，对图像进行去噪，去噪公式为：
19、；
20、：为像素的新值，：为邻居节点m处的像素值，：是像素的权重总和，：为像素邻域，是像素和像素之间的权重，其由：组成，表示空间邻近度，其中是像素和像素之间的欧几里得距离，是空间邻近度的尺度参数；
21、步骤a2，通过opencv-sobel滤波器将ct图像增加对比度；
22、步骤a3，通过opencv-morphologyex（）函数对ct图像进行形态学处理；
23、步骤a4，对ct图像进行重采样，获取ct数据的左右像素空间数据的坐标和层厚并统计所有的像素块大小，并计算出平均值当作当前的空间数据；平均空间数据数学公式为：
24、；
25、表示像素点总数量，是从第一个像素点开始遍历求和，表示（x,y,z）,x,y是二维图像上两个像素点之间的物理距离，z是ct图像层与层之间的距离，单位都是毫米；
26、步骤a5，利用骨头的窗宽窗位将ct图像取值范围分割，再利用正态分布归一化函数对ct图像进行处理，公式为：；
27、表示在均值和方差的条件下，随机变量的概率密度，是正态分布的均值，是正态分布的方差，是标准差，是圆周率，取值3.14，是自然对数的底数，取值2.71828。
28、更进一步的，所述点云生成模块的点云提取步骤b：
29、步骤b1，输入分割的ct图像首先把数据空间数据提取出来包括像素的坐标和层厚，将分割的ct图像数据堆叠起来，形成一个由很多体素组成的三维的体积；
30、对三维体积中的每个体素根据其位置和ct值计算其属性；
31、步骤b2，获取所有体素六面体的8个顶点的值、坐标位置，并获取每个体素周围的体素值；
32、步骤b3，判断每一个体素的顶点是否在三维体积内，通过插值计算等值面上的点，这些点将形成等值面的轮廓，在等值面附近形成三角形；
33、步骤b4，将每个体素生成的三角形组合在一起，得到最终的三维表面模型形成点云数据。
34、更进一步的，所述多维核点卷积模型多维度核点卷积的步骤c为：
35、步骤c1，对于点云数据中的每个点，将其坐标作为球心；
36、的邻居点定义为：，球体的定义为，；
37、表示球体的范围，表示三维欧几里得空间，即由所有三维向量组成的集合，表示半径；
38、步骤c2，在球体内，找个点作为核心点，且核心点并不是点云数据中的点，定义，对于每个核心点分别有一个权重矩阵与之对应，的定义为：；
39、其中，属于实数域中的一个矩阵，矩阵的大小为行和列；
40、是输入向量的维度，表示矩阵接收维的输入，是输出向量的维度，表示矩阵输出的向量是维的；
41、是索引变量，其表示核心点的编号，是核心点的总数，表示从0到的范围；
42、步骤c3，在定义的球体范围对于落在该范围内的点，可以得到其相对于球心的距离，对于任意的，定义核函数为：，；
43、其中是一个核函数，输出一个标量，表示点和核心点的相似性或权重；这是偏移量与核心点之间的欧几里得距离，表示两者在三维空间中的距离；
44、步骤c4，基于以上定义点处的核心点kpconv（kernel point convolution）卷积定义为：对每个邻居点的特征，分别用矩阵后，累加起来：；
45、其中表示输入特征或输入信号的集合对于每个邻居点，它有一个对应的特征向量；
46、表示核心点卷积的权重函数；
47、依赖于邻居点和核心点间的相对位置；
48、步骤c5，通过步骤c4的加权求和之后需要把将所有输出点的特征进行聚合，形成最终的输出特征v1。
49、更进一步的，所述三维点特征卷积模型的三维点特征卷积的步骤d：
50、步骤d1，输入是一个由点组成的v1，对于每个输入点卷积计算一个权重向量；
51、步骤d2，权重向量与邻近点的特征向量进行点积运算，得到一个加权特征向量；
52、所有邻近点的加权特征向量加权求和得到输入点的输出特征向量；
53、输出特征向量经过激活函数relu处理得到最终的卷积特征v2；
54、卷积得公式为，加权求和公式为，为权重向量，表示一个序列或信号，通常是输入信号或数据序列，这里是特征图，表示卷积核或滤波器，它是用于对输入信号进行加权和操作的函数。
55、更进一步的，所述动态点云变换网络的卷积步骤e为：
56、步骤e1，对v1中每个输入点，计算其邻近点的特征和位置信息，邻近点其中，距离是点和点之间的欧几里得距离，半径是邻近点的最大距离；
57、步骤e2，对于v1中每个输入，定义其局部特征，可以通过以下公式计算，其中是点的特征，是邻近点的特征，是多层感知器其用于提取局部特征，对于每个输入点，计算其动态邻接图的邻接矩阵；
58、；
59、所述softmax为归一化函数其用于计算邻近点的相似度；
60、步骤e3，对于每个输入点，计算其聚合特征：
61、;
62、其中，是邻接矩阵中和之间的元素，其表示点对点的贡献；
63、步骤e4，重复以上计算，最后输出特征v3。
64、更进一步的，所述多尺度提取模型的卷积步骤f为：
65、步骤f1，将特征v1和v2同时输入到三种不尺度中进行特征提取和梯度计算；
66、步骤f2，将不同尺度计算出来的特征进行融合并输出特征v4。
67、本发明具有以下技术效果：
68、1、该网络融入了多维度核点卷积，可在局部区域内使用固定核点（kernelpoints）定义卷积操作，可实现网络在点云上以可变密度进行卷积。从而有效地学习局部和全局特征。
69、2、卷积使用3d点特征卷积来提取特征，它通过估计一个权重场来对点云进行卷积，这些权重基于点的密度和位置。这种方法在保持计算效率的同时，能够提高点云特征的准确性。
70、3、在级联网络中加入基于动态图卷积神经网络构建动态邻接图来捕捉点云的局部结构。网络通过在邻接图上应用图卷积来学习点云的特征，这种结构感知的卷积操作有助于提取强特征，并在网络最后融入多尺度梯度网络来融合特征；该网络在不同的尺度上计算梯度，并将这些梯度作为附加特征输入到特征图中。
1.一种ai面部关键点自动识别系统，其特征在于：包括：
2.根据权利要求1所述的ai面部关键点自动识别系统，其特征在于，所述级联网络推理器（4）包括多维核点卷积模型（41）、三维点特征卷积模型（42）、动态点云变换网络（43）和多尺度提取模型（44）。
3.根据权利要求2所述的ai面部关键点自动识别系统，其特征在于，所述多维核点卷积模型（41）用于对点云数据进行卷积并输出两个特征v1，多维核点卷积模型（41）将两个v1分别发送至三维点特征卷积模型（42）和动态点云变换网络（43），所述三维点特征卷积模型（42）和动态点云变换网络（43）分别卷积得到特征v2和特征v3，三维点特征卷积模型（42）和动态点云变换网络（43）将v2和v3发送至多尺度提取模型（44）进行多尺度卷积神经网络逐层特征提取并拼接成目标区域特征点的概率特征图v4。
4.根据权利要求3所述的ai面部关键点自动识别系统，其特征在于，所述多尺度提取模型（44）由三个尺度组成；
5.一种ai面部关键点自动识别方法，利用根据权利要求4所述的ai面部关键点自动识别系统，其特征在于，所述图像预处理模块（2）的图像处理步骤a为：
6.根据权利要求5所述的ai面部关键点自动识别方法，其特征在于，所述点云生成模块（3）的点云提取步骤b：
7.根据权利要求6所述的ai面部关键点自动识别方法，其特征在于，所述多维核点卷积模型（41）多维度核点卷积的步骤c为：
8.根据权利要求7所述的ai面部关键点自动识别方法，其特征在于，所述三维点特征卷积模型（42）的三维点特征卷积的步骤d：
9.根据权利要求8所述的ai面部关键点自动识别方法，其特征在于，所述动态点云变换网络（43）的卷积步骤e为：
10.根据权利要求9所述的ai面部关键点自动识别方法，其特征在于，所述多尺度提取模型（44）的卷积步骤f为：
