电子游戏中玩家快速置入方法
专利名称：电子游戏中玩家快速置入方法
技术领域：
本发明涉及三维图像处理技术领域，特别是电子游戏、模式识别和计算机图形学，游戏角色自动生成和个性化三维人脸快速建模技术的一种电子游戏中玩家快速置入方法。
背景技术：
当前游戏的一个重要发展趋势是具有真实性和沉浸感，如果把游戏角色变为游戏玩家的形象，则更能增加游戏玩家的沉浸感，增加游戏玩家的兴趣。这就涉及到人脸建模技术。人脸建模作为计算机图形学一个研究分支，在过去30多年里，经过科学工作者的努力，取得了很大进步。随着在人机界面、交互游戏、多媒体、虚拟现实等领域的应用需求的不断增加，人脸建模技术又成为当前的研究热点。个性化三维人脸建模主要包括三部分工作人脸三维数据获取、人脸标准模型的建立和游戏玩家人脸模型的形成，人脸三维数据的获取是形成游戏玩家人脸模型的基础。现在常用的有激光扫描仪、结构光、被动立体视觉等基于计算机视觉的方法，但这种方法成本比较高，很难普及，且获取的人脸三维数据信息只有形状而没有结构信息，数据的噪声比较大。为了得到可用于动画的游戏玩家的人脸模型，一般是从一个结构化的人脸网格模型开始，通过基于图像的方法得到游戏玩家人脸的信息，再去拟合、变形标准模型，贴上纹理，得到特定人的三维模型。人脸检测和关键点定位正是获得游戏玩家人脸特征点信息的一种必不可少的支撑技术。MPEG-4在中性脸上定义了84个特征点，脸部模型需要这些特征点来定义合适的形状。特征点被分为几组，例如脸颊，眼睛和嘴。所谓人脸检测和关键点定位就是在多媒体数据(如图像、视频等数字信号)中检测出人脸上这些特征点的位置。
发明内容
本发明的目的是提供一种利用普通摄像头，运用人脸检测和关键点定位技术获得正面人脸特征点信息(x、y方向)，估计出特征点深度信息(z方向)，然后对游戏中角色人物的头部模型变形，进行纹理映射，快速把电子游戏中的角色替换成游戏玩家的方法。特别是电子游戏、模式识别和计算机图形学，游戏角色自动生成和个性化三维人脸快速建模技术的一种电子游戏中玩家快速置入方法。
为实现上述目的，这种电子游戏中玩家快速置入方法，主要步骤包括如下①利用普通摄像头对游戏玩家人脸进行检测，先确定人脸大概位置，然后用人脸关键点定位技术获得正面人脸特征点的二维信息(x、y方向)，并根据人脸检测结果获得正面人脸纹理图；②利用三维扫描仪已经建立的三维人脸数据库，根据正面人脸参数估计出侧面人脸参数，获得人脸特征点的深度信息(z方向)；③利用玩家人脸的特征点变形游戏中角色人物的头部模型(标准模型)，进行纹理拟合，得到游戏玩家的人脸三维模型。
图1是本发明的电子游戏中玩家快速置入方法总体框图。
图2是本发明的人脸纹理贴图流程图。
图3是本发明的深度信息估计方法的流程图。
图4玩家快速置入系统图。
图5是本发明的人脸变形和纹理拟合流程图。
具体实施例方式
电子游戏中玩家快速置入方法，游戏玩家人脸建模过程如图1所示，具体步骤如下S1.1，人脸检测和关键点定位对普通摄像头摄入的游戏玩家图像进行人脸检测，先确定人脸的大概位置，然后用关键点定位技术找出正面人脸上的特征点，这些特征点分为嘴巴、眼睛、鼻子、眉毛和轮廓五组，得到特征点的二维信息(x、y值)，并获取正面人脸的纹理图，计算面部颜色平均值，对脸轮廓外的区域颜色均值化，合并耳朵、牙齿纹理，形成一张纹理贴图；S1.2，深度信息估计对利用三维扫描仪建立的100个中国人脸模型进行预处理，获得相应的特征点的三维数据，利用最小平方差建立人脸正面参数和侧面参数的对应关系。所谓正面参数，指的是两个特征点在XY平面的距离。所谓侧面参数，指的是两个特征点在YZ平面的距离。然后利用检测出的人脸正面参数，自动估计出人脸的侧面参数，从而得到特征点的深度信息(z值)；S1.3，人脸变形在三维游戏中角色的人脸模型上预先确定出对应的特征点的位置，利用前面所述得到的游戏玩家人脸三维特征点，应用半径基函数插值方法，变形标准模型，得到游戏玩家人脸模型；S1.4，纹理拟合对人头模型的正面和侧面分别计算纹理坐标，得到真实的游戏玩家人脸。
游戏玩家人脸纹理贴图形成具体实现步骤图2所示为游戏玩家人脸纹理贴图流程示意图，说明如下S2.1，开始普通摄像头开始检测游戏玩家人脸；S2.2，人脸检测得到正面人脸特征点数据人脸检测方法检测定位出正面人脸特征点的二维信息(XY平面)，并存储检测到的面部纹理图像；S2.3，计算面部颜色平均值对(2)中的得到的人脸面部图像，计算颜色的平均值；S2.4，脸轮廓外的区域颜色均值化对于人脸轮廓外的区域的颜色，设为(3)中计算得到的颜色平均值；S2.5，纹理合并建立一张大纹理图像，颜色值为(3)得到的平均值，把预先准备好的耳朵纹理图像按人脸颜色的平均值均值化，合并到大纹理图像上，把(2)得到的面部纹理图像和预先准备好的牙齿纹理图像也合并到大纹理图像上；S2.6，耳朵、面部边缘光滑把耳朵在大纹理图像的边缘像素进行边界平滑，消除接缝，把人脸轮廓在大纹理图像的边缘像素进行边界平滑，消除接缝。
深度信息估计方法具体实现步骤图3所示为深度信息估计方法的流程图。说明如下S3.1，三维人脸数据库预处理，建立人脸正面参数和侧面参数对应关系对用三维扫描仪建立的三维人脸数据进行简化处理，并去掉多余数据，只剩下脸部数据，选定下巴作为基准，得到每一个模型上特征点的相对坐标，确定出人脸正面参数和侧面参数，根据最小平方差确定出正面参数和侧面参数的相关系数；S3.2，计算人脸正面参数利用人脸检测的结果，得到了游戏玩家正面人脸的特征点的二维信息(x、y值)，和(1)选定相同的基准，并乘上相应的变化系数，和人脸数据库的数据值相统一，从而可以建立游戏玩家人脸正面参数；S3.3，估计人脸侧面参数利用(1)得到的正面参数和侧面参数的相关系数，可由游戏玩家人脸的正面参数估计出该人的侧面人脸参数；S3.4，得到特征点深度信息利用侧面人脸参数，可以得到特征点深度信息。
人脸变形和纹理拟合具体实现步骤图5所示为人脸变形和纹理拟合流程示意图，说明如下S5.1，特征点数值数量级归一化根据标准模型和游戏玩家人脸的整体尺寸(长宽深)，对检测的人脸特征点数据进行归一化；S5.2，计算控制点位移把人脸上这些特征点作为控制点，计算出它们在标准模型和游戏玩家人脸之间的位移；S5.3，计算控制点变形系数根据半径基函数插值方法，计算控制点从标准模型到游戏玩家模型的变形系数；S5.4，标准模型整体尺寸匹配采用和深度信息估计方法中相同的基准，计算标准模型的相对尺寸，考虑游戏玩家人脸的整体尺寸，变化标准模型的尺寸，进行整体匹配；S5.5，计算模型每个点的位移根据(3)得到的控制点的变形系数，计算标准模型每个点的位移，从而得到游戏玩家人脸模型；S5.6，纹理坐标计算根据线性插值，分别计算人脸正面、侧面、头顶和颈部的纹理坐标。人脸正面为人脸检测到的范围；S5.7，替换牙齿、耳朵纹理耳朵和牙齿的纹理坐标需要预先计算，根据耳朵和牙齿的几何尺寸以及它们各自的纹理贴图，根据线性插值可以得到它们的纹理坐标，然后根据它们在新的游戏玩家人脸中的位置(位置在变形前后不变)，替换成预先计算的纹理坐标。
权利要求
1.一种电子游戏中玩家快速置入方法，其特征在于，电子游戏中玩家快速置入。
2.一种电子游戏中玩家快速置入方法，电子游戏中玩家快速置入方法包括从摄像头检测游戏玩家人脸，获得正面人脸特征点(x、y值)数据；根据已建立的三维人脸数据库，估计出人脸特征点深度信息(z值)；根据游戏玩家人脸特征点三维信息，变形标准模型，进行纹理拟合，得到真实的游戏玩家模型，增强游戏玩家的沉浸感。
3.按权利要求2所述的方法，其特征在于，还包括步骤利用普通摄像头检测游戏玩家正面人脸，获取游戏玩家正面人脸上特征点的二维信息。
4.按权利要求2所述的方法，其特征在于，还包括步骤根据三维扫描仪建立的人脸数据库，利用最小平方误差建立人脸正面参数和侧面参数的对应关系，根据检测的游戏玩家人脸正面信息，估计人脸侧面信息。
5.按权利要求2所述的方法，其特征在于，还包括步骤利用游戏玩家人脸检测结果，得到人脸轮廓纹理，计算人脸平均颜色，合并耳朵和牙齿纹理，形成一张整体游戏玩家人脸纹理图。
6.按权利要求2所述的方法，其特征在于，还包括步骤利用人脸检测和估计完毕的游戏玩家人脸特征点，用半径基函数方法变形标准模型，进行纹理拟合，得到游戏玩家游戏玩家人脸，增强游戏玩家的沉浸感。
7.一种电子游戏中玩家快速置入方法，主要步骤如下①利用普通摄像头对游戏玩家人脸进行检测，先确定人脸大概位置，然后用人脸关键点定位技术获得正面人脸特征点的二维信息，并根据人脸检测结果获得正面人脸纹理图；②利用三维扫描仪已经建立的三维人脸数据库，根据正面人脸参数估计出侧面人脸参数，获得人脸特征点的深度信息；③利用玩家人脸的特征点变形游戏中角色人物的头部模型，进行纹理拟合，得到游戏玩家的人脸三维模型。
8.根据权利要求7的电子游戏中玩家快速置入方法，其具体步骤如下S1.1，人脸检测和关键点定位对普通摄像头摄入的游戏玩家图像进行人脸检测，先确定人脸的大概位置，然后用关键点定位技术找出正面人脸上的特征点，这些特征点分为嘴巴、眼睛、鼻子、眉毛和轮廓五组，得到特征点的二维信息(x、y值)，并获取正面人脸的纹理图，计算面部颜色平均值，对脸轮廓外的区域颜色均值化，合并耳朵、牙齿纹理，形成一张纹理贴图；S1.2，深度信息估计对利用三维扫描仪建立人脸模型进行预处理，获得相应的特征点的三维数据，利用最小平方差建立人脸正面参数和侧面参数的对应关系；S1.3，人脸变形在三维游戏中角色的人脸模型上预先确定出对应的特征点的位置，利用前面所述得到的游戏玩家人脸三维特征点，应用半径基函数插值方法，变形标准模型，得到游戏玩家人脸模型；S 1.4，纹理拟合对人头模型的正面和侧面分别计算纹理坐标，得到真实的游戏玩家人脸。
9.根据权利要求8的电子游戏中玩家快速置入方法，其特征在于，深度信息估计所谓正面参数，指的是两个特征点在XY平面的距离，所谓侧面参数，指的是两个特征点在YZ平面的距离，然后利用检测出的人脸正面参数，自动估计出人脸的侧面参数，从而得到特征点的深度信息。
10.根据权利要求7或8的电子游戏中玩家快速置入方法，其特征在于，游戏玩家人脸纹理贴图方法，其步骤如下S2.1，开始普通摄像头开始检测游戏玩家人脸；S2.2，人脸检测得到正面人脸特征点数据人脸检测方法检测定位出正面人脸特征点的二维信息(XY平面)，并存储检测到的面部纹理图像；S2.3，计算面部颜色平均值对S2.2中的得到的人脸面部图像，计算颜色的平均值；S2.4，脸轮廓外的区域颜色均值化对于人脸轮廓外的区域的颜色，设为S2.3中计算得到的颜色平均值；S2.5，纹理合并建立一张大纹理图像，颜色值为S2.3得到的平均值，把预先准备好的耳朵纹理图像按人脸颜色的平均值均值化，合并到大纹理图像上，把S2.2得到的面部纹理图像和预先准备好的牙齿纹理图像也合并到大纹理图像上；S2.6，耳朵、面部边缘光滑把耳朵在大纹理图像的边缘像素进行边界平滑，消除接缝，把人脸轮廓在大纹理图像的边缘像素进行边界平滑，消除接缝。
11.根据权利要求7或8的电子游戏中玩家快速置入方法，其特征在于，深度信息估计方法，其步骤如下S3.1，三维人脸数据库预处理，建立人脸正面参数和侧面参数对应关系对用三维扫描仪建立的三维人脸数据进行简化处理，并去掉多余数据，只剩下脸部数据，选定下巴作为基准，得到每一个模型上特征点的相对坐标，确定出人脸正面参数和侧面参数，根据最小平方差确定出正面参数和侧面参数的相关系数；S3.2，计算人脸正面参数利用人脸检测的结果，得到了游戏玩家正面人脸的特征点的二维信息(x、y值)，和S3.1选定相同的基准，并乘上相应的变化系数，和人脸数据库的数据值相统一，从而可以建立游戏玩家人脸正面参数；S3.3，估计人脸侧面参数利用S3.1得到的正面参数和侧面参数的相关系数，可由游戏玩家人脸的正面参数估计出该人的侧面人脸参数；S3.4，得到特征点深度信息利用侧面人脸参数，可以得到特征点深度信息。
12.根据权利要求7或8的电子游戏中玩家快速置入方法，其特征在于，人脸变形和纹理拟合，其步骤如下S5.1，特征点数值数量级归一化根据标准模型和游戏玩家人脸的整体尺寸，对检测的人脸特征点数据进行归一化；S5.2，计算控制点位移把人脸上这些特征点作为控制点，计算出它们在标准模型和游戏玩家人脸之间的位移；S5.3，计算控制点变形系数根据半径基函数插值方法，计算控制点从标准模型到游戏玩家模型的变形系数；S5.4，标准模型整体尺寸匹配采用和深度信息估计方法中相同的基准，计算标准模型的相对尺寸，考虑游戏玩家人脸的整体尺寸，变化标准模型的尺寸，进行整体匹配；S5.5，计算模型每个点的位移根据S5.3得到的控制点的变形系数，计算标准模型每个点的位移，从而得到游戏玩家人脸模型；S5.6，纹理坐标计算根据线性插值，分别计算人脸正面、侧面、头顶和颈部的纹理坐标。人脸正面为人脸检测到的范围；S5.7，替换牙齿、耳朵纹理耳朵和牙齿的纹理坐标需要预先计算，根据耳朵和牙齿的几何尺寸以及它们各自的纹理贴图，根据线性插值可以得到它们的纹理坐标，然后根据它们在新的游戏玩家人脸中的位置，替换成预先计算的纹理坐标。
全文摘要
本发明涉及三维图像处理技术领域，一种电子游戏中玩家快速置入方法包括对从摄像头检测的游戏玩家正面人脸进行检测和关键点定位，可以准确地获得人脸特征点信息；根据三维人脸数据库，建立正面人脸参数和侧面人脸参数的对应关系，估计游戏玩家人脸特征点深度信息；利用游戏玩家人脸检测结果，获得人脸轮廓纹理图，形成人脸纹理图；利用半径基函数插值方法，变形标准模型，进行纹理拟合，得到了真实的游戏玩家人脸模型，增强了游戏玩家的沉浸感。
文档编号G06T15/00GK1797474SQ200410101880
公开日2006年7月5日 申请日期2004年12月30日 优先权日2004年12月30日
发明者王阳生, 张满囤, 黄向生, 曾祥永 申请人:中国科学院自动化研究所
技术领域：
本发明涉及三维图像处理技术领域，特别是电子游戏、模式识别和计算机图形学，游戏角色自动生成和个性化三维人脸快速建模技术的一种电子游戏中玩家快速置入方法。
背景技术：
当前游戏的一个重要发展趋势是具有真实性和沉浸感，如果把游戏角色变为游戏玩家的形象，则更能增加游戏玩家的沉浸感，增加游戏玩家的兴趣。这就涉及到人脸建模技术。人脸建模作为计算机图形学一个研究分支，在过去30多年里，经过科学工作者的努力，取得了很大进步。随着在人机界面、交互游戏、多媒体、虚拟现实等领域的应用需求的不断增加，人脸建模技术又成为当前的研究热点。个性化三维人脸建模主要包括三部分工作人脸三维数据获取、人脸标准模型的建立和游戏玩家人脸模型的形成，人脸三维数据的获取是形成游戏玩家人脸模型的基础。现在常用的有激光扫描仪、结构光、被动立体视觉等基于计算机视觉的方法，但这种方法成本比较高，很难普及，且获取的人脸三维数据信息只有形状而没有结构信息，数据的噪声比较大。为了得到可用于动画的游戏玩家的人脸模型，一般是从一个结构化的人脸网格模型开始，通过基于图像的方法得到游戏玩家人脸的信息，再去拟合、变形标准模型，贴上纹理，得到特定人的三维模型。人脸检测和关键点定位正是获得游戏玩家人脸特征点信息的一种必不可少的支撑技术。MPEG-4在中性脸上定义了84个特征点，脸部模型需要这些特征点来定义合适的形状。特征点被分为几组，例如脸颊，眼睛和嘴。所谓人脸检测和关键点定位就是在多媒体数据(如图像、视频等数字信号)中检测出人脸上这些特征点的位置。
发明内容
本发明的目的是提供一种利用普通摄像头，运用人脸检测和关键点定位技术获得正面人脸特征点信息(x、y方向)，估计出特征点深度信息(z方向)，然后对游戏中角色人物的头部模型变形，进行纹理映射，快速把电子游戏中的角色替换成游戏玩家的方法。特别是电子游戏、模式识别和计算机图形学，游戏角色自动生成和个性化三维人脸快速建模技术的一种电子游戏中玩家快速置入方法。
为实现上述目的，这种电子游戏中玩家快速置入方法，主要步骤包括如下①利用普通摄像头对游戏玩家人脸进行检测，先确定人脸大概位置，然后用人脸关键点定位技术获得正面人脸特征点的二维信息(x、y方向)，并根据人脸检测结果获得正面人脸纹理图；②利用三维扫描仪已经建立的三维人脸数据库，根据正面人脸参数估计出侧面人脸参数，获得人脸特征点的深度信息(z方向)；③利用玩家人脸的特征点变形游戏中角色人物的头部模型(标准模型)，进行纹理拟合，得到游戏玩家的人脸三维模型。
图1是本发明的电子游戏中玩家快速置入方法总体框图。
图2是本发明的人脸纹理贴图流程图。
图3是本发明的深度信息估计方法的流程图。
图4玩家快速置入系统图。
图5是本发明的人脸变形和纹理拟合流程图。
具体实施例方式
电子游戏中玩家快速置入方法，游戏玩家人脸建模过程如图1所示，具体步骤如下S1.1，人脸检测和关键点定位对普通摄像头摄入的游戏玩家图像进行人脸检测，先确定人脸的大概位置，然后用关键点定位技术找出正面人脸上的特征点，这些特征点分为嘴巴、眼睛、鼻子、眉毛和轮廓五组，得到特征点的二维信息(x、y值)，并获取正面人脸的纹理图，计算面部颜色平均值，对脸轮廓外的区域颜色均值化，合并耳朵、牙齿纹理，形成一张纹理贴图；S1.2，深度信息估计对利用三维扫描仪建立的100个中国人脸模型进行预处理，获得相应的特征点的三维数据，利用最小平方差建立人脸正面参数和侧面参数的对应关系。所谓正面参数，指的是两个特征点在XY平面的距离。所谓侧面参数，指的是两个特征点在YZ平面的距离。然后利用检测出的人脸正面参数，自动估计出人脸的侧面参数，从而得到特征点的深度信息(z值)；S1.3，人脸变形在三维游戏中角色的人脸模型上预先确定出对应的特征点的位置，利用前面所述得到的游戏玩家人脸三维特征点，应用半径基函数插值方法，变形标准模型，得到游戏玩家人脸模型；S1.4，纹理拟合对人头模型的正面和侧面分别计算纹理坐标，得到真实的游戏玩家人脸。
游戏玩家人脸纹理贴图形成具体实现步骤图2所示为游戏玩家人脸纹理贴图流程示意图，说明如下S2.1，开始普通摄像头开始检测游戏玩家人脸；S2.2，人脸检测得到正面人脸特征点数据人脸检测方法检测定位出正面人脸特征点的二维信息(XY平面)，并存储检测到的面部纹理图像；S2.3，计算面部颜色平均值对(2)中的得到的人脸面部图像，计算颜色的平均值；S2.4，脸轮廓外的区域颜色均值化对于人脸轮廓外的区域的颜色，设为(3)中计算得到的颜色平均值；S2.5，纹理合并建立一张大纹理图像，颜色值为(3)得到的平均值，把预先准备好的耳朵纹理图像按人脸颜色的平均值均值化，合并到大纹理图像上，把(2)得到的面部纹理图像和预先准备好的牙齿纹理图像也合并到大纹理图像上；S2.6，耳朵、面部边缘光滑把耳朵在大纹理图像的边缘像素进行边界平滑，消除接缝，把人脸轮廓在大纹理图像的边缘像素进行边界平滑，消除接缝。
深度信息估计方法具体实现步骤图3所示为深度信息估计方法的流程图。说明如下S3.1，三维人脸数据库预处理，建立人脸正面参数和侧面参数对应关系对用三维扫描仪建立的三维人脸数据进行简化处理，并去掉多余数据，只剩下脸部数据，选定下巴作为基准，得到每一个模型上特征点的相对坐标，确定出人脸正面参数和侧面参数，根据最小平方差确定出正面参数和侧面参数的相关系数；S3.2，计算人脸正面参数利用人脸检测的结果，得到了游戏玩家正面人脸的特征点的二维信息(x、y值)，和(1)选定相同的基准，并乘上相应的变化系数，和人脸数据库的数据值相统一，从而可以建立游戏玩家人脸正面参数；S3.3，估计人脸侧面参数利用(1)得到的正面参数和侧面参数的相关系数，可由游戏玩家人脸的正面参数估计出该人的侧面人脸参数；S3.4，得到特征点深度信息利用侧面人脸参数，可以得到特征点深度信息。
人脸变形和纹理拟合具体实现步骤图5所示为人脸变形和纹理拟合流程示意图，说明如下S5.1，特征点数值数量级归一化根据标准模型和游戏玩家人脸的整体尺寸(长宽深)，对检测的人脸特征点数据进行归一化；S5.2，计算控制点位移把人脸上这些特征点作为控制点，计算出它们在标准模型和游戏玩家人脸之间的位移；S5.3，计算控制点变形系数根据半径基函数插值方法，计算控制点从标准模型到游戏玩家模型的变形系数；S5.4，标准模型整体尺寸匹配采用和深度信息估计方法中相同的基准，计算标准模型的相对尺寸，考虑游戏玩家人脸的整体尺寸，变化标准模型的尺寸，进行整体匹配；S5.5，计算模型每个点的位移根据(3)得到的控制点的变形系数，计算标准模型每个点的位移，从而得到游戏玩家人脸模型；S5.6，纹理坐标计算根据线性插值，分别计算人脸正面、侧面、头顶和颈部的纹理坐标。人脸正面为人脸检测到的范围；S5.7，替换牙齿、耳朵纹理耳朵和牙齿的纹理坐标需要预先计算，根据耳朵和牙齿的几何尺寸以及它们各自的纹理贴图，根据线性插值可以得到它们的纹理坐标，然后根据它们在新的游戏玩家人脸中的位置(位置在变形前后不变)，替换成预先计算的纹理坐标。
权利要求
1.一种电子游戏中玩家快速置入方法，其特征在于，电子游戏中玩家快速置入。
2.一种电子游戏中玩家快速置入方法，电子游戏中玩家快速置入方法包括从摄像头检测游戏玩家人脸，获得正面人脸特征点(x、y值)数据；根据已建立的三维人脸数据库，估计出人脸特征点深度信息(z值)；根据游戏玩家人脸特征点三维信息，变形标准模型，进行纹理拟合，得到真实的游戏玩家模型，增强游戏玩家的沉浸感。
3.按权利要求2所述的方法，其特征在于，还包括步骤利用普通摄像头检测游戏玩家正面人脸，获取游戏玩家正面人脸上特征点的二维信息。
4.按权利要求2所述的方法，其特征在于，还包括步骤根据三维扫描仪建立的人脸数据库，利用最小平方误差建立人脸正面参数和侧面参数的对应关系，根据检测的游戏玩家人脸正面信息，估计人脸侧面信息。
5.按权利要求2所述的方法，其特征在于，还包括步骤利用游戏玩家人脸检测结果，得到人脸轮廓纹理，计算人脸平均颜色，合并耳朵和牙齿纹理，形成一张整体游戏玩家人脸纹理图。
6.按权利要求2所述的方法，其特征在于，还包括步骤利用人脸检测和估计完毕的游戏玩家人脸特征点，用半径基函数方法变形标准模型，进行纹理拟合，得到游戏玩家游戏玩家人脸，增强游戏玩家的沉浸感。
7.一种电子游戏中玩家快速置入方法，主要步骤如下①利用普通摄像头对游戏玩家人脸进行检测，先确定人脸大概位置，然后用人脸关键点定位技术获得正面人脸特征点的二维信息，并根据人脸检测结果获得正面人脸纹理图；②利用三维扫描仪已经建立的三维人脸数据库，根据正面人脸参数估计出侧面人脸参数，获得人脸特征点的深度信息；③利用玩家人脸的特征点变形游戏中角色人物的头部模型，进行纹理拟合，得到游戏玩家的人脸三维模型。
8.根据权利要求7的电子游戏中玩家快速置入方法，其具体步骤如下S1.1，人脸检测和关键点定位对普通摄像头摄入的游戏玩家图像进行人脸检测，先确定人脸的大概位置，然后用关键点定位技术找出正面人脸上的特征点，这些特征点分为嘴巴、眼睛、鼻子、眉毛和轮廓五组，得到特征点的二维信息(x、y值)，并获取正面人脸的纹理图，计算面部颜色平均值，对脸轮廓外的区域颜色均值化，合并耳朵、牙齿纹理，形成一张纹理贴图；S1.2，深度信息估计对利用三维扫描仪建立人脸模型进行预处理，获得相应的特征点的三维数据，利用最小平方差建立人脸正面参数和侧面参数的对应关系；S1.3，人脸变形在三维游戏中角色的人脸模型上预先确定出对应的特征点的位置，利用前面所述得到的游戏玩家人脸三维特征点，应用半径基函数插值方法，变形标准模型，得到游戏玩家人脸模型；S 1.4，纹理拟合对人头模型的正面和侧面分别计算纹理坐标，得到真实的游戏玩家人脸。
9.根据权利要求8的电子游戏中玩家快速置入方法，其特征在于，深度信息估计所谓正面参数，指的是两个特征点在XY平面的距离，所谓侧面参数，指的是两个特征点在YZ平面的距离，然后利用检测出的人脸正面参数，自动估计出人脸的侧面参数，从而得到特征点的深度信息。
10.根据权利要求7或8的电子游戏中玩家快速置入方法，其特征在于，游戏玩家人脸纹理贴图方法，其步骤如下S2.1，开始普通摄像头开始检测游戏玩家人脸；S2.2，人脸检测得到正面人脸特征点数据人脸检测方法检测定位出正面人脸特征点的二维信息(XY平面)，并存储检测到的面部纹理图像；S2.3，计算面部颜色平均值对S2.2中的得到的人脸面部图像，计算颜色的平均值；S2.4，脸轮廓外的区域颜色均值化对于人脸轮廓外的区域的颜色，设为S2.3中计算得到的颜色平均值；S2.5，纹理合并建立一张大纹理图像，颜色值为S2.3得到的平均值，把预先准备好的耳朵纹理图像按人脸颜色的平均值均值化，合并到大纹理图像上，把S2.2得到的面部纹理图像和预先准备好的牙齿纹理图像也合并到大纹理图像上；S2.6，耳朵、面部边缘光滑把耳朵在大纹理图像的边缘像素进行边界平滑，消除接缝，把人脸轮廓在大纹理图像的边缘像素进行边界平滑，消除接缝。
11.根据权利要求7或8的电子游戏中玩家快速置入方法，其特征在于，深度信息估计方法，其步骤如下S3.1，三维人脸数据库预处理，建立人脸正面参数和侧面参数对应关系对用三维扫描仪建立的三维人脸数据进行简化处理，并去掉多余数据，只剩下脸部数据，选定下巴作为基准，得到每一个模型上特征点的相对坐标，确定出人脸正面参数和侧面参数，根据最小平方差确定出正面参数和侧面参数的相关系数；S3.2，计算人脸正面参数利用人脸检测的结果，得到了游戏玩家正面人脸的特征点的二维信息(x、y值)，和S3.1选定相同的基准，并乘上相应的变化系数，和人脸数据库的数据值相统一，从而可以建立游戏玩家人脸正面参数；S3.3，估计人脸侧面参数利用S3.1得到的正面参数和侧面参数的相关系数，可由游戏玩家人脸的正面参数估计出该人的侧面人脸参数；S3.4，得到特征点深度信息利用侧面人脸参数，可以得到特征点深度信息。
12.根据权利要求7或8的电子游戏中玩家快速置入方法，其特征在于，人脸变形和纹理拟合，其步骤如下S5.1，特征点数值数量级归一化根据标准模型和游戏玩家人脸的整体尺寸，对检测的人脸特征点数据进行归一化；S5.2，计算控制点位移把人脸上这些特征点作为控制点，计算出它们在标准模型和游戏玩家人脸之间的位移；S5.3，计算控制点变形系数根据半径基函数插值方法，计算控制点从标准模型到游戏玩家模型的变形系数；S5.4，标准模型整体尺寸匹配采用和深度信息估计方法中相同的基准，计算标准模型的相对尺寸，考虑游戏玩家人脸的整体尺寸，变化标准模型的尺寸，进行整体匹配；S5.5，计算模型每个点的位移根据S5.3得到的控制点的变形系数，计算标准模型每个点的位移，从而得到游戏玩家人脸模型；S5.6，纹理坐标计算根据线性插值，分别计算人脸正面、侧面、头顶和颈部的纹理坐标。人脸正面为人脸检测到的范围；S5.7，替换牙齿、耳朵纹理耳朵和牙齿的纹理坐标需要预先计算，根据耳朵和牙齿的几何尺寸以及它们各自的纹理贴图，根据线性插值可以得到它们的纹理坐标，然后根据它们在新的游戏玩家人脸中的位置，替换成预先计算的纹理坐标。
全文摘要
本发明涉及三维图像处理技术领域，一种电子游戏中玩家快速置入方法包括对从摄像头检测的游戏玩家正面人脸进行检测和关键点定位，可以准确地获得人脸特征点信息；根据三维人脸数据库，建立正面人脸参数和侧面人脸参数的对应关系，估计游戏玩家人脸特征点深度信息；利用游戏玩家人脸检测结果，获得人脸轮廓纹理图，形成人脸纹理图；利用半径基函数插值方法，变形标准模型，进行纹理拟合，得到了真实的游戏玩家人脸模型，增强了游戏玩家的沉浸感。
文档编号G06T15/00GK1797474SQ200410101880
公开日2006年7月5日 申请日期2004年12月30日 优先权日2004年12月30日
发明者王阳生, 张满囤, 黄向生, 曾祥永 申请人:中国科学院自动化研究所
最新回复(0)