一种基于Transformer的人脸活体检测方法、装置以及设备与流程
本发明涉及人脸识别，尤其涉及一种基于transformer的人脸活体检测方法、装置以及设备。
背景技术：
1、随着人脸识别技术在全球范围内的广泛应用，其安全性问题日益凸显，尤其是活体检测技术（如刷脸的面板机、门禁闸机、门锁、手机等）作为保障人脸识别系统安全性的关键环节，正面临前所未有的挑战。当前，尽管活体检测技术已经取得了显著进展，但仍存在一系列亟待解决的技术难题，这些难题直接影响了人脸识别系统的整体安全性和可靠性。
2、首先，假体攻击特征提取能力不足是当前活体检测技术面临的首要问题。随着攻击手段的不断升级，如使用高仿真度的纸张、手机、pad、人皮面具乃至3d模组等，传统的基于深度学习技术（如cnn）的算法在提取这些复杂假体特征时显得力不从心。这些算法往往难以有效区分真实人脸与高度仿真的假体，导致系统误判率上升，安全性大打折扣。
3、其次，模型冗余与成本高昂是活体检测技术应用中的另一大障碍。为了应对多样化的攻击手段，现有系统往往采用多模型综合判断的策略，如包括人脸模型、人眼模型、人嘴模型等多个独立模型。通过多模型架构虽然在一定程度上提高了检测的准确性，但也带来了模型冗余、计算复杂度高以及维护成本高昂的问题。随着攻击手段的不断演变，这些模型的更新和维护将变得更加困难，进一步增加了系统的运营负担。因此，亟需研发更加高效、准确且成本可控的活体检测技术，以应对日益严峻的安全威胁。
技术实现思路
1、有鉴于此，本发明的目的在于提出一种基于transformer的人脸活体检测方法、装置以及设备，旨在解决当前活体检测技术在应对多样化、高仿真度的攻击手段时，存在提取假体特征能力不足、模型冗余与成本高昂等问题。
2、为实现上述目的，本发明提供一种基于transformer的人脸活体检测方法，所述方法包括：
3、获取原始人脸图片，并对所述原始人脸图片进行人脸检测和特征点定位，得到人脸特征点信息，并根据所述特征点信息构造对应不同人脸目标位置的多张训练图像，所述训练图像包括人脸图像、人眼位置图像、鼻子位置图像、嘴巴位置图像以及耳朵位置图像；
4、将所述训练图像输入包括transformer主干网络、多任务分支模块以及fc分类模块所构建的模型中并基于预设损失函数进行训练，得到活体检测模型；
5、通过单目摄像头采集待检测人脸图像并输入至所述活体检测模型中，得到识别结果，根据识别结果判断所述待检测人脸图像是否是活体。
6、优选的，所述将所述训练图像输入包括transformer主干网络、多任务分支模块以及fc分类模块所构建的模型中并基于预设损失函数进行训练，得到活体检测模型，包括：
7、通过所述transformer主干网络对所述训练图像进行特征提取，得到通用特征；
8、通过所述多任务分支模块中不同的任务分支共享所述通用特征并对每一人脸目标位置所对应的所述训练图像进行特征提取，得到多个任务特征；
9、将多个所述任务特征进行拼接后输入所述fc分类模块，得到分类结果；
10、采用bce loss计算所述分类结果的损失，并根据损失对模型进行优化训练，得到所述活体检测模型。
11、优选的，所述预设损失函数为：
12、，lface、leyes、lnose、lmouth、lear、lfeature均采用bce loss，其中，lface表示人脸任务分支的损失，leyes表示人眼任务分支的损失，lnose表示鼻子任务分支的损失，lmouth表示嘴巴任务分支的损失，lear表示耳朵任务分支的损失，lfeature表示混合特征的损失。
13、优选的，所述多任务分支模块中的每一任务分支的网络结构包括堆叠4次的卷积操作层以及fc层，所述卷积操作层包括conv层、bn层、relu层。
14、优选的，所述对所述原始人脸图片进行人脸检测和特征点定位，得到人脸特征点信息，包括：
15、采用人脸检测算法对所述原始人脸图片进行人脸检测、以及采用landmark检测算法对所述原始人脸图片进行特征点定位，得到所述人脸特征点信息。
16、优选的，所述通过单目摄像头采集待检测人脸图像并输入至所述活体检测模型中，得到识别结果，包括：
17、通过所述多任务分支模块中的每一任务分支对所述待检测人脸图像中的不同人脸目标位置进行检测，得到多个任务结果，将多个任务结果的平均值作为所述识别结果。
18、优选的，所述待检测人脸图像包括连续捕捉的多张图像；所述方法还包括：
19、通过多目标跟踪算法比对分析多张图像经由所述活体检测模型所生成的多个识别结果，并在判断所述待检测人脸图像是假体攻击时，则自动触发告警机制。
20、为实现上述目的，本发明还提供一种基于transformer的人脸活体检测装置，所述装置包括：
21、预处理单元，用于获取原始人脸图片，并对所述原始人脸图片进行人脸检测和特征点定位，得到人脸特征点信息，并根据所述特征点信息构造对应不同人脸目标位置的多张训练图像，所述训练图像包括人脸图像、人眼位置图像、鼻子位置图像、嘴巴位置图像以及耳朵位置图像；
22、模型训练单元，用于将所述训练图像输入包括transformer主干网络、多任务分支模块以及fc分类模块所构建的模型中并基于预设损失函数进行训练，得到活体检测模型；
23、活体检测单元，用于通过单目摄像头采集待检测人脸图像并输入至所述活体检测模型中，得到识别结果，根据识别结果判断所述待检测人脸图像是否是活体。
24、为了实现上述目的，本发明还提出一种基于transformer的人脸活体检测设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如上述实施例所述的一种基于transformer的人脸活体检测方法的步骤。
25、为了实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如上述实施例所述的一种基于transformer的人脸活体检测方法的步骤。
26、为了实现上述目的，本发明还提出一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述实施例所述的一种基于transformer的人脸活体检测方法的步骤。
27、有益效果：
28、以上方案，通过采用基于transformer的单模型架构，结合多任务分支模块，实现了对人脸、人眼、鼻子、嘴巴及耳朵等多个关键区域的并行处理，不仅减少了模型的冗余性，还降低了维护成本，同时提高了计算效率；引入transformer作为主干网络，利用其强大的特征提取能力，能够更精确地捕捉到人脸图像中的细微差异，有效区分真实人脸与各种高仿真度的假体攻击，从而显著提升活体检测的准确性；能够准确识别活体人脸，有效防止了非法用户通过假体攻击手段绕过身份验证系统，从而增强了系统的安全性和可靠性，为各类需要人脸识别的应用场景提供了更加可靠的技术支持。同时，高效的检测速度和较低的误判率也提升了用户的使用体验。
29、以上方案，通过多任务分支模块对人脸不同区域进行特征提取，不同的任务共享主干网提取的通用特征，每个任务分支也有自己独立专有的提取特征主干网络，并学习各自任务分支的损失函数，最终实现一个模型具备多个模型任务的能力，还结合fc分类模块以融合不同任务分支的输出进行综合判断，进一步提升模型的特征表达能力，能够更全面地评估待检测人脸图像的真实性；特别是针对真人与假体结合的高级攻击手段，如部分裁剪或露出真实部分的假体，本方法依然能保持较高的识别准确率，有效增强了对复杂攻击手段的防御能力。
30、以上方案，采用自定义的复合损失函数lsum对模型进行损失计算，通过为不同任务分支分配不同的权重，实现了对模型训练过程的精细调控，使得模型在训练过程中能够更加注重关键区域的特征学习，进一步提高活体检测的准确性。
31、以上方案，通过连续捕捉多张图像组成的待检测人脸图像，能够连续追踪待检测人脸在多张图像中的表现，确保识别的连续性和准确性，以全面评估人脸的真实性；通过引入多目标跟踪算法对比并分析多张图像经由活体检测模型所生成的多个识别结果，当系统判定存在高度一致的假体攻击特征时，自动触发告警机制，以迅速响应并通知相关人员，有效防范潜在的安全风险。不仅增强了活体检测的鲁棒性，还显著提高了对复杂、持续攻击手段的识别能力。
技术特征：
1.一种基于transformer的人脸活体检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于transformer的人脸活体检测方法，其特征在于，所述预设损失函数为：
3.根据权利要求1所述的一种基于transformer的人脸活体检测方法，其特征在于，所述多任务分支模块中的每一任务分支的网络结构包括堆叠4次的卷积操作层以及fc层，所述卷积操作层包括conv层、bn层、relu层。
4.根据权利要求1所述的一种基于transformer的人脸活体检测方法，其特征在于，所述对所述原始人脸图片进行人脸检测和特征点定位，得到人脸特征点信息，包括：
5.根据权利要求1所述的一种基于transformer的人脸活体检测方法，其特征在于，所述通过单目摄像头采集待检测人脸图像并输入至所述活体检测模型中，得到识别结果，包括：
6.根据权利要求1所述的一种基于transformer的人脸活体检测方法，其特征在于，所述待检测人脸图像包括连续捕捉的多张图像；所述方法还包括：
7.一种基于transformer的人脸活体检测装置，其特征在于，所述装置包括：
8.一种基于transformer的人脸活体检测设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至6任意一项所述的一种基于transformer的人脸活体检测方法的步骤。
9.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行以实现如权利要求1至6任意一项所述的一种基于transformer的人脸活体检测方法的步骤。
技术总结
本发明公开了一种基于Transformer的人脸活体检测方法，其包括：获取原始人脸图片，并对所述原始人脸图片进行人脸检测和特征点定位，得到人脸特征点信息，并根据所述特征点信息构造对应不同人脸目标位置的多张训练图像；将所述训练图像输入包括Transformer主干网络、多任务分支模块以及FC，所述训练图像包括人脸图像、人眼位置图像、鼻子位置图像、嘴巴位置图像以及耳朵位置图像分类模块所构建的模型中并基于预设损失函数进行训练，得到活体检测模型；通过单目摄像头采集待检测人脸图像并输入至所述活体检测模型中，得到识别结果，根据识别结果判断所述待检测人脸图像是否是活体。能够有效区分真实人脸与各种高仿真度的假体攻击，提升活体检测的准确性。
技术研发人员：王汉超,陈明木,张选庆,贾宝芝,何一凡
受保护的技术使用者：厦门瑞为信息技术有限公司
技术研发日：
技术公布日：2024/9/23