(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210968720.1 (22)申请日 2022.08.12 (71)申请人 睿云联 （厦门） 网络通讯技 术有限公 司 地址 361000 福建省厦门市 火炬高新区软 件园创新大厦C区3F-A 917 (72)发明人 聂昌伟　黄慜哲　兰泽华　 (74)专利代理 机构 厦门原创专利事务所(普通 合伙) 35101 专利代理师 黄巧香 (51)Int.Cl. G06V 40/40(2022.01) G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于人脸面容识别的活体检测方法、 设 备及介质 (57)摘要 本发明提供一种基于人脸面容识别的活体 检测方法， 包括： 获取人脸图像并分类； 对各类人 脸图像归一化处理， 生成代理， 构建三元组数据 对； 构建骨干网络， 搭建集成人脸面容识别损失 函数和分类损失函数的高维人脸静默活体检测 神经网络模 型； 每次输入三元 组数据对和活体数 据到模型中训练模型； 将人脸图像输入到模型进 行测试， 根据不同预测阈值得出预测结果， 根据 预测结果和真实结果确定真正例率和假正例率， 确定真假分类阈值； 当进行检测时， 将当前帧人 脸图像输入到模型中， 输出模型得分， 根据当前 帧、 前帧和后帧人脸图像的模型得分得到活体得 分， 对比该活体得分与真假分类阈值， 得出判断 结果。 本发明还提供了一种电子设备和介质， 增 高模型的准确率。 权利要求书3页 说明书8页 附图3页 CN 115116148 A 2022.09.27 CN 115116148 A 1.一种基于人脸 面容识别的活体 检测方法， 其特 征在于， 包括如下步骤： 步骤1、 获取复数个不同类型的人脸图像并分类， 将所有人脸图像按设定比例划分成训 练集和测试集； 步骤2、 对训练集中分类好的各类人脸图像分别进行归一化处理， 并生成各类人脸图像 代理， 根据各类该 人脸图像代理构建每 个人脸图像的三元组数据对； 步骤3、 构建基于残差网络的骨干网络， 并根据 所述骨干网络搭建集成人脸面容识别损 失函数和分类损失函数的高维人脸静默活体 检测神经网络模型； 步骤4、 每次输入该训练集内的一个人脸图像的三元组数据对和 活体数据到高维人脸 静默活体检测神经网络模型中， 输出该人脸图像的模型得分， 通过输入和输出过程来训练 和优化高维人脸静默活体 检测神经网络模型； 步骤5、 将测试集内的人脸图像输入到高维人脸静默活体检测神经网络模型进行测试， 根据不同预测阈值得出预测结果， 根据预测结果和真实结果确定真正例率和 假正例率， 根 据真正例率和假 正例率确定真假分类阈值； 步骤6、 当进行 人脸检测时， 获取一当前帧人脸图像； 步骤7、 将当前帧人脸图像输入到训练好的高维人脸静默活体检测神经网络模型中， 输 出当前帧人脸图像的模型得分， 根据当前帧人脸图像的模型得分、 前一帧人脸图像的模型 得分和后一帧人脸图像的模型得分得到活体得分， 对比该活体得分与真假分类阈值， 得出 判断结果。 2.根据权利要求1所述的一种基于人脸面容识别的活体检测方法， 其特征在于， 所述步 骤1之前还 包括： 步骤11、 通过设备采集复数个不同类型的人体图像或者从云端下载复数个不同类型的 人体图像， 复数个不同类型的人体图像构成活体数据集； 步骤12、 对获得到的所述活体数据集进行分类， 将所述活体数据集内的所有人体 图像 分为真人类、 打印纸类、 电子屏类、 2D面具类和3D面具类； 步骤13、 从每 个所述人体图像中裁 剪出人脸图像。 3.根据权利要求2所述的一种基于人脸面容识别的活体检测方法， 其特征在于， 所述步 骤13具体包括： 通过人脸检测算法对每个人体图像的人脸关键点和人脸框进行检测， 通过对关键点仿 射变换裁剪出对齐的人脸图像， 所有的人脸图像构成活体人脸数据集， 将所述活体人脸数 据集内的所有人脸图像按设定比例划分成训练集和 测试集。 4.根据权利要求1所述的一种基于人脸面容识别的活体检测方法， 其特征在于， 所述步 骤2具体包括： 对所述训练集中分类好的各类人脸图像分别进行归一化处理， 并通过正态分布滤波生 成各类人脸图像代 理Pj， 其中， Pj表示第j类人脸图像代 理， 且1≤j≤k， k表示分类数量， j为 正整数； 根据该人脸图像代理Pj构建每个 人脸图像的三元组数据对(pij， Pj， Ph),其中， pij表示第 j类人脸图像代理的第i个人脸图像样本， 且1≤i≤n， n表 示第j类的人脸图像样 本总数， n为 正整数； Ph表示第h类人脸图像代理， 且1≤ h≤k， k表示分类数量， h为 正整数， h ≠j。 5.根据权利要求1所述的一种基于人脸面容识别的活体检测方法， 其特征在于， 所述步权　利　要　求　书 1/3 页 2 CN 115116148 A 2骤3具体包括： 步骤31、 构建基于残差网络的骨干网络具体包括:所述骨干网络由8个残差块组成， 通 过卷积层提取人脸图像的特征信息和跨通道信息， 采用1x1卷积层增加网络深度， 并将下采 样操作放到非1 ×1卷积层避免丢失特征信息， 并采用swish激活函数作为骨干网络的激活 函数提高网络的性能； 步骤32、 根据 所述骨干网络搭建集成人脸面容识别损失函数和分类损失函数的高维人 脸静默活体检测神经网络模型具体包括： 将所述三元组数据对输入到骨干网络进行处理 后， 通过人脸面容识别损失函数提取到人脸特征f1， 将人脸图像的活体数据输入到骨干网 络提取到活体特征f2， 并将特征f1和活体特征f2进行特征融合， 依次通过全连接层和分类 损失函数处 理后得到该帧人脸图像的活体得分。 6.根据权利要求1所述的一种基于人脸面容识别的活体检测方法， 其特征在于， 所述步 骤4具体包括： 步骤41、 获取所述训练集内的第一个人脸图像的三元组数据对和活体数据， 并输入到 高维人脸静默活体 检测神经网络模型中； 步骤42、 将所述三元组数据对输入到骨干网络进行处理后， 通过人脸面容识别损失函 数提取到人脸特 征f1； 步骤43、 将所述活体数据输入到骨干网络提取到活体特 征f2； 步骤44、 将特征f1和活体特征f2进行特征融合， 再依次通过全连接层和分类损失函数 处理后得到该帧人脸图像的活体得分； 步骤45、 继续获取所述训练集内的下一个人脸图像的三元组数据对和活体数据进行重 复步骤51 ‑步骤54的操作， 直到遍历所述训练集内的所有人脸图像； 步骤46、 通过所述训练集内的所有人脸图像输入和输出的过程对高维人脸静默活体检 测神经网络模型进行训练和优化。 7.根据权利要求1所述的一种基于人脸面容识别的活体检测方法， 其特征在于， 所述步 骤5具体包括： 步骤51、 将所述测试集内的人脸图像输入到高维人脸静默活体检测神经网络模型中进 行测试； 步骤52、 预测阈值的区间为0～1， 遍历0到1的所有可能性， 根据不同预测阈值得出不同 预测结果； 步骤53、 根据预测结果和真实结果确定真正例率和假 正例率； 公式如下： 其中， TPR表示真正例率； TP表示预测结果为正类， 真实结果就是正类； FN表示预测结果 为反类， 真实结果是正类； FPR表示假正例率； FP表示预测结果为正类， 真实结果是反类； TN 表示预测结果 为反类， 真实结果 就是反类； 步骤54、 找出当假正例率FPR＝0.1％时的真正例率TPR和预测阈值， 若真正例率TPR＞ 95％， 则确定此时的预测阈值 为真假分类阈值TH， 若否， 则不处 理。权　利　要　求　书 2/3 页 3 CN 115116148 A 3