(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210892442.6 (22)申请日 2022.07.27 (71)申请人 山东博昂信息科技有限公司 地址 250098 山东省济南市高新区开拓路 2350号研发中心1-701-1 1 (72)发明人 庞先昂　孙振行　乔文静　董利亚　 (74)专利代理 机构 山东瑞宸知识产权代理有限 公司 37268 专利代理师 于晓丽 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/62(2022.01) (54)发明名称 一种人脸跟踪与识别方法、 系统及存 储介质 (57)摘要 本发明涉及一种人脸跟踪与 识别方法、 系统 及存储介质， 所述方法包括以下步骤： 接收采集 被识别者的视频序列； 从视频序列中生成第一人 体图像并进行图像重建； 对重建后的人体图像进 行人体特征值提取， 生成人体特征图； 从第一人 体图像检测出人体头部并进行3D人脸图像重建； 对重建后的第二人体头部图像提取人脸特征值， 生成人脸特征图， 将人脸特征图和人体特征值进 行拼接形成人脸 ‑人体特征图， 根据人脸 ‑人体特 征图对被识别者进行对比识别。 本发 明有效的解 决了受场景大、 成像设备像素低、 距离较远、 环境 等因素的影 响， 实现对复杂大场景中的人脸跟踪 与识别， 得到的人脸图像清晰、 分辨率高， 最终能 够大幅提升公安机关对发现特定目标后的截获 率。 权利要求书2页 说明书6页 附图2页 CN 115171195 A 2022.10.11 CN 115171195 A 1.一种人脸跟踪与识别方法， 其特 征在于： 所述方法包括以下步骤： 接收来自监控 采集的包 含被识别者的视频序列； 根据所述视频序列检测出个体图像样本， 利用人体检测算法定位出个体图像样本 中的 人体， 生成第一人体图像； 对所述第一人体图像进行图像重建， 生成第二人体图像； 对生成的第二人体图像进行 人体特征值提取， 生成人体特 征图； 对所述第一人体图像进行人体头部检测， 得到第一人体头部 图像， 对所述第一人体头 部图像进行3D人脸图像重建， 生成第二人体头 部图像； 对第二人体头 部图像提取 人脸特征值， 生成人脸特 征图； 将所述人脸特征图和人体特征图进行特征拼接形成人脸 ‑人体特征图， 根据人脸 ‑人体 特征图对被识别者进行对比识别。 2.根据权利要求1所述的一种人脸跟踪与识别方法， 其特征在于： 对所述第 一人体图像 进行图像重建步骤具体包括： 利用预先生成的超分辨率重建网络模型对所述第 一人体图像进行重建， 得到第 二人体 图像。 3.根据权利要求2所述的一种人脸跟踪与识别方法， 其特征在于， 所述超分辨率重建网 络模型的生成方法包括： 设定训练参数和内容损失函数， 构建初始模型； 采集训练样本集， 所述训练样本集包括个 体图像样本与对应的低分辨 率图像； 将低分辨率图像输入所述初始模型， 所述低分辨率图像经过初始模型提升分辨率， 得 到图像SR， 将所述图像SR与所述个体图像样 本进行比较， 得到差异 值， 利用所述差异值调整 所述训练参数直至所述内容损失函数降低至预设最小阈值， 得到超分辨 率重建网络模型。 4.根据权利要求1所述的一种人脸跟踪与识别方法， 其特征在于： 所述人体检测算法是 深度学习目标检测算法。 5.根据权利要求1所述的一种人脸跟踪与识别方法， 其特征在于： 生成所述第 一人体头 部图像的方法包括以下步骤： 将所述第一人体图像发送至预 先生成的人体头 部检测模型； 基于所述预 先生成的人体头 部检测模型 得到人体头 部框信息； 根据所述人体头 部框信息对所述第一人体图像进行切割得到第一人体头 部图像。 6.根据权利要求5所述的一种人脸跟踪与识别方法， 其特征在于： 所述人体头部检测模 型的生成方法包括： 选取人体头部框信息， 构建原 始训练集； 对人体头 部框内区域进行随机放大， 构建增广训练集； 输入增广训练集到原 始人体头 部检测模型， 得到预测的人体头 部框信息； 结合预测的人体头部框信 息与原始训练集中的人体头部框信 息计算总损失函数， 训练 总损失函数， 得到人体头 部检测模型。 7.根据权利要求1所述的一种人脸跟踪与识别方法， 其特征在于： 所述3D人脸图像重建 的方法包括： 从所述第一人体图像中获取第一人体头 部图像；权　利　要　求　书 1/2 页 2 CN 115171195 A 2利用预先生成的3D人脸模型对所述第一人体头部图像进行重建， 得到第 二人体头部图 像。 8.根据权利要求1所述的一种人脸跟踪与识别方法， 其特征在于： 所述3D人脸模型包 括： 身份一 致性学习部分和场景优化部分； 所述身份一致性学习部分采用无监督式的深度学习方法， 将输入的第 一人体头部图像 分解成标准深度图和标准原色图， 然后再通过渲染器渲染出的结果 来构建重构损失； 所述场景优化部分使用编码器从 目标图像中抽取真实的纹理和深度信 息， 然后融合进 入“标准脸”进行3D人脸重建。 9.一种人脸跟踪与识别系统， 其特 征在于， 包括： 图像采集模块 （1） ， 用于获取复杂场景中的被识别者的视频序列， 从而获取个体图像样 本； 人体定位模块 （2） ， 用于在个体图像样本上进行人体的初步定位处理， 获取候选人体区 域的第一人体图像； 图像重建模块 （3） ， 用于对第一人体图像进行图像重建， 得到清晰度 更高的第二人体图 像； 人体特征提取模块 （4） ， 用于对生成的人体图像进行人体特征值的提取， 生成人体特征 图； 人体头部定位生成模块 （5） ， 用于对第一人体图像检测出人体头部， 选取人体头部框信 息， 根据所述人体头 部框信息对所述人体图像进行切割得到第一人体头 部图像； 3D人脸图像重建模块 （6） ， 用于对第一人体头部图像进行3D人脸 图像重建得到第二人 体头部图像； 人脸特征提取模块 （7） ， 用于对第二人体头 部图像提取 人脸特征值， 生成人脸特 征图； 特征拼接模块 （8） ， 用于将人脸特征图和人体特征图进行特征拼接， 形成人脸 ‑人体特 征图； 比对识别跟踪模块 （9） ， 将生成到的人脸 ‑人体特征图与待跟踪人物的特征进行对比， 来判断是否是同一个人， 从而实现跟踪与识别。 10.一种计算机可读存储介质， 其特征在于： 存储有能够被处理器加载并执行如权利要 求1‑8中任一种方法中的计算机程序。权　利　要　求　书 2/2 页 3 CN 115171195 A 3