(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210979955.0 (22)申请日 2022.08.16 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 李骁　于欣璐　赖众程　常鹏　 高洪喜　冯晋飞　张莉　胡云飞　 邓兆卉　苏杰　陈杭　黎利　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 郑明耀 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 40/02(2012.01) G06T 3/40(2006.01) (54)发明名称 视频面签中人脸微表情识别方法、 装置、 设 备和存储介质 (57)摘要 本发明公开了一种视频面签中人脸微表情 识别方法、 装置、 设备和存储介质， 通过 获取视频 中每一帧人脸图像对应的低分辨率图像和 高分 辨率图像； 对低分辨率图像和高分辨率图像分别 进行特征提取， 得到低分辨率图像对应的低分辨 率特征图以及高分辨率图像对应的高分辨率特 征图； 根据低分辨率特征图和高分辨率特征图， 确定得到关键点特征图； 根据关键点特征图， 确 定人脸图像的人脸表情识别结果； 根据人脸图像 的人脸表情识别结果， 确定视频面签风险评估结 果； 本申请实施例通过低分辨率图像和高分辨率 图像得到关键点特征图， 提高人脸关键点检测的 准确率， 抗干扰能力强， 如此， 通过关键点特征图 确定人脸表情识别结果， 提高表情识别结果的准 确度。 权利要求书2页 说明书14页 附图3页 CN 115359530 A 2022.11.18 CN 115359530 A 1.一种视频面签中人脸 微表情识别方法， 其特 征在于， 所述方法包括： 获取视频中每一帧人脸图像对应的低分辨 率图像和高分辨 率图像； 对所述低分辨率图像和所述高分辨率图像分别进行特征提取， 得到所述低分辨率图像 对应的低分辨 率特征图以及所述高分辨 率图像对应的高分辨 率特征图； 根据所述低分辨 率特征图和所述高分辨 率特征图， 确定得到关键点特 征图； 根据所述关键点特 征图， 确定所述人脸图像的人脸表情识别结果； 根据每一帧所述人脸图像的人脸表情识别结果， 确定 视频面签风险评估结果。 2.如权利要求1所述的视频面签中人脸微表情识别方法， 其特征在于， 所述根据 所述低 分辨率特征图和所述高分辨 率特征图， 确定得到关键点特 征图， 包括： 对所述低分辨 率特征图和所述高分辨 率特征图进行图像融合， 得到融合特 征图； 将所述融合特征图输入至注意力特征提取模型进行特征提取， 得到所述人脸图像对应 的关键点特 征图。 3.如权利要求2所述视频面签中人脸微表情识别方法， 其特征在于， 所述将所述融合特 征图输入特征提取模型进行注意力特征提取， 得到所述人脸图像对应的关键点特征图之 前， 所述方法包括： 获取人脸样本图像， 以及每一张所述人脸样本图像对应的人脸关键点数据； 基于高斯分布， 确定每一张所述人脸样本图像对应的人脸关键点数据中每一个关键点 的掩膜； 基于所述人脸样本图像对应的人脸关键点数据中的每个关键点的掩膜， 得到所述人脸 样本图像的结构先验特 征； 通过初始检测模型对每一张所述人脸样本图像进行特征提取， 得到每一张所述人脸样 本图像对应的关键点样本特 征图； 根据每一张所述人脸样本图像对应的关键点样本特征图和每一张所述人脸样本图像 的结构先验特 征得到训练损失值； 根据所述训练损失值对所述初始检测模型进行参数调 整， 直至所述初始检测模型满足 预设收敛 条件， 得到特 征提取模型。 4.如权利要求1所述的视频面签中人脸微表情识别方法， 其特征在于， 所述根据 所述关 键点特征图， 确定所述人脸图像的人脸表情识别结果包括： 对所述关键点特征图进行坐标变换， 得到所述人脸图像对应的人脸关键点以及所述人 脸图像的人脸关键点之间的位置关系； 将所述人脸图像的人脸关键点、 所述人脸图像的人脸关键点之间的位置关系输入至表 情识别模型， 得到所述人脸图像的微表情识别结果。 5.如权利要求4所述的视频面签中人脸微表情识别方法， 其特征在于， 所述对所述关键 点特征图进行坐标变换， 得到所述人脸图像对应的人脸关键点以及所述人脸图像的人脸关 键点之间的位置关系包括： 对所述关键点特 征图进行坐标变换， 得到所述关键点特 征图中的特 征点坐标； 将所述关键点特征图中的特征点坐标映射到所述人脸图像中， 得到所述人脸图像的人 脸关键点； 根据所述人脸图像的每一个人脸关键点之间的距离， 得到所述人脸图像的人脸关键点权　利　要　求　书 1/2 页 2 CN 115359530 A 2之间的位置关系。 6.如权利要求1所述的视频面签中人脸微表情识别方法， 其特征在于， 所述获取视频中 每一帧人脸图像对应的低分辨 率图像和高分辨 率图像包括： 针对视频图像每一帧人脸图像， 对该帧人脸图像进行降采样， 得到该帧人脸图像对应 的低分辨 率图像； 对该帧图像进行差值处 理和上采样， 得到该帧图像对应的高分辨 率图像。 7.如权利要求1至6任一项所述的视频面签中人脸微表情识别方法， 其特征在于， 所述 根据每一帧所述人脸图像的人脸表情识别结果， 确定 视频面签风险评估结果包括： 根据每一帧所述人脸图像的人脸表情识别结果确定每一帧所述人脸图像对应的表情 风险等级； 统计每一帧所述人脸图像对应的表情风险等级， 得到所述视频的最大表情风险等级和 平均表情风险等级； 根据所述视频的最大表情风险等级和平均表情风险等级， 确定得到视频面签风险评估 结果。 8.一种视频面签中人脸 微表情识别装置， 其特 征在于， 所述装置包括： 分解模块， 用于获取视频中每一帧人脸图像对应的低分辨 率图像和高分辨 率图像； 特征提取模块， 用于对所述低分辨率图像和所述高分辨率图像分别进行特征提取， 得 到所述低分辨 率图像对应的低分辨 率特征图以及所述高分辨 率图像对应的特 征图； 特征图提取模块， 用于对所述低分辨率特征图和所述特征图进行注意力特征提取， 得 到关键点特 征图； 识别模块， 用于将根据所述关键点特征图， 确定每一帧所述人脸图像的人脸表情识别 结果； 评估模块， 用于根据每一帧所述人脸图像的人脸表情识别结果， 确定视频面签风险评 估结果。 9.一种视频面签 中人脸微表情识别设备， 其特征在于， 包括存储器和处理器； 所述存储 器存储有应用程序， 所述处理器用于运行所述存储器内的应用程序， 以执行权利要求1至7 任一项所述的视频面签中人脸 微表情识别方法中的操作。 10.一种存储介质， 其特征在于， 所述存储介质存储有多条指令， 所述指令适于处理器 进行加载， 以执 行权利要求1至7任一项所述的视频面签中人脸 微表情识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115359530 A 3