(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211123770.6 (22)申请日 2022.09.15 (71)申请人 杭州嘉楠耘智 信息科技有限公司 地址 310000 浙江省杭州市江干区九环路 九号4号楼12楼1203室 (72)发明人 刘杰　翟新刚　张楠赓　 (74)专利代理 机构 北京市中伦律师事务所 11410 专利代理师 吴迪 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 人脸识别方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种人脸识别方法、 装置、 电 子设备及存储介质， 其中， 该方法包括： 获取佩戴 口罩的待识别第一人脸图片； 利用混合人脸识别 模型， 对第一人脸图片进行特征提取， 得到第一 人脸特征； 基于第一人脸特征和预设的混合人脸 特征库确定第一人脸图片的人脸识别结果。 本公 开中的混合人脸识别模型是混合佩戴口罩的人 脸图片样本以及未佩戴口罩的人脸图片样本训 练得到的， 对于口罩遮挡所产生的人脸特征有了 更为精准的表现能力， 这使 得对于佩戴口罩的目 标人脸具有较高的识别准确率。 权利要求书3页 说明书15页 附图4页 CN 115471891 A 2022.12.13 CN 115471891 A 1.一种人脸识别方法， 其特 征在于， 包括： 获取佩戴口罩的待识别第一人脸图片； 利用混合人脸识别模型， 对所述第一人脸图片进行 特征提取， 得到第一人脸特 征； 基于所述第 一人脸特征和预设的混合人脸特征库， 确定所述第 一人脸图片的人脸识别 结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述混合人脸特 征库的预设包括： 利用所述混合人脸识别模型对未佩戴口罩的待注册第 二人脸图片进行特征提取， 得到 第二人脸特 征； 将所述第二人脸特 征添加至所述混合人脸特 征库。 3.根据权利要求2所述的方法， 其特 征在于， 还 包括： 对所述第二人脸图片添加仿真口罩， 得到第三人脸图片； 利用所述混合人脸识别模型对所述第三人脸图片进行 特征提取， 得到第三人脸特 征； 将所述第三人脸特 征添加至所述混合人脸特 征库。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第 一人脸特征和预设的混合 人脸特征库， 确定所述第一人脸图片的人脸识别结果， 包括： 将所述第一人脸特征与所述混合人脸特征库中的第二人脸特征和第三人脸特征进行 匹配， 得到人脸识别结果。 5.根据权利要求1所述的方法， 其特征在于， 所述混合人脸识别模型基于普通人脸图片 样本及口罩人脸图片样本训练得到 。 6.根据权利要求5所述的方法， 其特 征在于， 所述混合人脸识别模型的训练包括： 获取人脸图片训练集， 所述人脸图片训练集包括普通人脸图片样本及口罩人脸图片样 本； 利用待训练的混合人脸识别模型对所述人脸图片训练集进行至少一轮的模型训练， 训 练得到所述混合人脸识别模型。 7.根据权利要求6所述的方法， 其特征在于， 所述口罩人脸图片样本包括所述普通人脸 图片样本对应的部分或全部 仿真口罩人脸样本 。 8.根据权利要求7所述的方法， 其特征在于， 所述口罩人脸图片样本还包括采集真实人 脸佩戴口罩的真实口罩人脸样本 。 9.根据权利要求6所述的方法， 其特征在于， 所述普通人脸图片样本的数量大于或等于 所述口罩人脸图片样本的数量。 10.根据权利要求6至9中任一项所述的方法， 其特征在于， 所述利用待训练的混合人脸 识别模型对所述人脸图片训练集进行至少一轮的模型训练， 训练得到所述混合人脸识别模 型， 包括： 对所述人脸图片训练集包括的各 人脸图片样本进行 特征提取， 得到训练人脸特 征； 对所述训练样本人脸特 征进行人脸分类， 得到分类结果； 基于所述分类结果与针对人脸图片样本的标注结果调 整模型参数值， 直至达到模型收 敛条件。 11.根据权利要求6至9中任一项所述的方法， 其特征在于， 在所述训练得到所述混合人 脸识别模型之后， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 115471891 A 2获取人脸图片验证集， 所述人脸图片验证集包括普通人脸图片样本及口罩人脸图片样 本； 从所述人脸图片验证集中选取两个人脸图片样本； 对所述两个人脸图片样本分别进行 特征提取， 得到 两个验证样本人脸特 征； 基于所述两个验证样本人脸特征对训练得到的混合人脸识别模型进行验证， 得到模型 验证结果。 12.根据权利要求1所述的方法， 其特征在于， 所述基于所述第一人脸特征和预设的混 合人脸特 征库， 确定所述第一人脸图片的人脸识别结果， 包括： 获取所述混合人脸特 征库； 将所述第一人脸特征与所述混合人脸特征库中的各人脸特征进行匹配， 得到第 一匹配 结果； 基于所述第一匹配结果确定所述第一人脸图片的人脸识别结果。 13.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取未佩戴口罩的待识别第四人脸图片； 利用常规人脸识别模型， 对所述第四人脸图片进行特征提取， 得到第四人脸特征； 所述 常规人脸识别模型基于普通人脸图片样本训练得到； 基于所述第四人脸特征和预设的常规人脸特征库， 确定所述第四人脸图片的人脸识别 结果。 14.根据权利要求13所述的方法， 其特征在于， 所述基于所述第四人脸特征和预设的常 规人脸特 征库， 确定所述第四人脸图片的人脸识别结果， 包括： 获取常规人脸特 征库； 将所述第四人脸特征与所述常规人脸特征库中的各人脸特征进行匹配， 得到第 二匹配 结果； 基于所述第二匹配结果确定所述第四人脸图片的人脸识别结果。 15.根据权利要求13所述的方法， 其特 征在于， 所述常规人脸特 征库的预设包括： 利用所述常规人脸识别模型对未佩戴口罩的待注册第五人脸图片进行特征提取， 得到 第五人脸特 征； 将所述第五人脸特 征添加至所述常规人脸特 征库。 16.一种人脸识别装置， 其特 征在于， 包括： 第一获取模块， 用于获取佩戴口罩的待识别第一人脸图片； 第一提取模块， 用于利用混合人脸识别模型， 对所述第 一人脸图片进行特征提取， 得到 第一人脸特征； 所述混合人脸识别模型基于普通人脸图片样本及口罩人脸图片样本训练得 到； 第一识别模块， 用于基于所述第一人脸特征和预设的混合人脸特征库， 确定所述第一 人脸图片的人脸识别结果。 17.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过总 线通信， 所述机器可读指令被所述处理器执行时执行如权利要求1至15任一所述的人脸识 别方法。权　利　要　求　书 2/3 页 3 CN 115471891 A 3