(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211139036.9 (22)申请日 2022.09.19 (71)申请人 北京航空航天大 学 地址 100190 北京市海淀区学院路37号 (72)发明人 刘偲　姜文韬　张天宇　杨山　 李波　张永飞　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/24(2022.01)G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 鲁棒的姿态估计方法及其在朝向判 断的应 用及相关方法 (57)摘要 本发明提供了一种鲁棒的姿态估计方法及 其在朝向判断的应用及相关方法， 首先训练鲁棒 的人体姿态估计算法， 使用人体姿态模型对输入 图片进行人体 关键点检测。 该鲁棒的人体姿态估 计算法将全局人体关键点检测以及人体局部部 位关键点检测进行融合， 输出鲁棒的人体姿态。 然后基于输出的人体姿态， 可以计算人体水平向 量与垂直向量以及关键肢体的朝向和长度， 从而 对人体进行快速且具有可解释性的人体朝向判 断。 通过检测到关键点的个数以及置信度则可以 进行人体图像质量评价。 权利要求书2页 说明书6页 附图2页 CN 115331263 A 2022.11.11 CN 115331263 A 1.一种鲁棒的姿态估计方法， 其特 征在于， 包括如下步骤： S1、 对人体图片 I进行人体部位 解析， 得到集 合{Ip}， 其中Ip表示不同的人体部位图片； S2、 将人体图片 I输入全身人体姿态估计网络PoseNet， 预测得到全身关键点结果， 包 括： 全身人体关键点热力图 ki以及置信度 ci； S3、 将人体部位图片 Ip输入仿射学习变换网络， 进行仿射变换学习， 得到转 向偏正的人 体部位图片集 合{Ip’}； S4、 将人体部位图片集合{ Ip’}输入人体部件关键点估计网络PartNet， 预测得到部位关 键点结果， 包括： 每 个部位Ip’所包含的部位人体关键点热力图 以及置信度 ； S5、 对全身关键点结果和部位关键点结果进行加权融合， 得到鲁棒的人体姿态关键点 识别结果。 2.根据权利要求1所述的鲁棒的姿态估计方法， 其特征在于， 所述全身人体关键点 ki和 部位人体关键点 从属于相同的人体关键点集合， 所述人体关键点集合包含每个人体部 位图片中的人体关键点。 3.根据权利要求2所述的鲁棒的姿态估计方法， 其特征在于， 所述{ Ip}至少包括以下人 体部位的图片： 左手、 左下臂、 左上臂、 右手、 右下臂、 右上臂、 左脚、 左小腿、 左大腿、 右脚、 右 小腿、 右大腿和头部； 所述人体 关键点集合至少包括以下人体部位的关键点： 鼻子、 左眼、 右 眼、 左耳、 右耳、 左肩、 右肩、 左肘、 右肘、 左腕、 右腕、 颈部、 左髋、 右髋、 左膝、 右膝、 左踝和右 踝。 4.根据权利要求1所述的鲁棒的姿态估计方法， 其特征在于， 还包括根据鲁棒的人体姿 态关键点识别结果进行 人体图片 质量分类的步骤： 获取所述鲁棒的人体姿态关键点识别结果中设定人体部位图片中所有关键点的置信 度求和， 若所有部位的求和置信度低于设置的阈值， 则赋予该 人体图片 I低质量标签。 5.一种权利要求1 ‑3中任一项所述的鲁棒的姿态估计方法在识别图片中人体朝向的应 用， 其特征在于， 利用所述鲁棒的姿态估计方法得到的鲁棒的人体姿态关键点识别结果， 检 测所述人体图片 I中的人体朝向。 6.一种图片中人体朝向的识别方法， 其特 征在于， 包括如下步骤： S1、 对人体图片 I进行人体部位 解析， 得到集 合{Ip}， 其中Ip表示不同的人体部位图片； S2、 将人体图片 I输入全身人体姿态估计网络Posenet， 预测得到全身关键点结果， 包 括： 全身人体关键点 ki以及置信度 ci； S3、 将人体部位图片 Ip输入仿射学习变换网络， 进行仿射变换学习， 得到转 向偏正的人 体部位图片集 合{Ip’}； S4、 将人体部位图片集合{ Ip’}输入人体部件关键点估计网络PartNet， 预测得到部位关 键点结果， 包括： 每 个部位Ip’所包含的部位人体关键点 以及置信度 ； S5、 对全身关键点结果和部位关键点结果进行加权融合， 得到鲁棒的人体姿态关键点 识别结果； S6、 获取鲁棒的人体姿态关键点识别结果中以下人体部位的关键点： 左肩、 右肩、 颈部、 左髋、 右髋和鼻子， 计算左肩关键点至右肩关键点的长度一， 以及颈部 关键点到置信度不为权　利　要　求　书 1/2 页 2 CN 115331263 A 2零的左髋/右髋关键点的长度二， 计算长度一和长度二的比例判断人体图片 I中行人朝向是 否为侧面， 然后再根据鼻子关键点向量的夹角判断人体图片 I中行人的朝向是左朝向或者 右朝向； 计算人体水平向量和人体垂直向量之间的夹角d， 根据夹角d的值判断人体图片 I中行 人的朝向为正面 或者背面； 其中， 由左肩关键点到右肩关键点构成人体水平向量， 由颈部关 键点到左髋关键点构成人体左垂直向量， 由颈部关键点到右髋关键点构成人体右垂直向 量， 人体左垂直向量和人体右 垂直向量 求和得到人体垂直向量。 7.根据权利要求6所述的鲁棒的姿态估计方法， 其特征在于， 所述S6之前， 还包括： 筛选 所述鲁棒的人体姿态关键点识别结果中预设的关键点， 根据该关键点的置信度与阈值的大 小关系， 判断所述人体图片 I是否属于未知朝向， 若否则执 行所述S6。 8.根据权利要求7所述的鲁棒的姿态估计方法， 其特征在于， 还包括根据鲁棒的人体姿 态关键点识别结果进 行人体图片 I质量分类的步骤： 根据所述S 6得到的行人朝向信息， 若朝 向被判定为未知朝向， 则赋予该 人体图片 I低质量标签。权　利　要　求　书 2/2 页 3 CN 115331263 A 3