(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210956640.4 (22)申请日 2022.08.10 (65)同一申请的已公布的文献号 申请公布号 CN 115035551 A (43)申请公布日 2022.09.09 (73)专利权人 武汉东信同邦信息技 术有限公司 地址 430073 湖北省武汉市东湖新 技术开 发区光谷大道特1号国际企业中心三 期2栋2层0 3室 （自贸区武汉片区） (72)发明人 胡波　胡世卓　周斌　沈振冈　 李艳红　 (74)专利代理 机构 武汉智权专利代理事务所 (特殊普通 合伙) 42225 专利代理师 余浩 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/80(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01)G06V 10/766(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 114613001 A,202 2.06.10 CN 114627491 A,202 2.06.14 CN 114758205 A,2022.07.15 CN 114548224 A,202 2.05.27 CN 113643366 A,2021.1 1.12 Hanyue T u 等.VoxelPose: To wards Multi-Camera 3D Human Pose Estimati on in Wild Enviro nment. 《arXiv:20 04.06239v4 [cs.CV]》 .2020, Haibo Qiu 等.Cros s View Fusi on for 3D Human Pose Estimati on. 《arXiv:1909.0120 3v1 [cs.CV]》 .2019, Bowen Cheng 等.HigherHRNet: Scale- Aware Representati on Learning for Bot tom- Up Human Pose Estimati on. 《CVPR 2020》 .2020, 审查员 党英霞 (54)发明名称 三维人体姿态估计方法、 装置、 设备及存储 介质 (57)摘要 本发明公开了一种三维人体姿态估计方法、 装置、 设备及存储介质， 所述方法通过采用多视 图融合网络生成输入图像对应的目标热图， 将所 述目标热图的人体中心点热图信息进行匹配融 合， 获得融合信息； 将所述融合信息投影到3D空 间， 获得三维特征体积； 根据所述三维特征体积 估计三维人体姿态， 能够提高三维人体姿态估计 的准确性， 减少了其它人体关键点的推理搜索空 间， 又降低了三维人体姿态估计的误差， 提高了 姿态的重建质量， 降低了计算成本， 避免了量化 误差影响， 提升了三维人体姿态估计的准确度， 方案实施简单可靠， 能够适用于大部分场景的三维人体姿态估计， 提升了三维人体姿态估计的速 度和效率。 权利要求书2页 说明书13页 附图9页 CN 115035551 B 2022.12.02 CN 115035551 B 1.一种三维人体姿态估计方法， 其特 征在于， 所述 三维人体姿态估计方法包括： 采用多视图融合网络生成输入图像对应的目标热图， 将所述目标热图的人体中心点热 图信息进行匹配融合， 获得融合信息； 将所述融合信息投影到 3D空间， 获得三维特 征体积； 根据所述 三维特征体积估计三维人体姿态； 其中， 所述采用多视 图融合网络生成输入图像对应的目标热图， 将所述目标热图的人 体中心点热图信息进行匹配融合， 获得融合信息， 包括： 将输入图像输入至多视图融合网络的高分辨 率网络中， 获取高分辨 率特征信息； 根据所述高分辨率特征信 息构建所述高分辨率网络的残差单元， 对所述残差单元进行 卷积采样， 获得多分辨 率模块； 将所述多分辨 率模块中各阶段不同分辨 率的特征图进行融合， 获得目标 热图； 将所述目标 热图的人体中心点热图信息进行匹配融合， 获得融合信息； 其中， 所述将所述目标热图的人体中心点热图信息进行匹配融合， 获得融合信息， 包 括： 将所述目标 热图中人体髋关节之间的预设 关键点作为人体中心点； 根据多视图的人体中心点将所述目标热图的人体中心点热图信 息进行匹配融合， 获得 融合信息 。 2.如权利要求1所述的三维人体姿态估计方法， 其特征在于， 所述将所述多分辨率模块 中各阶段不同分辨 率的特征图进行融合， 获得目标 热图， 包括： 将所述多分辨 率模块中各阶段不同分辨 率的特征图进行融合， 获得融合特 征图； 将所述融合特征图输入反卷积模块， 经过卷积和通道转换,获得输出结果， 将所述输出 结果与所述融合特 征图进行维度上的拼接， 获得拼接特 征； 根据反卷积层将所述拼接特征的分辨率进行提升， 并通过所述残差单元提取分辨率提 升后的拼接特 征的目标 特征信息， 根据所述目标 特征信息生成目标 热图。 3.如权利要求1所述的三维人体姿态估计方法， 其特征在于， 所述根据多视图的人体中 心点将所述目标 热图的人体中心点热图信息进行匹配融合， 获得融合信息， 包括： 根据多视图的人体中心点将所述目标热图中各图中心点对应的极线进行采样， 获得对 应点集合； 根据所述对应点 集合在对应的坐标处生成所述目标 热图高斯分布的概 率区域； 通过全连接层融合所述概率区域中对极线上所有点的值， 获得最终融合的中心点坐 标； 根据所述中心点坐标将所述目标热图的人体中心点热图信 息进行坐标匹配融合， 获得 融合信息 。 4.如权利要求1所述的三维人体姿态估计方法， 其特征在于， 所述将所述融合信 息投影 到3D空间， 获得三维特 征体积， 包括： 获取摄像机的相机校准数据， 利用所述相机校准数据将所述融合信 息中的每个体素中 心都投影到相机 视图中， 获得相机 视图投影数据； 利用3D CNN网络根据所述相机 视图投影数据构建三维特 征体积。 5.如权利要求1所述的三维人体姿态估计方法， 其特征在于， 所述根据 所述三维特征体权　利　要　求　书 1/2 页 2 CN 115035551 B 2积估计三维人体姿态， 包括： 将所述三维特征体积划分为若干个离 散网格； 获取各离散网格中各关键点的3D热图空间坐标， 将所述3D热图空间坐标进行回归， 获 得三维人体姿态。 6.一种三维人体姿态估计装置， 其特 征在于， 所述 三维人体姿态估计装置包括： 融合模块， 用于采用多视 图融合网络生成输入图像对应的目标热图， 将所述目标热图 的人体中心点热图信息进行匹配融合， 获得融合信息； 投影模块， 用于将所述融合信息投影到 3D空间， 获得三维特 征体积； 姿态估计模块， 用于根据所述 三维特征体积估计三维人体姿态； 所述融合模块， 还用于将输入图像输入至多视 图融合网络的高分辨率网络中， 获取高 分辨率特征信息； 根据所述高分辨率特征信息构建所述高分辨率网络的残差单元， 对所述 残差单元进行卷积采样， 获得多分辨率模块； 将所述多分辨率模块中各阶段不同分辨率的 特征图进 行融合， 获得目标热图； 将所述目标热图的人体中心 点热图信息进行匹配融合， 获 得融合信息； 所述融合模块， 还用于将所述目标热图中人体髋关节之间的预设关键点作为人体 中心 点； 根据多视图的人体中心点将所述 目标热图的人体中心点热图信息进行匹配融合， 获得 融合信息 。 7.一种三维人体姿态估计设备， 其特征在于， 所述三维人体姿态估计设备包括： 存储 器、 处理器及存储在所述存储器上并可在所述处理器上运行 的三维人体姿态估计程序， 所 述三维人体姿态估计程序配置为实现如权利要求1至5中任一项所述的三维人体姿态估计 方法的步骤。 8.一种存储介质， 其特征在于， 所述存储介质上存储有三维人体姿态估计程序， 所述三 维人体姿态估计程序被处理器执行时实现如权利要求1至5中任一项所述的三维人体姿态 估计方法的步骤。权　利　要　求　书 2/2 页 3 CN 115035551 B 3