(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210381777.1 (22)申请日 2022.04.13 (65)同一申请的已公布的文献号 申请公布号 CN 114463856 A (43)申请公布日 2022.05.10 (73)专利权人 深圳金信诺高新 技术股份有限公 司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南九道10号深圳湾 科技生态园10 栋B座26层 (72)发明人 简春兵　龚凡　黄瑞琪　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 孔凡红(51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (56)对比文件 CN 110781765 A,2020.02.1 1 CN 10896 0212 A,2018.12.07 CN 111008583 A,2020.04.14 US 11074711 B1,2021.07.27 WO 2022036777 A1,202 2.02.24 高丙坤 等.人体姿态估计网络的轻量 化设 计. 《实验室研究与探索》 .2020,第39卷(第1期), 审查员 曹春晓 (54)发明名称 姿态估计模型的训练与姿态估计方法、 装 置、 设备及 介质 (57)摘要 本发明公开了一种姿态估计模型的训练与 姿态估计方法、 装置、 设备及介质， 该方法包括： 获取图像样 本集； 通过图像样 本集迭代训练初始 姿态估计模型得到目标姿态估计模型； 其中， 初 始姿态估计模 型包括： 特征提取网络和堆叠沙漏 网络； 特征提取网络包括： 特征提取模块和空间 金字塔池化模块； 空间金字塔池化模块包括： 并 联的第一特征提取单元和第二特征提取单元， 以 及特征融合单元； 第一特征提取单元和第二特征 提取单元设置不同的特征提取尺度， 能够为姿态 估计提供提取同一层更高精度的多尺度特征， 从 而提高基于堆叠沙漏网络的姿态估计模型的姿 态估计精度。 权利要求书3页 说明书15页 附图5页 CN 114463856 B 2022.07.19 CN 114463856 B 1.一种姿态估计模型的训练方法， 其特 征在于， 包括： 获取图像样本集； 通过所述图像样本集迭代训练初始姿态估计模型 得到目标姿态估计模型； 其中， 所述初始姿态估计模型包括： 特征提取网络和堆叠沙漏网络； 所述特征提取网络 包括： 特征提取模块和空间金字塔池化模块； 所述空间金字塔池化模块包括： 并联的第一特 征提取单元和第二特征提取单元， 以及特征融合单元； 所述第一特征提取单元和所述第二 特征提取单元设置不同的特 征提取尺度； 所述初始姿态估计模型中的所述堆叠沙漏网络包括： 第三预设数量的沙漏网络； 所述 第三预设数量小于最佳设置数量； 所述通过所述图像样本集迭代训练初始姿态估计模型 得到目标姿态估计模型包括： 将所述图像样本集中的第 一图像样本集确定为目标图像样本集， 将所述初始姿态估计 模型确定为待训练模型； 通过所述目标图像样本集迭代训练所述待训练模型， 得到有效姿态估计模型； 将所述有效姿态估计模型中堆叠 沙漏网络的沙漏网络个数增 加至最佳设置数量； 将所述图像样本集中的第 二图像样本集确定为目标图像样本集， 将包含最佳设置数量 的沙漏网络的有效姿态估计模型确定为待训练模型； 返回执行通过所述目标图像样本集迭代训练所述待训练模型的操作， 得到目标姿态估 计模型。 2.根据权利要求1所述的方法， 其特征在于， 所述第一特征提取单元包括： 至少一个第 一卷积层； 所述第二特征提取单元包括： 串联的第一预设数量的第二卷积层和金字塔池化 层。 3.根据权利要求2所述的方法， 其特征在于， 所述第 一预设数量为3个；  3个第二卷积层 的卷积核均为1 1， 所述3个第二卷积层中的第 1个卷积层和第2个卷积层连接， 所述第2个 卷积层与所述金字塔池化层连接； 所述金字塔池化层与第3个卷积层连接； 所述金字塔池化层包括： 至少两个并联的最大池化层， 各所述最大池化层的卷积核尺 度不同。 4.根据权利要求1所述的方法， 其特征在于， 所述特征提取模块包括： 第一预设数量的 下采样层和第二预设数量的特 征提取层； 所述下采样层为卷积层。 5.根据权利要求1所述的方法， 其特征在于， 所述通过所述目标图像样本集迭代训练所 述待训练模型的操作包括： 将所述目标图像样本集中的样本图像输入所述待训练模型的特征提取模块进行特征 提取， 得到第一特 征图像； 将所述第一特征图像分别输入所述待训练模型的空间金字塔池化模块中的第一特征 单元和第二特征单元， 将所述第一特征单元输出的第二特征图像和所述第二特征单元输出 的第三特征图像输入所述待训练模型的空间金字塔池化模块中的特征融合单元得到目标 特征图像； 将所述目标特征图像输入所述待训练模型的堆叠沙漏网络获得所述样本图像的定位 图和偏置图， 根据所述定位图和所述偏置图确定所述样本图像中目标体的各关键点的估计 坐标；权　利　要　求　书 1/3 页 2 CN 114463856 B 2根据各所述关键点的估计坐标和各所述关键点的真实坐标计算损失函数值， 并基于损 失函数值对待训练模型中的网络参数进行调整； 返回执行将所述目标图像样本集中的样本图像输入所述待训练模型的特征提取模块 进行特征提取的操作， 直到 达到预设条件。 6.根据权利要求5所述的方法， 其特征在于， 所述偏置 图包括： 第一方向偏置 图和第二 方向偏置图， 所述根据所述定位图和所述偏置图确定所述样本图像中目标体的各关键点的 估计坐标， 包括： 确定所述定位图中各关键点的定位 区域对应的最大响应坐标； 所述关键点的定位区域 是所述样本图像中各关键点的真实坐标对应的预设范围； 对于各所述关键点， 根据所述最大响应坐标和所述第 一方向偏置图中所述关键点的第 一偏置坐标确定第一偏置响应坐标； 根据所述最大响应坐标和所述第二方向偏置图中所述 关键点的第二偏置坐标确定第二偏置响应坐标； 对于各所述关键点， 根据所述第 一偏置响应坐标和所述第 二偏置响应坐标对所述最大 响应坐标进行 无偏估计确定估计坐标。 7.根据权利要求1所述的方法， 其特征在于， 还包括： 通过预设操作对所述图像样本集 中的样本图像进行 数据增强； 所述预设操作包括以下至少一项： 随机 旋转、 随机翻转和随机大小调整。 8.一种姿态估计方法， 其特 征在于， 包括： 获取待解析图像； 将所述待解析图像输入采用权利要求1 ‑7中任一所述的姿态估计模型的训练方法训练 得到的目标姿态估计模型； 获取所述目标姿态估计模型输出的所述待解析图像的目标定位图和目标偏置图； 基于所述目标定位图和所述目标偏置图确定所述待解析图像中目标体的各关键点的 估计坐标， 根据各 所述关键点的估计坐标估计所述目标体的姿态。 9.一种姿态估计模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取图像样本集； 训练模块， 用于通过所述图像样本集迭代训练初始姿态估计模型得到目标姿态估计模 型； 其中， 所述初始姿态估计模型包括： 特征提取网络和堆叠沙漏网络； 所述特征提取网络 包括： 特征提取模块和空间金字塔池化模块； 所述空间金字塔池化模块包括： 并联的第一特 征提取单元和第二特征提取单元， 以及特征融合单元； 所述第一特征提取单元和所述第二 特征提取单元设置不同的特 征提取尺度； 其中， 所述初始姿态估计模型中的所述堆叠沙漏网络包括： 第三预设数量的沙漏网络； 所述第三预设数量小于最佳设置数量； 所述训练模块包括： 第一确定单元， 用于将所述图像样本集中的第一图像样本集确定为目标图像样本集， 将所述初始姿态估计模型确定为待训练模型； 迭代训练单元， 用于通过所述目标图像样本集迭代训练所述待训练模型， 得到有效姿 态估计模型； 数量设置单元， 用于将所述有 效姿态估计模型中堆叠沙漏网络的沙漏网络个数增加至权　利　要　求　书 2/3 页 3 CN 114463856 B 3