(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211084071.5 (22)申请日 2022.09.06 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 毛爱华　张翘楚　王梓旭　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06V 40/20(2022.01) G06F 17/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于身体部位分组的对称语义图卷积 姿态估计方法 (57)摘要 本发明公开了一种基于身体部位分组的对 称语义图卷积姿态估计方法， 包括如下步骤： S1、 输入二维人体 关节点及其连接关系， 构建关节点 图结构的对称语义图卷积层和非局部层； S2、 根 据身体躯干， 进行身体部位分组， 分别得到各躯 干的局部及非局部特征和全身的局部及非局部 特征， 并对 得到的特征进行融合计算； S3、 基于对 称语义图卷积层、 非局部层和身体部位分组， 构 建身体部位分组的对称语义图卷积姿态估计网 络模型； S4、 使用Human3.6M 数据集对所述对称语 义图卷积姿态估计网络模型进行训练， 将待估计 的二维人体关节点输入经过训练的对称语义图 卷积姿态估计网络模型， 输出估计的三维人体关 节点。 本发明可应用于电影动画、 虚拟现实、 运动 动作分析等领域， 且方法效果更优， 泛化能力提 升。 权利要求书2页 说明书7页 附图2页 CN 115546888 A 2022.12.30 CN 115546888 A 1.一种基于身体部位分组的对称语义图卷积姿态估计方法， 其特征在于， 所述对称语 义图卷积姿态估计方法包括如下步骤： S1、 输入电影动画、 虚拟现实或运动动作中二维人体关节点及其连接关系， 构建关节点 图结构的对称语义图卷积层和非局部层； S2、 根据身体躯干， 进行身体部位分组， 分别得到各躯干的局部及非局部特征和全身的 局部及非局部特 征， 并对得到的特 征进行融合计算； S3、 基于对称语义图卷积层、 非局部层和身体部位分组， 构建身体部位分组的对称语义 图卷积姿态估计网络模型； S4、 使用Human3.6M数据 集对所述对称语义图卷积姿态估计 网络模型进行训练， 将待估 计的二维人体关节点输入经过训练的对称语义图卷积姿态估计网络模型， 输出估计的三 维 人体关节点。 2.根据权利要求1所述的一种基于身体部位分组的对称语义图卷积姿态估计方法， 其 特征在于， 所述步骤S1中使用二维人体关节点及其连接关系， 构建关节点图结构的对称语 义图卷积层过程如下： 令X(l)和X(l+1)分别表示图结构 中节点经过第l层卷积前、 后的特征， 则对称图卷积的形 式为： X(l+1)＝σ(WX(l)Asym)       (1) 其中， σ()表 示激活函数， W表 示可学习的权重参数， Asym是对图的邻接矩阵A对称归一化 后得到的矩阵， 表示如下： 其中， A是图的邻接矩阵， D是度矩阵； 通过在对称图卷积的基础上添加了一个可学习的加权矩阵M， 构建得到对称语义图卷 积层， 所述对称语义图卷积层的计算公式表达如下： X(l+1)＝σ(WX(l)ρi(M⊙Asym))      (3) 其中， ρi()是Soft max非线性函数， 用于对节点i的矩阵进行归一化， ⊙表示矩阵对应的 元素相乘运 算。 3.根据权利要求2所述的一种基于身体部位分组的对称语义图卷积姿态估计方法， 其 特征在于， 所述步骤S1中使用二维人体关节点及其连接关系， 构建关节点图结构的非局部 层的过程如下： 将非局部层的运 算定义为： 其中， Wx表示可学习的权重参数W的归一化因子， K表示节点个 数， i表示所要计算的目标 节点的索引， j表示除i之外的节点的索引； 分别表示节点i,j的输入特征； 表示节点i的输出特征； f(,)是可学习的二元函数， 用于计算两个输入特征的相似度； g() 是可学习的一元函数， 用于对输入特 征进行变换。权　利　要　求　书 1/2 页 2 CN 115546888 A 24.根据权利要求3所述的一种基于身体部位分组的对称语义图卷积姿态估计方法， 其 特征在于， 所述步骤S2中， 把人体关节点分解 成左肢组、 右肢组、 全身组， 各 组通过独立子网 络增强局部 关系， 然后采用晚融合的特征融合方式， 先学习每个组中的特征， 然后对每个组 中的特征进行融合， 特 征融合定义 为： ffuse＝Concat(fleft,fright,fall)     (5) 其中， Concat(,,)表示将特征进行连接操作， fleft为左肢组的特征， fright为右肢组的特 征， fall为全身组的特 征， ffuse为融合后得到的特 征。 5.根据权利要求4所述的一种基于身体部位分组的对称语义图卷积姿态估计方法， 其 特征在于， 所述步骤S3中， 基于对称语义图卷积层和非局部层构建多个对称语义图卷积模 块， 所有对称语义图卷积模块具有相同的结构， 每一个对称语义图卷积模块由两个对称语 义图卷积层和一个非局部层依次顺序连接组成； 在对称语义图卷积网络中， 先使用一个对称语义图卷积层和使用一个非局部层， 将输 入映射到潜在空间； 然后通过四个依次顺序连接的对称 语义图卷积模块， 得到编 码的特征， 对称语义图卷积网络中所有对称语义图卷积层之后都进行批标准 化和ReLU非线性激活； 所述身体部位分组的对称语义图卷积姿态估计网络模型包括第一分支、 第二分支、 第 三分支， 其中， 第一分支、 第二分支、 第三分支均使用对称 语义图卷积网络进 行特征提取： 左 肢组输入第一分支， 通过对称语义图卷积网络， 提取左肢的特征fleft； 右肢组输入第二分 支， 通过对称语义图卷积网络， 提取右肢的特征fright； 全身组输入第三分支， 通过对称语义 图卷积网络， 提取全身的特征fall； 根据公式(5)计算得到融合的特征ffuse， 然后使用一个对 称语义图卷积层， 将编码的特 征投影到 输出空间。 6.根据权利要求5所述的一种基于身体部位分组的对称语义图卷积姿态估计方法， 其 特征在于， 所述步骤S4中采用公 式(6)定义的损失函数Lsmoothl1()， 在Human3.6M数据集上进 行训练， 公式如下： 其中， X表示 真值与预测值 之差， |·|表示真值与预测值 之差绝对 值， J′i代表预测的i节 点的3D关节坐标， Ji对应数据集中i节点的真值。 7.根据权利要求6所述的一种基于身体部位分组的对称语义图卷积姿态估计方法， 其 特征在于， 所述姿态估计采用的评价指标为MPJPE， 公式定义如下: EMPJPE()指标表示每个关节预测值与真值的L2距离的均值， ‖ ·‖2表示预测值到真值的 L2距离。 8.根据权利要求6所述的一种基于身体部位分组的对称语义图卷积姿态估计方法， 其 特征在于， 在训练过程中， 初始学习率 为0.001， 使用大小为64的批处 理。权　利　要　求　书 2/2 页 3 CN 115546888 A 3