(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211032003.4 (22)申请日 2022.08.26 (71)申请人 华中师范大学 地址 430079 湖北省武汉市珞喻路152号 (72)发明人 刘乐元　孙见弛　陈靓影　高韵琪　 刘三女牙 　杨宗凯　 (74)专利代理 机构 武汉东喻专利代理事务所 (普通合伙) 42224 专利代理师 雷霄 (51)Int.Cl. G06T 17/00(2006.01) (54)发明名称 基于图表 示的单图像三 维人体重建方法、 系 统及存储介质 (57)摘要 本申请公开了一种基于图表示的单图像三 维人体重建方法、 系统及存储介质。 该方法包括： 从输入图像中获取人体图像； 采用参数化方法生 成基于图表 示的第一三维人体模 型； 采用插值法 对所述第一三维人体模型插入新的顶 点和边， 生 成第二三维人体模型； 将所述人体图像输入到已 训练的图像编码器， 提取所述人体图像的图像特 征； 将所述第二三维人体模型上的顶 点投影在所 述图像特征的特征向量输入到已训练的位移回 归器， 获取所述第二三维人体模 型中每个顶点的 形变向量； 驱动所述第二三维人体模 型按照所述 形变向量发生形变， 生成第三三维人体模型。 本 发明可以从单张可见光图像重建出高分辨率、 具 有完整结构且无伪影的三维人体模型。 权利要求书2页 说明书9页 附图3页 CN 115375848 A 2022.11.22 CN 115375848 A 1.一种基于图表示的单图像三维人体重建方法， 其特 征在于， 包括： 从输入图像中获取 人体图像； 根据所述人体图像获取三维参数化人体模型参数和对应的相机参数， 根据所述三维参 数化人体模型参数和对应的相机参数生成第一三 维人体模型， 所述第一三维人体模型采用 基于顶点和边的图表示； 采用插值法对所述第一 三维人体模型插 入新的顶点和边， 生成第二 三维人体模型； 将所述人体图像输入到已训练的图像编码器， 提取 所述人体图像的图像特 征； 将所述第二三维人体模型上的顶点投影在所述图像特征的特征向量输入到已训练的 位移回归器， 获取 所述第二 三维人体模型中每 个顶点的形变向量； 驱动所述第二 三维人体模型按照所述形变向量发生形变， 生成第三 三维人体模型。 2.如权利要求1所述的基于图表示的单图像三维人体重建方法， 其特征在于， 所述采用 插值法对所述第一三 维人体模型插入新的顶点和边采用基于边的三 维网格插值算法和/或 基于面的三维网格插值 算法； 所述基于边的三维网格插值算法包括： 在所述第 一三维人体模型的每个三角片面的三 条边上取中点插 入三个新顶点， 并将三个新顶点连接成一个新 三角片面； 所述基于面的三维网格插值算法包括： 在所述第 一三维人体模型的每个三角片面的重 心处插入一个新顶点， 并将原三角片面的三个顶点与新顶点依次连接形成三个新的三角片 面。 3.如权利要求1所述的基于图表示的单图像三维人体重建方法， 其特征在于， 所述插入 新的顶点和边包括： 重复进行多次插值， 调整插值次数， 使得 所述第二 三维人体模型满足预设 分辨率； 设定插值区域， 对所述第一 三维人体模型的所述插值区域插 入新的顶点和边。 4.如权利要求1所述的基于图表示的单图像三维人体重建方法， 其特征在于， 所述将所 述第二三维人体模型上的顶点投影在所述图像特征的特征向量输入到已训练的位移 回归 器包括： 计算所述第二 三维人体模型 上的每个顶点投影在所述图像特 征的坐标值； 根据投影坐标值从所述图像特征上提取所述第二三维人体模型上的每个顶点的特征 向量； 将所述第二三维人体模型上的每个顶点的特征向量及深度信息输入到已训练的位移 回归器。 5.如权利要求1所述的基于图表示的单图像三维人体重建方法， 其特征在于， 所述驱动 所述第二 三维人体模型按照所述形变向量发生形变的计算公式为： 其中， p为所述第二三维人体模型上的顶点， dp为所述形变向量， 表示由p形变后的新 顶点位置， 在形变过程中， 所有顶点之间边的连接关系保持不变。 6.如权利要求1所述的基于图表示的单图像三维人体重建方法， 其特征在于， 将所述图 像编码器和所述位移回归器作为整体进行训练， 所述训练的训练数据集包括人体图像样本 及每个人体图像样本对应的真实三维人体模型， 通过训练使得根据所述位移回归器输出形权　利　要　求　书 1/2 页 2 CN 115375848 A 2变向量构建的三维人体模型与所述真实三维人体模型的差距最小化。 7.如权利要求6所述的基于图表示的单图像三维人体重建方法， 其特征在于， 对所述人 体图像样本采用与所述人体图像相同的方法进 行处理， 所述图像编 码器和所述位移回归器 的训练函数Lshift为 其中， dp为所述位移回归器为所述人体图像样本生成的形变向量， 表示所述人体图 像样本对应的产生形变前的三维人体模型中顶点与真实人体模型之间最近点的形变向量。 8.如权利要求6所述的基于图表示的单图像三维人体重建方法， 其特征在于， 所述训练 还包括： 将根据所述位移回归器输出形变向量构建的三维人体模型通过可微分渲染器得到法 线特征图， 并利用与所述真实三维人体模型 的法线特征图误差来约束顶点的形变， 此过程 最小化损失函数LN： 其中， 表示渲染法线特征图与真实法线特征图的L1距离， Lvgg表示图像的VGG损 失， λvgg表示权重系数。 9.一种基于图表示的单图像三维人体重建系统， 其特 征在于， 包括： 预处理模块， 用于从输入图像中获取 人体图像； 参数化模型生成模块， 用于根据所述人体图像获取三维参数化人体模型参数和对应的 相机参数， 根据所述三维参数化人体模型参数和对应的相 机参数生成第一三维人体模型， 所述第一 三维人体模型采用基于顶点和边的图表示； 插值模块， 用于采用插值法对所述第一三维人体模型插入新的顶点和边， 生成第二三 维人体模型； 特征提取模块， 用于将所述人体图像输入到已训练的图像编码器， 提取所述人体图像 的图像特 征； 形变模块， 用于将所述第 二三维人体模型上的顶点投影在所述图像特征的特征向量输 入到已训练的位移回归器， 获取 所述第二 三维人体模型中每 个顶点的形变向量； 重建模块， 用于驱动所述第二三维人体模型按照所述形变向量发生形变， 生成第三三 维人体模型。 10.一种存储介质， 其特征在于， 其存储有计算机程序， 当所述计算机程序在处理器上 运行时， 使得 所述处理器执行权利要求1～8任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115375848 A 3