(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211154185.2 (22)申请日 2022.09.21 (71)申请人 南华大学 地址 421001 湖南省衡阳市蒸湘区常胜西 路28号 (72)发明人 李跃　阙识澄　万亚平　刘杰　 (74)专利代理 机构 衡阳雁城专利代理事务所 (普通合伙) 43231 专利代理师 陈纪文 (51)Int.Cl. H04N 19/134(2014.01) H04N 19/597(2014.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 9/00(2006.01)G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 基于轻量级神经网络的动态3D点云编码模 式快速确定方法及系统 (57)摘要 基于轻量级神经网络的动态3D点云编码模 式快速确定方法及系统， 涉及视频编码技术领 域。 本发明是按照HEVC的原始编码方案进行 merge/skip模式的预测编码过程， 通过提取当前 编码CU的特征信息并处理得到T1网络的输入特 征x1， 将x1输入T1网络得到判断结果， 若T1网络 判断merge/skip模式为最佳模式则跳过后续模 式的决策过程直接进入划分阶段， 否则继续执行 inter 2N×2N模式的预测编码过程； 提取当前编 码CU的特征信息并处理得到T2网络的输入特征 x2， 将x2输入T2网络得到判断结果， 若T2网络判 断merge/skip模式或inter  2N×2N模式为最佳 编码模式则跳过后续模式决策的过程直接进入 划分阶段， 否则继续后续模式的决策过程。 与现 有方法相比， 本发明可大幅缩短动态3D点 云的帧 间编码时间。 权利要求书3页 说明书8页 附图3页 CN 115550653 A 2022.12.30 CN 115550653 A 1.基于轻量级神经网络的动态3D点云编码模式快速确定方法， 其特征在于， 包括以下 步骤： 步骤1， 数据收集： 对数据进行提取， 样本将用于T1、 T2网络的训练， 所提取的特征包括： 最大二划分预测失真方差、 最大四划分预测失真方差、 编码块标志、 编 码块深度、 量化参数、 实时编码顺序、 编码单 元类型、 前层模式和merge/sk ip模式编码标志； 步骤2， 数据处理： 首先， 对所提特征中的最大二划分预测失真方差、 最大四划分预测失 真方差进行区分几何图和纹理图编码的归一化； 然后， 将上述两个特征做上下限溢出截断 并赋值为边界值的处理以将其限制在[ 0,1]范围内； 接着， 根据样本的最大二划分预测失真 方差和最大四划分预测失真方差进行 数据清洗； 最后， 对量 化参数做最大最小值归一 化； 步骤3， 参数训练： 对于训练集 中T1网络的CU样本， 作 为轻量级神经网络T1的输入， 使用 一个全连接层作为分类器根据样 本输入判断merge/ skip模式是否为最佳模式； 对于训练集 中T2网络的CU样本， 作为轻量级神经网络T2的输入， 使用一个全连接层作为分类器根据样 本输入判断merge/skip模式或inter  2N×2N模式是否为最佳模式； 最终根据分类结果进行 快速的模式决策； 步骤4， 模型部署： 在merge/skip模式决策结束后， 若T1网络判断merge/skip模式是当 前编码CU的最佳模式， 则跳过后续所有模式决策过程， 直接进入划分阶段， 否则继续后续模 式决策过程； 在inter2N ×2N模式决策结束后， 若T2网络判断merge/skip模式或inter  2N× 2N模式中有当前编 码CU的最佳模式， 则跳过后续所有模式决策过程， 直接进入划分阶段， 否 则继续后续模式决策 过程。 2.根据权利要求1所述的基于轻量级神经网络的动态3D点云编码模式快速确定方法， 其特征在于： 在步骤1中， 计算最大二划分预测失真方差或最大四划分预测失真方差时， 以 水平、 垂直的二划分或四划分方法进行划分， 最终对于子块中预测失真变换方差最大 的值 作为此特征进行提取。 3.根据权利要求1所述的基于轻量级神经网络的动态3D点云编码模式快速确定方法， 其特征在于： 在步骤1 中， 对T1、 T2网络特征应分别进行提取， T1网络所提取的特征为最大二 划分预测失真方差、 最大四划分预测失真方差、 编 码块标志、 编码块深度、 量化参数、 实时编 码顺序、 编码单 元类型、 前层模式， 对于特 征merge/sk ip模式编码标志仅在T2网络中使用。 4.根据权利要求2所述的基于轻量级神经网络的动态3D点云编码模式快速确定方法， 其特征在于： 所述预测失真变换 的计算是根据预测失真变换矩阵得来的， 预测失真变换矩 阵的定义如下： 其中 是编码模式对宽为w， 高为h的当前编码CU进行编码模式预测的像素值矩阵， 为当前编码CU的原始像素值矩阵， 是根据预测失真得到的宽为 w高为h的预测失 真变换矩阵， 为变换系数， 其中α 根据当前编码图像的类别不同有不同的取值： 权　利　要　求　书 1/3 页 2 CN 115550653 A 2根据矩阵 按照水平、 垂直的二划 分或四划分方法的划 分方式计算出不 同子块的 预测失真变换的方差大小， 其中二划分下的四个子块中方差值最大的就为最大二划分预测 失真方差BDV， 最大四划分预测失真方差QDV的计算同理， 定义如下： BDV＝max{Varih,B,Variv,B},i∈{1,2} QDV＝max{Varih,Q,Variv,Q},i∈{1,2,3,4}。 5.根据权利要求2所述的基于轻量级神经网络的动态3D点云编码模式快速确定方法， 其特征在于： 在步骤2中， 对最大二划分预测失真方差、 最大四划分预测失真方差的归一化 方法， 定义如下： 其中BDV和QDV分别表示最大二划分预测失真方差和最大四划分预测失真方差， Vari表 示以水平、 垂直的二划分或四划分方法的划分子块中预测失真变换方差最大 的值， 归一化 系数β 根据所编码的几何与纹 理图的不同有不同的固定取值。 6.根据权利要求1所述的基于轻量级神经网络的动态3D点云编码模式快速确定方法， 其特征在于： 在步骤2中， 数据 清洗的方式是： 对于T1网络的样本中， 若满足BDV或QDV<0.2且 最终编码模式为非merge/skip模式的则删除， 若满足BDV或QDV>0.8且最终编码模式为 merge/skip模 式的则删除； 对于T2网络的样本中， 若满足BDV或QDV<0.1且最终编码模 式为 merge/skip模式和inter  2N×2N模式以外的则删除， 若满足BDV或QDV>0.9且最终编码 模式 为merge/sk ip模式或i nter 2N×2N模式的则 删除。 7.根据权利要求1所述的基于轻量级神经网络的动态3D点云编码模式快速确定方法， 其特征在于： 在步骤2中， 对量 化参数QP的最大最小值归一 化的定义如下： 8.根据权利要求1所述的基于轻量级神经网络的动态3D点云编码模式快速确定方法， 其特征在于： 对于部署 到编解码 器中的算法流程， T1和T2网络有 各自的使用条件， T1网络的 使用条件是当前编码CU不属 于占位图图像且不为I 帧， T2网络的使用条件是当前编码CU不 属于占位图 图像、 不为I帧且T1网络没有做快速模式决策。 9.一种基于轻量级神经网络的动态3D点云编码模式快速确定系统， 其特 征在于， 包括： 数据收集模块： 用于对数据进行提取， 样本将用于T1、 T2网络的训练， 所提取的特征包 括： 最大二划分预测失真方差、 最大四划分预测失真方差、 编 码块标志、 编码块深度、 量化参 数、 实时编码顺序、 编码单 元类型、 前层模式和merge/sk ip模式编码标志； 数据处理模块： 用于对所提特征中的最大二划分预测失真方差、 最大四划分预测失真 方差进行区分几何图和纹理图编码的归一化； 然后， 将上述两个特征做上下限溢出截断并权　利　要　求　书 2/3 页 3 CN 115550653 A 3