(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026108.9 (22)申请日 2022.08.25 (71)申请人 杭州当虹科技股份有限公司 地址 310000 浙江省杭州市西湖区西斗门 路3号天堂软件园E幢16层A座 (72)发明人 赵浩　陈梅丽　谢亚光　祁伟　 (74)专利代理 机构 浙江英普律师事务所 3 3238 专利代理师 刘芬豪 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 低码率复杂场景下背景质 量提升方法及装 置 (57)摘要 本发明公开了一种低码率复杂场景下背景 质量提升方法及装置， 其中方法包括： 训练过程， 进一步包括利用训练数据预处理模块将待训练 的前后景样本序列和参考背景序列处理成模型 适用的训练数据对， 所述数据对包括低质量的训 练序列、 对应的高质量背景基准序列以及对应场 景下的高质量无干扰背景作输入参考帧； 利用前 后景特征分离模块得到特征； 利用前后景特征融 合模块对前后景分离特征作融合和上采样操作， 得到融合帧； 推理过程， 进一步包括将从视频流 里或存储介质里加载得到待处理的视频序列和 对应场景下的参考背景帧； 利用优化后的前后景 特征融合模块， 输入前后景分离特征， 得到背景 增强帧序列即得到处 理后的视频。 权利要求书2页 说明书7页 附图3页 CN 115439382 A 2022.12.06 CN 115439382 A 1.一种低码率复杂场景 下背景质量 提升方法， 其特 征在于， 包括： 训练过程， 进一步包括利用训练数据 预处理模块将待训练 的前后景样本序列和参考背 景序列处理成模型适用的训练数据对， 所述数据对包括低质量的训练序列、 对应的高质量 背景基准序列以及 对应场景下的高质量无干扰背 景作输入参考帧； 利用前后景特征分离模 块， 输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样， 得到特征， 对 背景特征的分离使用M组双残差密集网络串联提取特征， 对前景特征的分离使用残差网络， 输出前后景分离特征； 利用前后景特征融合模块对前后景分离特征作融合和上采样操作， 得到融合帧； 利用目标函数优化模块， 将 融合帧和对应的基准图像序列之间的最小化重建 损失函数作为目标函数， 通过梯度下降法找到前后景特征分离模块和前后景特征融合模块 的最优参数， 进 而得到优化后的前后景 特征分离模块和前后景 特征融合模块； 推理过程， 进一步包括将 从视频流里或存储介质里加载得到待处理的视频序列和对应 场景下的参考背 景帧， 利用推理数据预处理模块将加载得到的视频序列与参考背 景帧序列 组合成数据对； 将视频序列与参考背 景帧序列组合成的数据对通过优化后的前后景特征分 离模块得到前后景分离特征； 利用优化后的前后景特征融合模块， 输入前后景分离特征， 得 到背景增强帧序列即得到处 理后的视频。 2.如权利要求1所述的低码率复杂场景下背景质量提升方法， 其特征在于， M的取值范 围为10～3 0。 3.如权利要求1所述的低码率复杂场景下背景质量提升方法， 其特征在于， 每个残差网 络包含卷积层， 用于提取训练数据预 处理模块得到的低质量的训练序列或推理数据预 处理 模块得到的视频序列中的前 景区域。 4.如权利要求1所述的低码率复杂场景下背景质量提升方法， 其特征在于， 使用双残差 密集网络对齐训练序列与输入参考帧， 识别出训练序列和输入参考帧边缘的差异， 然后提 取背景区域特 征。 5.如权利要求1所述的低码率复杂场景下背景质量提升方法， 其特征在于， 前后景特征 融合模块包括多个卷积层、 LeakyReLU激活层和上采样 操作。 6.一种低码率复杂场景 下背景质量 提升装置， 其特 征在于， 包括： 训练数据预处理模块用于将待训练的前后景样本序列和参考背景序列处理成模型适 用的训练数据对， 所述数据对包括低质量的训练序列、 对应的高质量背景基准序列以及对 应场景下 的高质量无干扰背景作输入参考帧； 前后景特征分离模块， 用于将输入序列为低 质量的训练序列和输入参考帧进 行4倍像素解重组下采样， 得到特征， 对背景特征的分离使 用M组双残差密集网络串联提取特征， 对前景特征的分离直接使用残差网络， 输出前后景分 离特征； 前后景特征融合模块用于对前后景分离特征作融合和上采样操作， 得到融合帧； 目 标函数优化模块用于将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目 标函数， 通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数， 进 而得到优化后的前后景 特征分离模块和前后景 特征融合模块； 推理数据预处理模块用于从视频流里或存储介质里加载得到待处理的视频序列和对 应场景下 的参考背景帧， 并将加载得到的视频序列与参考背景帧序列 组合成数据对； 优化 后的前后景分离特征用于将视频序列与参考背景帧序列 组合成的数据处理得到前后景分 离特征； 优化后的前后景特征融合模块用于将前后景分离特征 处理得到背 景增强帧序列即权　利　要　求　书 1/2 页 2 CN 115439382 A 2得到处理后的视频。 7.如权利要求6所述的低码率复杂场景下背景质量提升装置， 其特征在于， M的取值范 围为10～3 0。 8.如权利要求6所述的低码率复杂场景下背景质量提升装置， 其特征在于， 每个残差网 络包含卷积层， 用于提取训练数据预 处理模块得到的低质量的训练序列或推理数据预 处理 模块得到的视频序列中的前 景区域。 9.如权利要求6所述的低码率复杂场景下背景质量提升装置， 其特征在于， 输入帧中的 背景区域信息几乎完全来源于高清背 景帧中的背 景信息， 使用双残差密集网络对齐输入帧 与参考帧， 识别出输入帧和参 考帧边缘的差异， 然后提取背景区域特 征。 10.如权利要求6所述的低码率复杂场景下背景质量提升装置， 其特征在于， 前后景特 征融合模块包括多个卷积层、 LeakyReLU激活层和上采样 操作。权　利　要　求　书 2/2 页 3 CN 115439382 A 3