(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210541946.3 (22)申请日 2022.05.19 (65)同一申请的已公布的文献号 申请公布号 CN 114638768 A (43)申请公布日 2022.06.17 (73)专利权人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 王中元　江奎　易鹏　邵振峰　 马佳义　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06T 5/00(2006.01)G06T 7/44(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 AU 202010 0196 A4,2020.0 3.19 CN 113450288 A,2021.09.28 CN 113673590 A,2021.1 1.19 CN 10713 3935 A,2017.09.0 5 CN 111340738 A,2020.0 6.26 审查员 徐海青 (54)发明名称 一种基于动态关联学习网络的图像去雨方 法、 系统及设备 (57)摘要 本发明公开了一种基于动态关联学习网络 的图像去雨方法、 系统及设备， 包括雨水条纹移 除和背景 纹理重建的联合表达和优化， 动态关联 学习， 双路径特征选择融合表达。 在雨水条纹移 除和背景 纹理重建的联合表达和优化过程中， 利 用两阶段网络实现雨水建模和背景纹理重建。 在 动态关联学习过程中， 利用预测的雨水分布作为 先验知识辅助精确的背景纹理表达。 在双路径特 征选择融合表达过程中， 利用原始分辨率分支和 编解码分支分别学习全局结构和纹理， 同时利用 选择融合模块进行尺度间特征融合， 实现高精度 雨水去除和背景纹理重建。 本发 明有效利用潜在 的雨水分布作为先验特征， 动态 地学习雨水移除 和背景纹理修复之间的关联性， 实现更高质量的 背景纹理修复。 权利要求书4页 说明书9页 附图3页 CN 114638768 B 2022.08.09 CN 114638768 B 1.一种基于动态关联 学习网络的图像去雨方法， 其特 征在于， 包括以下步骤： 步骤1： 利用双线性采样对原始带雨图像进行下采样， 获得原始带雨图像的对应带雨采 样子图像； 步骤2： 将 获得的带雨采样子图像输入到双 路径特征选择融合网络中， 利用所述双 路径 特征选择融合网络的原始分辨率分支来学习全局空间结构特征， 采用所述双路径特征选择 融合网络的U ‑型编解码分支来建模上 下文的多尺度上 下文特征； 步骤3： 将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择 融合网络的特 征选择融合模块SFB， 获得强化后的雨水全局融合特 征； 步骤4： 将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络， 输出得到预 测的子空间雨水分布图像， 同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分 布图像得到对应的采样子空间去雨图像； 步骤5： 将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像， 以及步 骤1中的原始带雨图像输入到动态关联学习网络中， 利用预测的雨水分布提供图像降质区 域的位置和强度信息先验， 从而从输入原始带雨图像中提取背景纹理信息， 并与从采样子 空间去雨图像提取的初始特 征进行融合， 得到增强后的背景纹 理特征； 所述动态关联学习网络， 将预测的子空间雨水分布图像 和采样子空间去雨图像 ， 以及原始带雨图像 IRain输入到所述动态 关联学习网络中， 强化特征表达； 首先， 利用两个3 ×3卷积将 和 映射到特征空间， 同时采用一个步长卷积对 IRain进行采样， 得到对应的 初始化特征表达 ， 和 ； 利用Softmax函数对雨水分布特征 进行归一化， 使 得每一个像素的全局融合权重矩阵的值都在0 ‑1之间， 即 ； 将获得的全局融合 权重矩阵 与 进行矩阵乘法， 提取背景图像纹理特征 fti； 随后， 通过一个 特征选择融合模块SFB， 将提取的背景纹理信息 fti和采样子空间去雨图像的嵌入表达 进行融合， 得到增强后的背景纹 理特征ffusion； 步骤6： 将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中， 重复步 骤2和步骤3的操作， 获得强化后的背景纹 理全局融合特 征； 步骤7： 将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中， 输出得到干净的无雨图像。 2.根据权利要求1所述的基于动态关联学习 网络的图像去雨方法， 其特征在于： 步骤1 中， 通过线性采样算子对原始带雨图像进 行多尺度采样， 得到原始带雨图像的采样子图像， 具体利用算式： ； 其中，Linear(•)表示线性采样算子， IRain表示原始带雨图像， IRain,S表示用采样因子为 n 的线性采样算子获得的带雨采样子图像。 3.根据权利要求1所述的基于动态关联学习 网络的图像去雨方法， 其特征在于： 步骤2 中， 所述双路径特征选择融合网络， 由原始分辨率分支、 U ‑型编解码分支和特征选择融合模 块SFB组成；权　利　要　求　书 1/4 页 2 CN 114638768 B 2所述原始分辨率分支， 包括若干残差通道注意力单元RCAB， 通过残差级联的方式进行 组合， 用于 分别渐进的提取全局空间结构特征； 所述残差通道注 意力单元RCAB包括两个3 × 3的卷积强化特征表达层， 两个用于调整通道数的1 ×1的卷积层， 全局池化层和Sigmoid函 数层学习通道 注意力权 重， 作用于强化特 征实现雨条纹的精细化表达； 所述U‑型编解码分支， 由六个stage模块组成， 前三个stage模块用于编码， 后三个 stage模块用于解码； 六个所述stage模块， 均由采样层、 残差通道注意单元RCAB和特征选择 融合模块SFB组成； 所述特征选择融合模块SFB， 包括深度分离卷积和注意力层， 注意力层包括两个用于调 整通道数的1 ×1的卷积层， 全局池化层和Sigmo id函数层学习通道 注意力权 重。 4.根据权利要求1所述的基于动态关联学习 网络的图像去雨方法， 其特征在于： 步骤3 中， 所述特征选择融合模块SFB， 首先将两个特征通过级联融合， 然后利用深度可分离卷积 强化对空间局部特征 纹理的学习， 最后利用一个注意力单元进一步学习不同通道间的特征 关联， 强化特 征融合。 5.根据权利要求4所述的基于动态关联学习网络的图像去雨方法， 其特征在于： 所述利 用一个注意力单 元进一步学习不同通道间的特 征关联， 具体实现过程是： 首先， 利用两个1 ×1卷积进行 特征的映射嵌入表达， 具体利用算式： ； 其中， 和 表示1×1卷积核参数； ； 其中， 分别表示原始分支和编解码分支的雨水输出特征， 将两个特征通过级联融合， 利用深度可 分离卷积 强化对空间局部特 征纹理的学习， 得到强化后的特 征表达 ； 随后， 利用Sigmoid函数对嵌入特征进行归一化， 得到对应通道的全局描述子， 将全局 描述子映射到 0‑1之间， 得到对应的通道融合权 重， 具体利用算式： ； 其中，x为嵌入特征， 等同于 ， 表示通道融合权重； 通过 sigmoid函 数， 对学习得到的通道融合权重进行放缩， 使得每一个通道的融合权重值的值都在0 ‑1之 间， 即 ； 最后， 将学习的融合权重作用于 特征， 通过权重融合得到新的特征， 并与原始的 特征进行融合， 获得强化后的特 征表达zR， 具体利用算式： 。 6.根据权利要求1所述的基于动态关联学习 网络的图像去雨方法， 其特征在于： 步骤4 中， 所述雨水分布重建层网络， 利用3 ×3卷积将增强后的雨水全局融合特征 zR映射回图像 空间， 得到 子空间雨水分布图像 。 7.根据权利要求1所述的基于动态关联学习 网络的图像去雨方法， 其特征在于： 步骤7 中， 所述背景纹理重建层， 利用3 ×3的亚像素卷积将增强后特征 zB映射回图像 空间， 并放缩 到原始分辨率， 加上采样子空间去雨图像的上采样版本 ， 得到最终干净的无雨图像权　利　要　求　书 2/4 页 3 CN 114638768 B 3