(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544774.5 (22)申请日 2022.05.19 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 史振威　邹征夏　孟亚鹏　杨松儒　 马世隆　熊俊杰　田雨　刘梦男　 (74)专利代理 机构 北京慧泉知识产权代理有限 公司 11232 专利代理师 王顺荣　唐爱华 (51)Int.Cl. G06T 11/40(2006.01) G06V 10/56(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于参考图像和用户导引的灰度图像 精准上色方法 (57)摘要 本发明涉及一种基于参考图像和用户导引 的灰度图像精 准上色方法， 技术核心是设计一个 包含主分支、 参考图像信息变换分支、 自注意力 模块的卷积神经网络。 该方法包含： 一、 制作数据 集； 二、 构造基于参考图像和用户导引的灰度图 像精准上色卷积神经网络； 三、 训练卷积神经网 络； 四、 灰度图像上色。 本发明在神经网络中间层 加入自注 意力块， 与现有技术相比用户只需添加 少量用户导引笔触便可控制整幅图的颜色。 本发 明设计了基于相似度将参考图像颜色信息变换 至灰度图像的网络结构并将参考图像信息多次 融入网络主分支特征图， 与现有技术相比改善了 生成图像出现噪点的问题。 本发明具有使用方 便、 效率高、 生成图像质量更高的优点， 具有广阔 应用前景和价值。 权利要求书2页 说明书7页 附图4页 CN 114913272 A 2022.08.16 CN 114913272 A 1.一种基于参 考图像和用户导引的灰度图像精准上色方法， 其特 征在于， 步骤如下： 步骤一： 制作数据集； 使用的数据来自计算机视觉领域公开数据集COCO2017， 有118287张训练图像和40670 张测试图像； 步骤二： 构造基于参 考图像和用户导引的灰度图像精准上色卷积神经网络； 设计的灰度图像精准上色卷积神经网络， 该卷积神经网络分为主分支、 自注意力块、 参 考图像信息变换分支； 主分支由下采样、 信息融合、 上采样三个阶段组成； 主分支的输入信 息为灰度图像和用户导引笔触， 用户导引笔触的输入确保实现精准上色； 步骤三： 训练卷积神经网络； 利用步骤一制作的数据集和步骤二构造的卷积神经网络的主体结构， 在PyTorch深度 学习框架下进行训练； 经 过一定步数训练后， 记录对应的卷积神经网络参数； 步骤四： 为灰度数字图像上色 利用步骤三训练好的卷积神经网络和卷积神经网络参数， 将COCO2017测试集中的图 像， 通过步骤一生成灰度图像 分量、 用户导引笔触和参考图像并输入 卷积神经网络中， 得到 测试集图像的上色效果。 2.根据权利要求1所述的一种基于参考图像和用户导引的灰度图像精准上色方法， 其 特征在于： 在步骤一中， 将数据集中RGB颜色空间下的图像转换到LAB颜色空间， 再通过随机 均匀采样的方式， 随机抽取每张图像若干位置的颜色信息作为用户导引笔触， 截取每张图 像若干个局部区域并进行随机 长宽比调整， 作为 参考图像。 3.根据权利要求1所述的一种基于参考图像和用户导引的灰度图像精准上色方法， 其 特征在于： 在步骤二中， 在下采样阶段， 使用步长为2的卷积层实现下采样， 特征图逐渐减小 并学习深层语义信息 。 4.根据权利要求1所述的一种基于参考图像和用户导引的灰度图像精准上色方法， 其 特征在于： 在步骤二中， 在信息融合阶段， 特征图大小不变， 使用空洞卷积扩大卷积神经网 络的感受野， 并将特征图通过自注意力块进行信息增强， 将参考图像信息加入主分支特征 图中。 5.根据权利要求1所述的一种基于参考图像和用户导引的灰度图像精准上色方法， 其 特征在于： 在步骤二中， 在上采样阶段， 使用步长为2的反卷积层实现上采样， 逐步恢复特征 图分辨率， 最终输出信息为2通道色彩信息 。 6.根据权利要求1或2或3或4或5所述的一种基于参考图像和用户导引的灰度图像精准 上色方法， 其特征在于： 在步骤二中， 自注意力块先将主分支信息融合阶段特征图进 行线性 变换， 再计算特征图中每两个位置之间的余弦距离， 该距离即表征相似度； 将 每一位置与其 他位置之间的相似度乘以其他位置的特征值后求和， 再进行线性变换， 得到变换后的特征 图。 7.根据权利要求1或2或3或4或5所述的一种基于参考图像和用户导引的灰度图像精准 上色方法， 其特征在于： 在步骤二中， 变换后的特征图在主分支信息融合阶段与主分支特征 图相加； 参考图像信息变换分支先将灰度图像和参考图像同步输入到与主分支相同的卷积 神经网络结构中， 抽取下采样阶段中不同大小特征图， 变形成相同大小后堆叠， 利用堆叠特 征图计算灰度图像与参考图像中每两个位置之间的余弦距离， 该距离即表征相似度， 将灰权　利　要　求　书 1/2 页 2 CN 114913272 A 2度图像每一位置与参考图像各个位置之间的相似度乘以参考图像各个位置的特征值后求 和， 即将参 考图像的颜色信息变换到灰度图像中。 8.根据权利要求1所述的一种基于参考图像和用户导引的灰度图像精准上色方法， 其 特征在于： 在步骤三中， 具体的方法如下： 3.1、 优化方法选择Adam下降法， 学习率设置为10 ‑5， 迭代次数为在训练集上训练100个批次； 3.2、 采用高斯分布对卷积神经网络的权重进行 初始化； 3.3、 读入训练数据并将训练数据输入卷积神经网络中， 通过前向传播得到图像颜 色分量AB； 3.4、 将原始灰度分量L与预测的颜色分量AB叠加， 并变换回RGB颜色空间得到上 色结果； 3.5、 计算上色后图像和真值图像之间的均方差损失MSE； 3.6、 通过反向传播误差调 整卷积神经网络中的权重； 重复步骤3.3—3.6， 直到迭代次数达到100次， 此时停止训练并 保存卷积神经网络参数。权　利　要　求　书 2/2 页 3 CN 114913272 A 3