(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210539075.1 (22)申请日 2022.05.18 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区崇文路2号 (72)发明人 黄胜　陈贤龙　廖星　曹维俊　 牟星宇　 (51)Int.Cl. G06T 11/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 3/40(2006.01) G06N 3/04(2006.01) A61B 1/04(2006.01) (54)发明名称 一种基于多尺度残差的胶囊内窥镜图像超 分辨率重建方法 (57)摘要 本发明针对胶囊内窥镜(CE)检测 中因摄像 头分辨率低和检查环境的限制无法获得结构、 细 节等特征清晰的图像， 提出了一种基于多尺度残 差的超分辨率重建方法用于胶囊内窥镜图像的 超分辨率重建， 超分辨率重建网络主要由两个部 分组成， 一部分是由浅层特征提取模块、 多尺度 残差特征提取模块(MRCB)和层次特征处理模块 (HFCA)组成的特征提取部分， 用于对输入的低分 辨率图像(LR)进行不同尺度下信息的提取和利 用， 并在避免信息丢失的同时对 特征信息赋予相 应的权重， 以便后续的上采样重建， 另 一部分是 由亚像素层上采样方法和卷积层组成的图像重 建模块， 用于生成最终的超分辨 率图像(SR)。 权利要求书2页 说明书6页 附图2页 CN 114842104 A 2022.08.02 CN 114842104 A 1.一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法， 其特征在于， 能够对胶 囊内窥镜采集到的图像进行相应处理， 得到结构、 纹理等特征更加清晰的胶囊内窥镜超分 辨率图像， 具体包括以下步骤： 步骤1、 获取待诊断患者的胶囊内窥镜 图像， 获取预先训练完成的超分辨率重建网络， 该超分辨重建网络由两个部分组成， 一部分是 由浅层特征提取模块、 多尺度残差特征提取 模块和层次特征处理模块组成的特征提取部分， 另一部 分是由亚像素层上采样方法和一个 以3x3为大小的卷积核构成的卷积层所组成的图像重建模块； 步骤2、 将待重建的胶囊内窥镜图像输入浅层特征提取模块进行浅层特征提取， 获得一 级特征图， 浅层特 征提取模块是 卷积核大小为3x3的卷积层； 步骤3、 将一级特 征图顺次经 过n个多尺度残差特 征提取模块， 生成获得二级特 征图； 步骤4、 提取各个多尺度残差特征提取模块中生成的层级特征图， 将二级特征图与各个 多尺度残差特征提取模块中生成的层级特征图输入层次特征处理模块， 利用层次特征 处理 模块将二级特征图与层级特征图进行融合， 并对图像中重要的特征进行增强， 然后输出得 到三级特 征图； 步骤5、 将三级特征图送入一个以3x3为卷积核构成的卷积层， 进行进一步的特征提取， 生成四级特 征图； 步骤6、 将四级特征图输入图像重建模块， 进行放大重建， 得到超分辨率胶囊内窥镜图 像， 超分辨 率胶囊内窥镜图像的分辨 率大于待重建的胶囊内窥镜图像。 2.根据权利要求1所述的胶囊内窥镜图像超分辨率重建方法， 其特征是： 所述多尺度残 差特征提取模块， 采用残差块为基本结构单元， 每个残差块由两个卷积层和一个ReLU激活 函数组成， 对于残差块可用如下 数学模型进行表示： B1＝φ2( σ1(φ1(B)))+B B2＝φ4( σ2(φ3(B)))+B 其中B表示的输入残差块的信息， φ1(·)和φ2(·)表示的是以3x3为卷积核的卷积操 作， φ3(·)和φ4(·)表示的是以5x5为卷积核的卷积操作， σ1(·)和σ2(·)表示的是以 ReLU为激活函数的信息激活操作， B1和B2表示的是分别以3x3和5x5为卷积核的残差块的输 出； 多尺度残差特 征提取模块由8个并行分支组成， 具体可以用如下 数学模型进行表示： Y1＝B11(X) Y2＝B21(X) Y3＝F3(concat(B12(F1(concat([Y1,Y2]))),B22(F2(concat([Y1,Y2]))), B13(X),B23(X),X)) Y4＝B14(Y3) Y5＝B24(Y3) Y6＝F6(concat(B15(F4(concat([Y4,Y5]))),B25(F5(concat([Y4,Y5]))), B16(Y3),B26(Y3),B17(X),B27(X),Y3)) Y＝F7(Y6)+X 其中X表示的是输入多尺度残差特征提取模块的信息， B11(·)、 B12(·)、 B13(·)、 B14 (·)、 B15(·)、 B16(·)和B17(·)表示的是以3x3为卷积 核残差块， B21(·)、 B22(·)、 B23(·)、权　利　要　求　书 1/2 页 2 CN 114842104 A 2B24(·)、 B25(·)、 B26(·)和B27(·)表示的是以5x 5为卷积的残差块， concat( ·)表示的是一 个特征融合操作， F1(·)、 F2(·)、 F3(·)、 F4(·)、 F5(·)和F6(·)表示的是以1x1为卷积核 的卷积操作， F7(·)表示的是以3x3为卷积核的卷积操作， Y表示 的是单个多尺度特征提取 模块的最终输出。 3.根据权利要求1所述的胶囊内窥镜图像超分辨率重建方法， 其特征是： 所述层次特征 处理模块中设有混洗模块和基于均值和标准差的增强型注意力模块； 二级 特征图与各个多 尺度残差特征提取模块中生成的层级特征图进行级联后输入混洗模块， 接着通过一个1x1 的卷积进行通道压缩后， 得到融合特征图； 将融合特征图输入基于均值和标准差的增强型 注意力模块后， 得到所述的三级特 征图。 4.根据权利要求4所述的胶囊内窥镜图像超分辨率重建方法， 其特征是： 所述基于均值 和标准差的增强型注意模块采用一种类似于坐标 的方式对输入信息按照水平和垂直的方 向分别做均值池化和标准差池化操作， 将池化操作后的信息进行级联后使用混洗操作使得 通道间的信息得到充分融合， 对融合后的信息使用一个1x1为卷积核的卷积对其进 行降维， 将降维后的信息送入一个非线性激活层进行激活操作， 接着调用函数h ‑swish对激活后的 特征处理得到新的特征； 将新的特征沿着水平和垂直的方向进行分割， 得到两个独立的特 征， 接着采用一个1x1为卷积核的卷积层对其进行升维， 对升维后的特征信息分别采用 Sigmoid激活函数进行激活， 得到水平和垂直方向上的权重特征； 最后， 将这两个权重特征 与输入的特 征信息进行相乘操作后， 得到所述的三级特 征图。权　利　要　求　书 2/2 页 3 CN 114842104 A 3