(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211018870.2 (22)申请日 2022.08.24 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 张聚　应长钢　龚伟伟　马栋　 上官之博　程芸　姚信威　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 孙家丰 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于迁移学习和注意力机制的肺部CT 图像分割方法 (57)摘要 本发明公开了一种基于多注意力机制的可 变形卷积肺部CT图像 分割方法， 涉及深度学习领 域， 本发明首先对数据集进行数据预处理和数据 增广， 然后构建网络模型， 网络模型包括主干网 络、 边缘注意力模块、 自适应可形变卷积模块和 双重注意力融合模块。 图像进入网络模型， 先经 过主干网络进行编码， 然后通过边缘注意力模 块， 抑制没有空间相关性的区域边缘特征信息， 提高目标区域边缘特征的权重比。 再通过自适应 可形变卷积模块学习卷积参数和坐标偏移从而 自适应感受野。 最后通过双重注 意力融合模块融 合EAM模块和ADC模块所提取的丰富特征， 利用上 层特征生 成的特征图来增强下层特征， 再将增强 的下层特征与上层特征集成之后输出分割的图 像。 权利要求书3页 说明书6页 附图3页 CN 115457049 A 2022.12.09 CN 115457049 A 1.一种基于多注意力机制的可变形 卷积肺部 CT图像分割方法， 包 含以下步骤： 步骤1)对所选的数据集数据增广和数据预处 理； 首先读取所选的患有新冠肺炎的患者肺部CT图像数据集， 然后将图像进行随机裁剪、 反转、 旋转、 缩放、 移 位等方式来扩 大数据集， 这个操作称之为数据增强； 数据增强让有限的 数据产生更多的数据， 增加训练样本的数量以及多样性， 提升模型鲁棒性， 一般用于训练 集； 最后对所有数据进行归一化处理将图像强度值限定在一定的范围内， 避免某些异常样 本对训练造成不良影响； 步骤2)构建网络模型； 构建分割模型DCSegNet； 分割模型DCSegNet包括一个主干网络和三个关键模块， 即 ResNet主干网络、 边缘注意力模块(Edge  Attention  Module)、 自适应可形变卷积模块 (Adaptive  Deformable  Convolution)和双重注意力融合模块(Dual ‑attention  fusion  module)； 使用预训练过的ResNet50的前四层作为DCSegNet的编码器； 首先从主干网络的不同层 级中提取多层次特征； 低级特征来源于浅层网络， 富含空间信息， 此时的感受野比较小， 我 们采用EAM模块提取边缘信息； 高级特征来源于深层网络， 富含语义信息， 通过ADC模块自适 应感受野， 采样得到更符合病灶区域的形状和尺寸； 最后通过DFM模块融合低级和高级 特征 来预测分割图； 2.1.构建EAM模块： 边缘信息作为一种重要的图像特征， 在深度学习领域受到越来越多的关注， 因为边缘 信息有助于在分割任务中提取目标轮廓； 通常边缘信息可以提供有用的细粒度约束来指导 语义分割任务中的特征提取； 高级特征几乎没有边缘信息， 而低级特征包含更丰富的对 象 边界； 因此引入边缘注意力模块(Edge  Attention  Module)来抑制没有空间相关性的区域 边缘特征信息， 提高目标区域 边缘特征的权重比， 提高网络分割精度； fRB表示从主干中提取的特征， 将其先通过卷积核大小为3 ×3的卷积单元， 然后通过 ReLU激活函数之后， 再通过卷积核大小为3 ×3扩张率为2的空洞卷积单元； 将这一操作重复 三次之后， 最后再通过1 ×1的卷积单 元得到fEAM； 2.2.构建ADC模块： 在CT图像上， 病 灶的形状大小不规则， 自适应可形变卷积模块(Adaptive  Deformable   Convolution)能在网络中学习卷积参数和坐标偏移， 从而自适应感受野； 使用3 ×3卷积核 来描述可 形变过程； G＝{(‑1,‑1),(‑1,0),(‑1,1), (0,‑1),(0,0),(0,1),(1, ‑1),(1,0),(1,1)}     (1) I＝{(ih,iw),(ih,iw),(ih,iw), (ih,iw),(ih,iw),(ih,iw), (ih,iw),(ih,iw),(ih,iw)}  (2) Gi＝G+I                                                       (3) Y[i]＝Co nv(X[Gi],ki)                                             (4) 其中G表示特征图的网格， I表示特征图的坐标， h和w代表特征图的两个维度， Gi代表核 卷积的区域， C onv是普通 卷积函数， ki是3×3核的九个可学习权重， 通过新位置的新值X[Gi] 和权重ki最终输出对应 像素Y[i]的值； 2.3构建DFM模块： 为了有效地融合EAM模块和ADC模块所提取的丰富特征， 提出D FM模块(Dual ‑attention  权　利　要　求　书 1/3 页 2 CN 115457049 A 2fusion module)， DFM模块通过将上层特征生成的特征图来增强下层特征， 然后将增强的下 层特征与上层特征集成； 同时将空间注意力机制(SA)和通道注意力机制(CA)相结合， 在CA 中采用全局平均池化， 经过1 ×1卷积和Sigmoid函数后， 分别采用元素乘法和元素加法与输 入结合； 在SA中采用最大池化， 经过ReLU和Sigmoid函数后， 分别采用元素乘法和元素加法 与输入结合； 用数 学公式表达， 将DFM模块定义 为： 其中Conv表示卷积层， 下标代表卷积核尺寸， Deconv(x)表示上采样操作， ReLU(x)表示 激活函数ReLU， σ(x)表示Sigmoid激活函数， 和 代表第k级和第k+1级ADC模块提供 的特征， k＝1,2,3； 符号*表示元素乘法， GAPool(x)表示全局平均池化操作， MaxPool(x)表 示最大池化操作； 步骤3)设置训练策略； 将经过预处理的数据集以6:3:1的比例依次划分为训练集、 测试集和验证集； 采用随机 初始化和Adam优化算法； 设置BatchSize、 epoch和合适的初始学习率和每次更新时学习率 下降的值， 并采用正则化策略防止过拟合； DCSegNet网络模型中采用反向传播算法(BP)算 法对网络中的权 重和偏置进行 更新； 训练迭代过程中利用损失函数进行参数的更新； 步骤4)训练网络模型和更新 参数； 根据设置好的训练策略对U ‑Net网络模型进行训练； DCSegNet网络模型中采用反向传 播算法(BP)对网络中的权重和偏置进 行更新； 训练迭代过程中利用损失函数进 行参数的更 新； 在损失函数的选择上， 将骰子损失(Dice  Loss)和二元交叉熵损失(Binary  Cross  Entropy Loss)结合进行参数 更新； 因此， 损失函数被设计为 步骤5)设置 评估指标； 使用4个广泛 采用的评价标准用于衡量DCSegNet模型的性能； 评估指标如下 所示： 骰子相似系数(Dice  similarit y coefficient)： DSC用于测量预测的肺部感染与事 实 之间的相似性， 其中VSeg代表通过模型算法分割后的区域， VGT代表事实的分割区域， TP、 TN、 FP、 FN分别表示真阳性、 真阴性、 假阳性、 假阴性； D SC定义如下： 灵敏度(Sensitivity)： SEN表示被正确分割的肺部感染的百分比； 其定义如下： 特异性(Specificity)： S PE表示被正确分割的非感染区域的百分比； 其定义如下： 权　利　要　求　书 2/3 页 3 CN 115457049 A 3