(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210610948.3 (22)申请日 2022.06.01 (71)申请人 西南科技大 学 地址 621010 四川省绵阳市涪城区青龙 大 道中段59号西南科技大 学 (72)发明人 李小霞　孟延宗　周颖玥　刘晓蓉　 张晓强　 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于注意力双支路特征融合的食管早 癌病灶分割方法 (57)摘要 针对食管早癌病灶前景背景对比度低、 形状 各异且不规则的问题， 本发明提出一种基于注意 力双支路特征融合的食管早癌病灶分割方法， 其 网络结构是结合注意力机制的特征融合与双支 路上采样网络(A MFF‑DUNet） ， 结合了通道和空间 双注意力机制和多尺度的特征融合 以及双支路 上采样。 本方法包 括如下步骤： 步骤1， 搭建A MFF‑ DUNet网络， 将提出的金字塔引导特征融合模块 （PGFM） 和双支路上采样模块 （DBUM） 加入骨干网 络； 步骤2， 读取内镜图像， 进行剪裁、 颜色空间变 换图像预处理； 步骤3， 使用A MFF‑DUNet对食管内 镜图像进行精准语义分割； 步骤4， 将实验结果与 目前先进的食 管早癌病灶分割方法比较 分析。 结 果表明， 本发 明方法提高了对边缘特征不明显且 形态各异的食管早癌病灶的分割精度。 权利要求书1页 说明书5页 附图4页 CN 114897094 A 2022.08.12 CN 114897094 A 1.一种基于注意力双支路特 征融合的食管早癌病灶分割方法， 包括以下四个步骤： 步骤1， 搭建结合注意力机制的特征融合与双支路上采样网络 （Attention  Mechanism   combined  Feature Fusion and Dual‑branch Upsampling  Network,  AMFF‑DUNet） 网络， AMFF‑DUNet网络使用ResNet101作为骨干网络， 整体框架为编解码器结构， 编码器引入空间 和通道双注意力， 用于增强非显著病灶区域的特征表达能力； 在编解码器中间使用本发明 提出的金字塔引导特征融合模块 （Pyramid ‑Guided Feature Fusion Module, PGFM） 引导 融合不同层次特征增强有效信息的表达； 在解码 器阶段使用本发明提出的双支路上采样模 块 （Dual‑Branch Upsampling Module, DBUM） ， 减少上采样过程中的信息损失； 步骤2， 读取内镜 图像， 使用随机剪裁和随机翻转减轻模型对病灶出现位置的依赖性； 对RGB图像使用HSV颜色空间变换， 降低模型对高亮和低对比度的敏感度； 使用标准正态分 布进行数据标准 化， 加快模型收敛； 步骤3， 使用AMF F‑DUNet对食管内镜图像进行精准语义分割； 步骤4， 将实验结果与目前 先进的食管早癌病灶分割方法比较分析。 2.根据权利要求1所述的一种基于注意力双支路特征融合的食管早癌病灶分割方法， 其特征在于， 步骤1提出的金字塔引导特征融合模块 （PGFM） 为了从不同级别的特征映射中 提取全局上下文信息， 同时防止上采样过程丢失空间信息， 通过规则的3 ×3卷积将 ResNet101不同阶段的特征映射到与选定阶段相同的通道空间， 将生成的特征映射 向上采 样到相同的大小并拼接； 之后使用不同空洞率的空洞卷积叠加， 扩大感受野并且弥补相关 性的损失， 考虑到上述操作会增大模型参数， 对网络的计算速度造成影响， 所以在进 行空洞 卷积之前对拼接之后的特征映射进行深度可分离卷积， 最后使用普通卷积得到最 终的特征 映射。 3.根据权利要求1所述的一种基于注意力双支路特征融合的食管早癌病灶分割方法， 其特征在于， 步骤1中本发明所提出的双支路上采样模块 （DBUM） 为了减少上采样过程中图 像细节信息的损失， 在解码器上采样阶段使用双三次插值 （BiCubic  interpolation,  BiC） 和像素重构 （PixelShuffle,  PS） 并行上采样， 在空间和通道上同时捕获网络所需特征， 使 网络生成具有丰富细节和语义信息的高分辨 率特征图。 4.根据权利要求1所述的一种基于注意力双支路特征融合的食管早癌病灶分割方法， 其特征在于， 结合使用本发明提出的金字塔引导特征融合模块 （PGFM） 、 双支路双采样模块 （DBUM） 和空间通道双注意力模块， 构成结合注意力机制的特征融合与双支路上采样网络 （AMFF‑DUNet） ， 提高了食管早癌内镜检查的病灶区域分割精度。权　利　要　求　书 1/1 页 2 CN 114897094 A 2一种基于注意力双支路特征融合的食管早癌 病灶分割方 法 技术领域 [0001]本发明属于机器视觉的语义分割技术领域， 特别涉及于一种注意力双支路特征 融 合的食管早癌病灶分割方法。 背景技术 [0002]食管图像背景复杂且患者的患病区域千差万别， 因此食管病变及早癌的筛查工作 是一项极具挑战性的任务。 食管病灶前景背 景对比度低、 形状各异且不规则， 此外受到内镜 成像的噪声影响， 食管病变图像容易出现高亮光斑， 使得传统分割算法难以将病灶在内镜 图像中分割 出来。 与传统方法相比， 基于深度学习的分割方法能够有效捕获 图像的低层细 节特征和高层语义特征， 对背景复杂的食 管图像分割具有一定的优势。 特别是Ronneberger 等人提出的U ‑Net以及相继出现的U ‑Net变体已被广泛用于医学图像 分割， 这些方法采用了 对称结构和跳跃连接， 有效地融合了低级别和高级别的图像特征， 解决了用于医学图像分 割的普通卷积神经网络 定位不准确的问题。 [0003]近年来， 基于深度学习的人工智能方法在各个医学领域取得了显著的进展， 尤其 是作为一种医学图像筛选系统。 这些领域包括放射肿瘤学诊断、 皮肤癌分类、 糖尿病视网膜 病变分割、 胃活检标本的组织学分类、 以及 使用内窥镜对大肠病变进 行表征。 在 食管早癌筛 查领域， 深度学习也 成为了强大的支持工具。 Xu e等人通过微血管形态学类型分类进 行食管 早癌检测， 他们在Caffe中开发了一个模型， 使用卷积神经网络 （Convolutional  Neural  Networks, CNN） 进行特征提取， 使用支持向量机 （S upport Vector Machines,  SVM） 进行分 类， 开创了使用深度学习方法进行食管早癌筛查的先河。 Hong等人使用CNN来区分胃生化、 肠生化和胃肿瘤。 该体系结构由四个卷积层、 两个最大池化层和两个完全连接层 （Fully   Connected  Layers, FC） 组成， 分类准确率为80.77%。 2 019年徐瑞华教授团队通过使用样本 率可信区间估计法 （Clopper ‑Pearson） 鉴别癌性病 变方面的诊断准确性， 在五个外部验证 集中， 诊断准确率范围为0.915至0.977。 2021年胡兵教授团队提出了一种基于深度学习模 型的食管癌诊断算法， 利用6473张经过专业医师标记的癌前病变和食管鳞状细胞癌 （Narrow  Band Imaging， NBI） 图像， 通过CNN模型SegNet提取图像特征， 构建了灵敏度 （Sensitivity,  Se） 和特异性 （Specificity,  Sp） 均超过9 0%的早筛模型。 综上所述， 在食管 早癌分割领域， 通过深度学习的方法获得高精度尤其是高灵敏度和高特异 性的方法仍然 是 主要方向。 发明内容 [0004]在食管早癌筛查中， 早期食管癌的内镜表现非常轻微， 内镜医生不容易准确发现 病灶区域。 本发明利用空洞卷积和深度可分离卷积提出金字塔引导特征融合模块， 引导融 合不同层次特征增强有效信息的表达， 利用双三次插值法和像素重构的方法提出双支路上 采样模块， 在空间和通道同时进行上采样， 减少了上采样过程中的有用信息的损失， 对 DeepLabV3+网络参数进行调整， 使其符合二分类语义分割任务， 同时结合卷积注 意力模块、说　明　书 1/5 页 3 CN 114897094 A 3