(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210563644.6 (22)申请日 2022.05.23 (71)申请人 湘潭大学 地址 411105 湖南省湘潭市雨湖区湘潭大 学 (72)发明人 徐志强　王涛　陈峰　王晓东　 陈柯文　李志雄　陈万朋　 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01)G06T 7/11(2017.01) G06T 5/40(2006.01) G06T 5/00(2006.01) G06T 3/60(2006.01) (54)发明名称 一种基于tran sformer和SE块的CT自动肝脏 图像分割方法 (57)摘要 本发明提供了一种基于transformer和SE块 在电子计算机断层扫描中自动肝脏图像分割方 法， 属于医学图像分割领域。 本发明通过图像分 割 方 法 ，对 肝 脏 实 现 自 动 分 割 。引 入 transformer， SE块使其能够自使用地提取图像 特征， 同时抑制不相关区域， 以保证网络聚焦于 特定的分割任务相关的特征。 用RepVGG替代U ‑ Net网络的解码器部分， 用一种简单的架构， 来实 现速度与精度的平衡。 本发明解决了现有的卷积 神经网络在肝脏图像分割上存在的感受野不足， 无法建立有效的远程依赖等问题， 并提高了肝脏 分割的准确性。 权利要求书2页 说明书6页 附图2页 CN 115311194 A 2022.11.08 CN 115311194 A 1.本发明提供了一种基于transformer和SE块的CT自动肝脏图像分割方法， 该分割方 法包括以下步骤： 步骤1： 选择包含131组3D腹部CT扫描的Lit s2017作为所需数据集， 其中121组数据用作 训练集， 另外10组数据用作测试集。 步骤2： 对数据 集进行图像预处理和数据增强。 首先， 读取lits2017数据 集的图像， 将其 转换为灰度图像， 并通过直方图均衡化增强 图像的对比度和清晰度。 为了消除训练过程中 的过拟合问题， 对原始数据集进行剪切、 翻转、 旋转和弹性变形以扩展数据集。 数据增强可 以提高网络模型的泛化能力， 增强噪声和网络模型的鲁棒 性。 步骤3： 构建网络模型： 3.1.本发明的编码器部分由编码器部分和解码器部分组成。 编码器部分负责特征提 取， 解码器部分负责特征定位。 整个架构由一个Repv gg模块、 12个transformer模块、 4个SE 模块和4个上采样模块组成。 卷积核的大小为3 ×3， 池层的步长为2 ×2。 经过卷积块、 池化、 transformer等 一系列操作后， 每 个512x512x1特 征图像获得 大小为512x512x1的分割图像。 3.2.在整个网络中， 首先是由一个Repvgg模块构成。 Repvgg在VGG网络的基础上加入了 Identity和残差分支， 就相当将ResNet网络中的精华部分应用到VGG中。 由于残差结构具有 多个分支， 就相当于给网络增加了多 条梯度流动的路径， 类似于模型集成的思路， 简单又高 效。 且当前 大多数引擎对3x3的卷积做了特定的加速， 减少了整个网络的时间。 3.3.解码器的第二部分是由12个transformer构成。 Transfor mer模型全部由注意力机 制组合而成， 可以实现更好的提取全局信息， 但是容易忽视低分辨率的图像细节， 在解码的 过程中容 易产生偏差 。 transformer模型包括： 位置编码， 前向传播， 多头注意力模块， 自注意力和相加归一 化。 位置编码： 通过注入数据的顺序信息增强模型输入。 自注意力模块中， 三个输入的初始向量分别为K(key),Q(query),V(value),权值的计 算公式是： 其中为了防止Q与K点乘的乘积过 大， 所以除以 3.4.此外， 为了从编码器的特征映射中获取信息， 在每一个跳跃连接中加入SE模块， 自 适应的提取图像特征。 因为模块中的通道注意力机制， 使得网络能够专注于特定的分割任 务。 SE模块的具体操作： 第一步， 通过全局平均池化将每个通道的特征映射压缩为实数， 第 二步， 添加一个连通的神经网路， 非线性变换以获得每个特征通道的权重。 最后， 将获得的 权重归一化后应用于每 个通道的特 征， 从而达 到了提取特定信息的目的。 3.5.本网络模型采用了经典的编解码结构， 包括上采样， 下采样和跳跃连接。 跳跃连接 把编码器每一次下采样得到的特征通过级联与解码器上采样结果融合， 从而使分割结果更 加精准。 3.6.损失函数利用BCE损失函数和 Dice损失函数进行融合构 建损失函数作用于损失值权　利　要　求　书 1/2 页 2 CN 115311194 A 2的计算。 BCE损失函数公式为： 其中 N表示图像的像素总数， yn和xn分别表示第i个 像素的真实值和预测值。 Dice损失函数公式如下： 结合Dice损失函数与二元交叉熵损失函数构建网络的损失函数： Loss＝α·BCEloss+(1‑α )·Diceloss   (4) 其中， a为权重因子， 用于调节Dice损失函数和二元交叉函数所占比重， 取值范围为0 – 1。 3.6.此方法， 采用了如下几种常见的指标： Dice coeffcient(DC):用于度量两个集 合的相似性， 值越大， 表示分割的精度越高。 其中X表示分割结果， Y是表示的标签。 准确率Ac curacy: 敏感度Sensitivity: 特异度Specificity: 其中TN、 FP、 FN和TP分别代 表真阴性， 假阳性， 假阴性， 真阳性的数量。 AUC指标是用来评价分类器对于正样本和负样本的分辨能力。 AUC是ROC曲线与坐标轴 围成的面积， 以Sen为横轴， Spe为纵轴所绘制 而成的曲线， 越靠近左 上角， 模型的性能就越 好。权　利　要　求　书 2/2 页 3 CN 115311194 A 3