(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210526936.2 (22)申请日 2022.05.16 (71)申请人 东北大学 地址 110169 辽宁省沈阳市和平区文化路3 号 (72)发明人 叶晨　唐鹏　陈嘉雷　付冲　 (74)专利代理 机构 沈阳优普达知识产权代理事 务所(特殊普通 合伙) 21234 专利代理师 陈曦 (51)Int.Cl. G06T 7/11(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的脑肿瘤 多模态MRI影像 分割方法 (57)摘要 本发明的一种基于深度学习的脑肿瘤多模 态MRI影像分割方法， 包 括： 步骤1： 对脑肿瘤多模 态MRI影像数据集预处理， 分为训练集和测试集； 步骤2： 构建空洞多尺度幻影模块； 步骤3： 构建通 道注意力模块； 步骤4： 在空洞多尺度幻影模块和 通道注意力模块的基础上建立脑肿瘤MRI影像分 割深度卷积神经网络； 步骤5： 使用训练集训练深 度卷积神经网络； 步骤6： 使用测试集验证所保存 模型的可用性； 步骤7： 使用训练好的深度卷积神 经网络对病患多种模态MRI影像的病灶区域进行 分割处理。 本发 明的方法能够精确快速分割出图 像中脑肿瘤整体区域， 用于对脑肿瘤病灶分割系 统中， 网络的参数利用率较高， 计算复杂 度较低， 具有实用意 义。 权利要求书3页 说明书14页 附图5页 CN 114926477 A 2022.08.19 CN 114926477 A 1.一种基于深度学习的脑肿瘤多模态MRI影 像分割方法， 其特 征在于， 包括： 步骤1： 获取现有的脑肿瘤多模态MRI影像数据集， 对脑肿瘤多模态MRI影像数据集进行 预处理， 并按比例分为训练集和 测试集； 步骤2： 构建空洞多尺度幻影模块， 使用线性卷积核生成幻影特征降低网络参数量， 并 设置不同空洞率使模块 适应不同尺度的目标， 提升模块泛化 性， 增强特 征利用率； 步骤3： 构建通道注意力模块， 通过自适应计算各通道特征的注意力权重， 调整不同特 征的利用率； 步骤4： 在空洞多尺度幻影模块和通道注意力模块的基础上建立脑肿瘤MRI影像分割深 度卷积神经网络， 通过跨层连接 设计U型结构将上下采样路径信息融合， 并在高级语义信息 层使用通道 注意力模块 提升网络性能； 步骤5： 使用训练集训练深度卷积神经网络， 对效果表现良好的训练模型进行筛选保 存； 步骤6： 使用测试集验证所保存 模型的可用性； 步骤7： 使用步骤6中训练完成的深度卷积神经网络对病患多种模态MRI影像中的病灶 区域进行分割处 理。 2.如权利要求1所述的基于深度学习的脑肿瘤多模态MRI影像分割方法， 其特征在于， 所述步骤1包括： 步骤1.1： 脑肿瘤多模态MRI影像数据集来自BraTS挑战赛2020年的数据集， 提供了293 位高级别胶质母细胞瘤病患的T1、 T2、 T1ce与FLAIR四种模态的MRI影像以及一个样本标签 文件， 数据集的具体数据信息采用NIFTI格式保存； 使用z ‑score法对四种模态的MRI影像的 NIFTI文件进行 标准化， 其具体定义如式(1)： 其中， x为MRI影像的像素点矩阵， μ与σ为全部像素点的均值及方差， z为z ‑score的结 果； 步骤1.2： 制作通用图片格式数据集； 使用ITK ‑SNAP软件读取标准化后的NIFTI文件， 对 MRI影像进 行切片， 筛选出包含脑肿瘤病灶的脑部MRI影像， 并对切片与标签进 行中心裁剪， 获得尺寸为160 ×160的数据结果， 其次将T1和FLAIR两种模态切片图像进行结合， 获得增强 切片图像T1 ‑FLAIR， 且保存为 通用图像 格式， 其具体定义如式(2)： 其中， t1fij表示增强切片图像T1 ‑FLAIR上第i行、 第j列个像素点的值， t1ij代表T1上第i 行、 第j列个 像素点的值， fij表示FLAIR上第i行、 第j列个 像素点的值； 将相应序列的T1 ‑FLAIR、 T2、 T1ce与FLAIR的切片图像按通道拼接后得到四通道的切片 组合作为 一个样本； 步骤1.3： 制作标签图片， 通过二值化操作将标签处理为只包含1和0的标签图像， 1表示 整体病灶区域， 0表示背景与其它脑组织， 保证原图和标签的序列一一对应， 保存为通用图 像格式， 完成脑肿瘤多模态MRI影 像数据集的预处 理；权　利　要　求　书 1/3 页 2 CN 114926477 A 2步骤1.4： 将脑肿瘤多模态MRI影 像数据集按照9:1的比例划分为训练集和 测试集。 3.如权利要求1所述的基于深度学习的脑肿瘤多模态MRI影像分割方法， 其特征在于， 所述步骤2包括： 步骤2.1： 对来自卷积网络上一层I通道的输出特征图使用3 ×3的标准卷积生成O通道 的特征图， 之后进行一次批量标准 化与ReLU激活函数的运 算得到内在特 征图； 步骤2.2： 对内在特征图进行空洞率为1的3 ×3的分组卷积得到O/2通道的特征图， 之后 进行一次批量标准 化与ReLU激活函数的运 算得到第一组幻影特 征图； 步骤2.3： 对内在特征图进行空洞率为2的3 ×3的分组卷积得到O/2通道的特征图， 之后 进行一次批量标准 化与ReLU激活函数的运 算得到第二组幻影特 征图； 步骤2.4： 将内在特征图、 第一组幻影特征图与第二组幻影特征图按通道拼接， 得到通 道数为2O的输出 特征图作为空洞多尺度幻影模块的输出。 4.如权利要求1所述的基于深度学习的脑肿瘤多模态MRI影像分割方法， 其特征在于， 所述步骤3包括： 步骤3.1： 对于来自卷积网络上一层尺寸为I ×W×H的输出特征图X使用I个1 ×W×H的 卷积核逐层运 算得到长度为I的一维的空间上 下文描述信息向量T； 步骤3.2： 对于步骤3.1生成的一维空间上下文描述信息向量T， 使用一维卷积进一步聚 合通道特征， 生成元 素数量为I/16的特 征聚合向量P； 步骤3.3： 对于步骤3.2生成的特征 聚合向量P使用一维卷积恢复为长度I的通道注意力 映射Q； 步骤3.4： 将步骤3.3中生成的通道注意力映射Q与模块输入特征图的X相乘得到尺寸为 I×W×H的注意力加权 输出特征图。 5.如权利要求1所述的基于深度学习的脑肿瘤多模态MRI影像分割方法， 其特征在于， 所述步骤4包括： 步骤4.1： 构 建下采样网络层， 首先是两次卷积核大小为3 ×3、 步长与 填充数均 为1的卷 积运算， 两次卷积的输出通道数均为64， 特征图大小不变， 每次卷积运算后接BN层与ReLU 层； 接着四次交替进入2 ×2的最大池化层与空洞多尺度幻影模块， 每次经过最大池化层后 特征图的通道数不变， 宽高减半， 每次经过 空洞多尺度幻影模块的运算后， 对应的特征图的 通道数分别为128,256,512,512； 对第四个空洞多尺度幻影模块的输出特征图进行特征注 意力模块的运算， 计算出一维的通道注意力映射向量， 再与其输入特征图相乘得到了增强 后的特征图， 尺寸 不变； 步骤4.2： 构建上采样网络层， 首先是三次上采样与空洞多尺度幻影模块的交替运算， 上采样的运算使用无训练参数 的双线性插值， 每次上采样使特征图的宽高变为两倍， 通道 数不变， 与下采样网络对应层的特征图进行按通道拼接后输入空洞多尺度幻影模块， 三个 空洞多尺度幻影模块的输出通道数分别是256、 128、 64； 再进行一次上采样后， 特征图恢复 至原图尺 寸， 通道数为64， 与下采样网络层 对应特征图按通道 拼接后再进 行两次3×3卷积， 每次卷积后接着BN层与 ReLU激活函数的运算， 两次卷积的输出通道均为64； 经过一个卷积 核大小为1 ×1的卷积层后得到 输出结果； 步骤4.3： 在上下采样层结构中加入跨层连接结构， 将上下采样层得到的输出特征图按 照对应大小与层级进行按通道拼接， 对深浅层 网络提取到的特征信息进行融合， 避免下采权　利　要　求　书 2/3 页 3 CN 114926477 A 3