(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210361443.8 (22)申请日 2022.04.07 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 孙美君　杨淑清　王征　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) (54)发明名称 基于生成对抗网络和多尺度特征融合的医 学影像分割装置 (57)摘要 本发明公开了一种基于生成对抗网络和多 尺度特征融合的医学影像分割装置， 包括： 分割 框架的输入是原始 3D的CT影像， 经预处理后得到 标准化图像； 利用训练后的基于特征图合成生成 对抗网络中的判别器分割出肝脏， 输出预测概率 图； 概率图中每个像素中的值表征该像素属于肝 脏的概率， 通过生成器和判别器之间的对抗学 习， 学习更多的信息； 自动提取肝脏ROI： 将肝脏 3D分割结果和标准化图像进行点乘， 屏蔽其他非 相关脏器， 计算出肝脏区域最小外接长方体并剪 裁， 将不同大小肝脏重采样至同一尺寸； 将肝脏 ROI作为输入， 利用训练好的基于改进V ‑Net的三 通道级联网络， 融合多尺度特征， 扩大感受野， 处 理不同数据中的目标区域位置、 形状和大小差异 问题和病变区域边界模糊问题， 最终得到肿瘤分 割结果。 权利要求书1页 说明书7页 附图4页 CN 114693933 A 2022.07.01 CN 114693933 A 1.一种基于生成对抗网络和多尺度特征融合的医学影像分割装置， 其特征在于， 所述 装置包括： 一由粗到细的肝脏肿瘤分割框架， 所述分割框架的输入是原始3D的CT影像， 经预处理后得到标准化图像； 利用训练后的 基于特征图合成的生成对抗网络中的判别器分割出肝脏， 输出 预测概率图； 所述概率图中每个像素中的值表征该像素属于肝脏的概率， 生成对抗网络通过生成器 和判别器之间的对抗学习， 学习更多的信息； 自动提取肝脏ROI： 将肝脏3D分割结果和标准化图像进行点乘， 屏蔽其他非相 关脏器， 计算出肝脏区域 最小外接长方体并剪 裁， 将不同大小肝脏 重采样至同一尺寸； 将肝脏ROI作为输入， 利用训练好的基于改进V ‑Net的三通道级联网络， 融合多尺度特 征， 扩大感受野， 处理不同数据中的目标区域位置、 形状和大小差异问题和病变区域边界模 糊问题， 最终得到肿瘤分割结果。 2.根据权利要求1所述的一种基于生成对抗网络和多尺度 特征融合的医学影像分割 装 置， 其特征在于， 所述判别器为融入了金字塔池化模块的V ‑Net网络， 所述生成器为使用基于特征图合 成的神经网络， 生成器利用空间金字塔池化输出 的特征图进行训练， 从无标签数据中学习 CT影像的分布并生成伪图像数据。 3.根据权利要求1或2所述的一种基于生成对抗网络和多尺度特征融合的医学影像分 割装置， 其特 征在于， 所述判别器使用划分后的带标签的数据、 无标签数据和生成器生成的伪数据进行半监 督学习； 判别器网络与生成器网络互相对抗学习， 直至判别器与生成器达到动态平衡时结 束训练。 4.根据权利要求2所述的一种基于生成对抗网络和多尺度 特征融合的医学影像分割 装 置， 其特征在于， 所述基于金字塔池化模块的V ‑Net网络为： 利用空间形状感知模块来改进金字塔池化， 并将其附加在V ‑Net网络的跳跃连接中， 所 述空间形状 感知模块用于捕捉图像中的不同病变区域之 间的长距离依赖关系， 捕获局部上 下文的相关性； 对于输入的张量， 利用三个相互垂直的片状子对其进行处理得到三个输出， 将三个输 出扩展至与输入张量 一致大小并进行融合， 得到新的特 征向量。 5.根据权利要求4所述的一种基于生成对抗网络和多尺度 特征融合的医学影像分割 装 置， 其特征在于， 所述融合过程为点积操作后接Softmax激活函数， 将融合后的张量与原始 的输入张量进行相同的融合操作， 得到最后的输出张量； 使用三种 尺度的三维池化层， 将输入的特征图分别池化至1 ×1×1、 2×2×2和3×3×3 三种尺度； 对三尺度的池化结果通过卷积缩减通道数； 接着分别上采样至原始特征图尺寸， 将其与原始特征图和空间形状感知模块的输出结果融合； 再次通过卷积缩减通道数， 得到 包含多尺度信息的特 征图。 6.根据权利要求4所述的一种基于生成对抗网络和多尺度 特征融合的医学影像分割 装 置， 其特征在于， 所述基于改进V ‑Net的三通道级联网络为： 多尺度分割网络， 第一个分支的输入为将原 始输入数据的三个维度各缩 小至0.5倍， 输出相应的分割结果 之后对结果进行2倍上采样， 并将其 他两个分支的结果进行融合， 输出肝脏肿瘤的分割图。权　利　要　求　书 1/1 页 2 CN 114693933 A 2基于生成 对抗网络和多尺度特征融合的医学影像分割装 置 技术领域 [0001]本发明涉及机器学习的计算机视觉领域， 尤其涉及一种基于生成对抗网络和多尺 度特征融合的医学影 像分割装置 。 背景技术 [0002]随着计算机技术和生物医学的发展， 医学成像设备逐渐普及， 多种医学成像技术 已广泛应用于临床。 例如： 核磁共振成像(MRI)、 计算机断层扫描(CT)、 超声(Ultrasound)、 X 射线(X‑ray)等， 都是以非侵入方式对人体内部各个器官、 不同组织和病变区域显影。 医学 影像分割在疾病诊断、 病例分析、 手术规划、 预后评估中起着不可或缺的辅助作用， 不仅可 以为医生提供器官发生病变的位置、 病变区域大小、 病灶严重程度等极具价值的信息， 而且 可以在外科手术过程的实时成像中发挥作用。 深度学习在医学图像分割领域得到迅速发 展， 其利用非线性组合将低层次的特征组合成抽象的高层次特征， 解决了医学图像低分辨 率且高复杂性的分析难点， 因此， 深度学习网络的构建、 升级和合理解读成为当前人工智能 与医学交叉 领域研究的热点之一。 [0003]目前， 如何实现肝脏肿瘤高精度自动分割， 这仍然是医学 图像处理中最具挑战性 的任务之一。 由于人工成本和专业知识限制， 很难在一个大型 的肝脏图像数据集中在体素 水平上对肝脏及肝脏肿瘤进行标注， 对以数据为驱动的深度学习模型来说， 带标签数据的 缺乏无疑是当前亟需解决的问题。 其次， 与肝脏相比， 肝脏肿瘤不仅体积小， 灰度分布不均 匀， 而且形状、 数目和位置也因人而异， 肿瘤和 器官的边界十分模糊， 这些特点使得对肝脏 肿瘤进行精细化分割的难度上了一个台阶。 [0004]当前， 国内外的医学图像分割的方式可分为： 传统技术、 基于浅层机器学习的技术 和基于深度学习的技术。 传统的图像分割技术利用图像的灰度、 纹理、 边缘等特征， 通过手 动设置特征值来分割目标区域， 分割 结果的好坏与手动设置的特征密切相关， 通常会限制 复杂场景 的预测表现， 忽略了大量的可利用的原始图像信息； 面对传统分割技术中的局限 性， 机器学习的发展为医学图像的分割提供了新的解决思路， 浅层机器学习技术包含： 聚 类、 支持向量机等， 均依赖于手动提取特征， 人工成本和时间成本高， 并且特征选取的质量 直接影响了 分割效果； 有关深度学习的研究经历 了长期发展和演进， 从19 43年MP(逻辑神经 元)模型被提出开始， 历代研究者先后提出感知机、 反向传播算法、 卷积神经网络、 生 成对抗 网络、 残差网络等网络模型， 这些方法的出现为机器学习注入新鲜血液。 随着人工智能在医 学领域的应用和推广， 利用深度学习算法从医学图像中分割肝脏及其肿瘤已经取得了不错 的成果， 分割精度相较于传统图像分割方法和基于浅层机器学习的分割方法有极大提升， 但仍存在部分问题成为其进一步发展的阻碍。 例如： 针对密度分布不均或不同尺度下肝脏 肿瘤， 现有的分割技术仍有较大的进步空间； 另外， 目前还没有一个大型的有标签数据集能 够充分满足深层 网络的训练需求， 因此， 研究如何在样本数据较少的情况下进行学习十分 必要。 [0005]对于医学 图像， 特别是三维图像， 获取标注数据 需要耗费大量人工成本和时间成说　明　书 1/7 页 3 CN 114693933 A 3