(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210378697.0 (22)申请日 2022.04.12 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 张堃　徐沛霞　何伯圣　林鹏程　 陈俞好　刘志诚　张鹏程　韩宇　 刘纪元　涂鑫涛　 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于MIP序列的肠系膜上动脉血管重建 方法 (57)摘要 本发明涉及医学图像 分割技术领域， 具体涉 及一种基于MIP序列的肠系膜上动脉血管重建方 法， 包括： S1： 获取肠系膜上动脉血管MIP薄切序 列数据集， 并对数据做增强处理； S2： 建立基于 上 下文引导的图神经网络与卷积神经网络的血管 预重建网络， 结合使用双注意力结构与条件随机 场获得血管预重建结果； S3： 建立基于Iter ‑Unet 的后处理网络， 对预重建得到的结果做进一步细 化处理， 加强细小血管的边缘结构的同时连接断 裂血管。 本发 明引入序列优化对 单张图像的血管 分割， 利用空间冗余信息推理出由于CT扫描造成 的血管的缺失部分， 提高血管的连通性与拓扑结 构， 减轻噪音、 伪影、 重叠组织对分割的扰动， 实 现末端细小血管的精准分割， 提高了血管分割重 建的深度和精度。 权利要求书3页 说明书12页 附图3页 CN 114897780 A 2022.08.12 CN 114897780 A 1.一种基于MIP序列的肠系膜上动脉血管重建方法， 对腹部肠系膜上动脉的CT序列图 像进行分割重建处 理， 其特征在于， 包括以下步骤： S1： 获取肠系膜上动脉 血管MIP薄切序列数据集， 并对数据做增强处 理； S2： 建立基于上下文引导的图神经网络与卷积神经网络的血管预重建网络， 结合使用 双注意力结构与条件随机场获得 血管预重建结果； S3： 建立基于Iter ‑Unet的后处理网络， 对预重建得到 的结果做进一步细化处理， 加强 细小血管的边缘结构的同时连接断裂血 管。 2.根据权利要求1所述的一种基于MIP序列的肠系膜上动脉血管重建方法， 其特征在 于， 在步骤S2中： 血管预重建网络包括空间上下文引导的血管重建结构、 条件随机场特征推理模块、 尺 度感知注意力模块， 以及通道特 征融合模块； 所述下文引导的血管重建结构在图像的下采样和上采样过程中分别使用三维数据与 二维数据， 并将空间特征聚合成2D特征， 利用前后序列的空间冗余特征丰富单张图像特征 量， 推断原 始图像中由于 CT扫描造成的血 管局部缺失部分； 所述条件随机场特征推理模块， 使用不同特征提取器——图卷积神经网络GCN与卷积 神经网络CNN提取血管特征， 利用条件随机场建立血管体素邻域间的关系， 按照所提特征对 最终结果的贡献程度， 通过注意门调节来自双方的信息流并将该特征输入 条件随机场进 行 推理， 对每个体素进 行精准分类， 将条件随机场的平均场 操作转化为卷积操作， 实现端对端 的训练； 所述尺度感知注意力模块， 计算可变感受野中体素之间的相似度， 以空间自适应方式 学习相邻块的偏移量和权 重， 聚焦不同大小的血 管， 尤其增强对细小血 管的特征捕捉能力； 所述通道特征融合模块， 聚合来自编码层的低级信息以及解码层中的高级特征， 给不 同通道分配权 重， 抑制背景中噪音、 重 叠组织以及伪影对分割的干扰。 3.根据权利要求2所述的一种基于MIP序列的肠系膜上动脉血管重建方法， 其特征在 于， 所述上下文引导的血管重建结构沿用U ‑net的解编码结构， 包括编码层、 解码层以及中 间用于特 征拼接的跳跃 连接层： 所述编码层中采用3D残差块对3D体积数据进行特征提取， 编码层一共分为7层， 前5层 中， 每层都由一个3D卷积和一个3D残差块构成， 为防止网络过拟合， 在第六层的3D卷积之前 加入了池化层， 第7层中则只包 含池化层； 所述解码层中采用使用2D残差块进行特征提取， 除第7层中只包含上采样操作， 其余6 层均由道特 征融合模块、 2D残差块以及上采样三个步骤构成； 所述跳跃连接层接受来自编码层的3D低级特征， 将其聚合为2D特征并传入到解码层 中， 用于后续的特 征拼接， 共7层。 4.根据权利要求2所述的一种基于MIP序列的肠系膜上动脉血管重建方法， 其特征在 于， 所述条件随机场特征推理模块在使用图卷积神经网络提取特征时运用三线性插值采样 器， 使用随机梯度下降的方法为每个原始特征学习移动距离， 从而对给定的V个节点的图 中， 对特征节点Xm及其周围的位移特 征节点进行采样， 采用自适应采样策略便 于模型优化。 5.根据权利要求2所述的一种基于MIP序列的肠系膜上动脉血管重建方法， 其特征在 于， 所述条件随机场特征推理模块属于概率图分割模型， 图像分布符合吉布斯分布可用P表权　利　要　求　书 1/3 页 2 CN 114897780 A 2示， 采用注意门控制来自不同特征提取器中的信息流， 注意门通过最小化总能量成本E() 来调节从主干神经网络的编 码特征到潜在表征的信息流， 将用图卷积提取的特征和使用条 件随机场推理的图卷积中的隐藏特征以及卷积提取的特征和使用条件随机场推理的卷积 中隐藏特征之 间的关系看作一元势， 将使用条件随机场融合的最 终特征与注意门之 间关系 看作二元势， 使用高斯函数将推测所得的隐藏特征H表征到观测特征X上， 预测图像的分布 可用分布 Q表示， 利用KL散度 表示使用理论分布Q拟合真实分布P时产生的信息损耗， 引入最 小化自由能函数来优化KL散度的求 解： DKL(Q||P)为分布P与分布Q之间的KL散度， Q(h)为使用平均场拟合分布P的后验概率分 布 ，l n Z 为 常 数 项 ，E ( h ) 为 分 割 时 的 能 量 函 数 ，h 为 隐 变 量 ，其 中 为自由能， 自由能的第一项为标记每个体素的成本， 第二项表示分布Q的熵。 6.根据权利要求4所述的一种基于MIP序列的肠系膜上动脉血管重建方法， 其特征在 于， 所述条件随机场特征推理模块使用卷积操作代替条件随机场中平均场的更新， 定义使 用图卷积网络提取的特征XG， 卷积提取特征XR， 注意门的权重矩阵AGR， 图中以及卷积中待推 理的特征分别为HG以及HR具体的操作步骤为： (1)计算注意门权重矩阵的更新矩阵： 为AGR的更新矩阵， rGR 为一个3×3的卷积核， XG为使用图卷积网络提取的特 征， XR为卷积提取 特征； (2)使用sigmoid函数σ 对更新矩阵做归一化处理： 式中的 为归一 化后注意门权 重矩阵的更新； (3)HG的平均场更新： HG＝rGR*HG， *表示卷积操作， XG为图卷积网络提取的特征， 等式左 边的HG为更新后的HG， rGR为一个3×3的卷积核； (4) ⊙表示元素相乘， 为卷积的 隐藏特征HG的更新， 为归一化后 注意门权 重矩阵的更新， XG为使用图卷积网络提取的特 征； (5)通过使用剩余连接添加一元势来更新 表示元素相加， 为 卷积的隐藏特 征HG的更新， 为了 便于迭代更新， HG的贡献归算在HR中。 7.根据权利要求2所述的一种基于MIP序列的肠系膜上动脉血管重建方法， 其特征在 于， 所述尺度感知注 意力模块， 采用1 ×1×1的3D卷积将二 维图像的自注 意力机制引入到三 维空间， 结合可变形卷积， 通过额外的卷积层自适应的调整感受野使感受野在不同尺度的 血管区域逐渐扩展， 具体操作步骤为： 给定某个规则的固定大小的采样网块K ×K×K， 设置额外的卷积层中的卷积核与采样 网块大小与扩张相同， 输入特征图与额外的卷积层交互为规则采样块中每个体素生成一个 偏移量ΔPn， 将偏移量与原输入特 征图相加得到新的特 征图； 将输入特征 输入到2个平行的3D可形变卷积层中分别得到2个新的特征 使用1×1×1的3D卷积将Fo1、 Fo2的通道特征减少到原 来的1/权　利　要　求　书 2/3 页 3 CN 114897780 A 3