(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210568286.8 (22)申请日 2022.05.24 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 隆晓菁　黄晓娜　高昂　征博文　 李宇涵　梁栋　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 专利代理师 刘建伟 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的胎儿MRI脑组织分割方 法及装置 (57)摘要 本发明涉及医学MRI成像领域， 具体涉及一 种基于深度学习的胎儿MRI脑组织分割方法及装 置。 该方法及装置首先对胎儿大脑MRI进行数据 增强操作， 再构建基于Contextual  Transformer   block的特征金字塔模型： 特征金字塔模型在编 码器和解码器部分引入注意力结构CoT ‑Block， 注意力结构CoT ‑Block利用key上下文信息， 指导 动态注意力矩阵的学习， 增强提取数据增强后的 胎儿大脑MRI图像中的特征； 特征金字塔模型在 解码器部分引入混合膨胀卷积模块， 混合膨胀卷 积模块扩大感受野并且保留详细的空间信息， 并 有效提取医学图像中的全局上下文信息， 从而有 效地提高分割的精度， 最大程度地帮助医生进行 临床诊断。 权利要求书2页 说明书10页 附图2页 CN 115063351 A 2022.09.16 CN 115063351 A 1.一种基于深度学习的胎儿MRI脑组织分割方法， 其特 征在于， 包括以下步骤： 对胎儿大脑MRI进行 数据增强操作； 构建基于Contextual  Transformer block的特征金字塔模型： 所述特征金字塔模型在 编码器和解码器部分引入注意力结构CoT ‑Block， 所述注意力结构CoT ‑Block利用key上下 文信息， 指导动态注意力矩阵的学习， 增强提取数据增强后的胎儿大脑MRI图像中的特征； 所述特征金字塔模型在解码 器部分引入混合膨胀卷积模块， 所述混合膨胀卷积模块扩大感 受野并且保留详细的空间信息， 并有效提取医学图像中的全局上 下文信息； 使用所述特 征金字塔模型对数据增强后的胎儿大脑MRI图像进行组织分割。 2.根据权利要求1所述的基于深度学习的胎儿MRI脑组织分割方法， 其特征在于， 所述 对胎儿大脑MRI进行 数据增强操作包括： 采用对抗数据增强技术， 通过模拟MRI中常见的伪影造成的强度不均匀性对神经网络 进行训练， 使用训练后的神经网络对胎儿大脑MRI进行 数据增强操作。 3.根据权利要求2所述的基于深度学习的胎儿MRI脑组织分割方法， 其特征在于， 所述 采用对抗数据增强技术， 通过模拟MRI中常见 的伪影造成的强度不均匀性对神经网络进行 训练包括： 给定一个分割网络fseg(.； θ )和输入图像I， 首先在搜索空间中找到控制点c 的最优值， 对输入图像构建一个对抗偏差场Ibias＝Gbias(I； c)， 然后通 过神经网络输出原始预测p＝fseg (I； θ )和扰动后的预测p*＝fseg(Gbias(I； c)； θ )， 通过下式(2)计算Dcomp； 其中Dcomp表示复合距 离函数， 用于增强分割中两种预测之间的辨别能力； 先找到构建偏差场中的控制点c的最优值， 然后再优化神经网络中的参数θ， 使得原始 预测和生成对抗偏差之后的预测fseg(Gbias(I； cadv)； θ )之间的距离最小化； 其中， I表示输入图像， θ表示用于训练的网络参数， c是用于构建一个最优偏差场的控 制点， fseg(.； θ )表示分割网络， Gbias(I； c)是一个对抗偏差场， Dcomp表示复合距离函数， p 表示通过神经网络输出的原始预测， p*表示加入了偏 差场之后输出的扰动后的预测， DKL表 示KL散度， Dcontour表示一个基于轮廓的损失函数， w控制两个式子 之间的相对重要性， M表 示前景的通道， Sx,y表示两个sobel滤波器在x和y方向上的边 缘提取。 4.根据权利要求1所述的基于深度学习的胎儿MRI脑组织分割方法， 其特征在于， 所述 特征金字塔模型由一个主干网络组成， 所述主干网络由编 码器、 解码器、 跳跃连接和特征 组 合四部分组成； 所述解码 器中的每个特征映射与来自所述编码器的对应特征映射相连所形 成的结构为跳跃 连接； 所述跳跃 连接将所述编码器的低级特 征与高级特 征进行相连。 5.根据权利要求4所述的基于深度学习的胎儿MRI脑组织分割方法， 其特征在于， 所述 编码器和所述解码 器被配置为： 引入用于实现特征提取与利用的注意力结构 CoT‑Block； 所 述注意力结构CoT ‑Block用于利用验证码key上 下文信息， 指导动态 注意力矩阵的学习。 6.根据权利要求5所述的基于深度学习的胎儿MRI脑组织分割方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115063351 A 2注意力结构CoT ‑Block被配置为： 首先在验证码key上采用k  x k x k的卷积操作来进行编 码， 得到邻近间的上下文信息， 然后将query和上下文信息建模之后的key进行concat， 再使 用两个连续的1  x 1 x 1卷积来得到全局的上下文信息， 最后通过邻近间的上下文信息与 全局上下文信息的融合得到 输出结果。 7.根据权利要求6所述的基于深度学习的胎儿MRI脑组织分割方法， 其特征在于， 所述 特征金字塔模型在解码器的最后一层， 引入了混合膨胀卷积模块； 所述混合膨胀卷积模块 在保持参数个数不变的情况下增大了卷积核的感受野， 让每个卷积输出都包含大范围信 息， 同时保证输出的特 征映射的大小保持不变。 8.一种基于深度学习的胎儿MRI脑组织分割装置， 其特 征在于， 包括： 数据增强单 元， 用于对胎儿大脑MRI进行 数据增强操作； 特征金字塔模型构建单元， 用于构建基于Contextual  Transformer block的特征金字 塔模型： 所述特征金字塔模 型在编码器和解码器部 分引入注 意力结构 CoT‑Block， 所述注 意 力结构CoT ‑Block利用key上下文信息， 指导动态注意力矩阵的学习， 增强提取数据增强后 的胎儿大脑MRI图像中的特征； 所述特征金字塔模型在解码 器部分引入混合膨胀卷积模块， 所述混合膨胀卷积模块扩大感受野并且保留详细的空间信息， 并有效提取医学图像中的全 局上下文信息； 组织分割单元， 用于使用所述特征金字塔模型对数据增强后的胎儿大脑MRI图像进行 组织分割。 9.一种存储介质， 其特征在于， 所述存储介质存储有能够实现权利要求1至7中任意一 项所述基于深度学习的胎儿MRI脑组织分割方法的程序文件。 10.一种处理器， 其特征在于， 所述处理器用于运行程序， 其中， 所述程序运行时执行权 利要求1至7中任意 一项所述的基于深度学习的胎儿MRI脑组织分割方法。权　利　要　求　书 2/2 页 3 CN 115063351 A 3