(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210207797.7 (22)申请日 2022.03.04 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 卜佳俊　吴磊　蔡翔宇　顾静军　 秦典　王伟林　丁元　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/00(2017.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多期立体图元生成器的肝脏病灶分割 的图像处 理方法 (57)摘要 本发明公开了一种基于多期立体图元生成 器的肝脏病灶分割的图像处理方法， 利用多期信 息和立体信息将多期CT序列特征编码成若干图 元， 将这些图元输入到Transformer模型中学习 跨期特征。 具体地， 首先提取图像特征， 利用CNN 提取多期CT序列的特征； 然后利用多期立体图元 生成器为每一层CT图像生成多期立体图元； 接着 将 所 有 C T 图 像 的 图 元 拼 接 起 来 输 入 到 Transformer中学习多期特征； 最后利用解码器 将多期特征还原为最终分割。 本发 明基于多期立 体图元生成器将非对齐多期CT序列编码为若干 图元， 不仅显著提高了肝脏病灶分割的准确度， 还降低了 显存使用消耗。 权利要求书1页 说明书5页 附图4页 CN 114565624 A 2022.05.31 CN 114565624 A 1.一种基于多期立体图元生成器的肝脏病灶分割的图像处理方法， 其特征在于， 包括 如下步骤： (1)对待预测的CT序列的动脉期上下文Xa和静脉期上下文Xv进行预处理， 使其符合网络 的输入要求； (2)利用CNN网络， 提取动脉期上下文Xa和静脉期上下文Xv的高层次特征， 动脉期特征fa 和静脉期特 征fv， 以及对应的低层次特 征 和 (3)利用多期立体图元生成器， 为动 脉期上下文Xa和静脉期上下文Xv的特征fa和fv的每 一层CT图像， 生成动脉期图元Ta和静脉期图元Tv； (4)将步骤(3)中的动脉期图元Ta和静脉期图元Tv拼接后， 分别与特征fa和fv， 输入到 Transformer中， 生成对应的多期特 征fm， a和fm， v； (5)利用图元融合器， 将步骤(4)中的多期 特征fm， a和fm， v， 分别与步骤(2)中对应的上下 文特征fa和fv融合； 再将 两个图元融合器的输出， 分别与步骤(2)中的特征fa和步骤(2)中的 特征fv相加， 得到对应的融合特 征Fa和Fv； (6)使用解码器， 将融合后的融合特征Fa和Fv， 分别解码为动脉期和静脉期的肝脏病灶 分割。 2.根据权利要求1所述基于多期立体图元生成器的肝脏病灶分割的图像处理方法， 其 特征在于， 步骤(3)包括如下子步骤： (3.1)利用全局层注意力， 计算步骤(2)中高层次特征fa和fv互相之间的全局层 间特征 和 (3.2)利用全局空间注意力， 计算步骤(2)中高层次特征fa和fv互相之间的全局空间特 征 和 (3.3)利用局部注意力， 计算 步骤(2)中特 征fa和fv互相之间的局部特 征la和lv； (3.4)将步骤(3.1)得到的全局层间特征、 步骤(3.2)得到的全局空间特征、 步骤(3.3) 得到的局部特 征以及步骤(2)中对应的CT序列特 征， 融合起来， 生成跨期序列特 征pa和pv； (3.5)利用空间注意力和全局空间池化， 为跨期序列特征pa和pv中的每一层特征， 分别 生成多期立体图元Ta和Tv。 3.根据权利要求1所述基于多期立体图元生成器的肝脏病灶分割的图像处理方法， 其 特征在于， 所述 步骤(4)包括如下子步骤： (4.1)将步骤(3)得到的多期立体图元Ta和Tv拼接， 产生多期图元T； (4.2)利用一个多头注意力模块， 分别计算步骤(3)中图元Ta和Tv的自注意力特征T ′a和 T′v； (4.3)利用另一个多头注意力模块， 分别计算步骤(4.2)中的自注意力特征T ′a和T′v， 与 步骤(4.1)中的多期图元T的交 互结果， 得到多期特 征fm， a和fm， v。权　利　要　求　书 1/1 页 2 CN 114565624 A 2基于多期立 体图元生成器的肝 脏病灶分割的图像处理 方法 技术领域 [0001]本发明属于图像处理和深度学习领域， 尤其涉及 一种基于多期立体图元生成器的 肝脏病灶分割的图像处 理方法。 背景技术 [0002]立体上下文对基于CT图像的肝脏病灶分割是至关重要的。 肝脏的病灶往往需要借 助造影剂的增强， 才能清晰准确地判断病灶的边界和种类。 在注射造影剂之前， 会先扫描腹 部产生一个CT图像的序列， 这一序列称之为平扫期(plain  phase)。 在注射造影剂之后， 在 两个特定的时间段内， 造影剂会随着血液分别流过静脉和动脉， 在这两个时间段内分别进 行扫描， 产生两个CT图像的序列： 静脉期(arterial  phase)， 动脉期(portal  phase)。 在实 际操作中会由于病人的移动， 呼吸， 内脏运动和一些技术原因， 导致图像内容在三个序列中 并不是像素级对齐的。 这给多期上 下文和立体上 下文的利用带来了困难。 [0003]针对多期上下文的结合， 目前较为简单的方法是在输入阶段将多期的2D图像直接 拼接或者利用注意力机制进行筛选。 如(C.Sun,S.Guo,H.Zhang,et  al.,“Automatic   segmentation  of liver tumors from multiphase  contrast ‑enhanced  CT images  based on FCNs,”in Artificial  intelligence  in medicine.2017,pp.58 ‑66.) (F.Ouhmich,V.Agnus,V.Noblet,et  al.,“Liver tissue segmen‑tation in multiphase   CT scans using cascaded  convolutional  neu‑ral networks, ”in Int J CARS  14.2019,pp.1275 –1284.Available:https://doi.org/10.1007/s11548 ‑019‑01989‑z) (R.Hasegawa,Y.Iwamoto,L.Lin,et  al.,“Automatic  Segmentation  of Liver Tumor in  Multiphase  CT Images by Mask R‑CNN,”in 2020 IEEE 2nd Global Conference  on  Life Sciences  and Technologies(LifeTech).2020,pp.231 ‑234.Available:https:// doi.org/10.100 7/s11548 ‑019‑01989‑z)等。 但是这些2D 模型都忽略了3D信息， 导致模型的 分割准确率 不高。 [0004]另外一种思路是利用3D卷积来捕捉3D信息， 如(J.Dolz,et  al.,“HyperDense ‑ Net:A Hyper‑Densely Connected  CNN for Multi‑Modal Image Segmentation, ”in IEEE  Transactions  on Medical Imaging,vol.38,no.5,pp.1116 ‑1126,May  2019,doi: 10.1109/TMI.2018.2878669.)和(A  T Q,B X W,Cf C,et al.M3Net:A  multi‑scale  multi‑view framework  for multi‑phase pancreas  segmentation  based on cross‑ phase non‑local attention ‑ScienceDirect[J].202 1.)等， 但是前者 需要将CT切成较小 的数据块， 这限制了模型的感受野。 后者在压缩3D信息的时候不断的抛弃最外两层， 会失去 较多的3D信息 。 发明内容 [0005]本发明的目的在于针对现有技术的不足， 提供一种基于多期立体图元生成器的肝 脏病灶分割的图像处理方法。 本发明的核心 技术是将多期上下文对齐之后并融合产生多期说　明　书 1/5 页 3 CN 114565624 A 3