(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156919.0 (22)申请日 2022.09.21 (71)申请人 吉林大学 地址 130012 吉林省长 春市前进大街269 9 号吉林大 学计算机科 学与技术学院 (72)发明人 李瑛　杜伟　李高阳　唐诗熠　 梁艳春　张禹　刘翔宇　 (74)专利代理 机构 北京专赢专利代理有限公司 11797 专利代理师 李斌 (51)Int.Cl. G06T 7/11(2017.01) G06V 10/40(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于自监督对比学习的医学影像分割 方法 (57)摘要 本发明涉及医学影像 分割技术领域， 具体是 一种基于自监督对比学习的医学影像 分割方法， 包括以下步骤： 步骤1， 获取没有分割标签的患病 数据， 对每个样本进行数据增强； 步骤2， 对数据 增强之后的视图使用ViT进行特征提取和映射； 步骤3， 得到低像素的病灶激活图和背景激活图 Pid与Pib； 步骤4， 得到低像素病灶特征向量Vid和 背景特征向量Vib； 步骤5， 得到高像素病灶特征 向量Uid和背景特征向量Uib， 使用对比损失进行 自监督学习； 步骤6， 得到最终的分割结果， 本发 明基于自监督对比学习的医学影像 分割方法， 解 决了传统模型对有精确分割标签或分类信息的 训练图像的依赖， 以深度对比学习的方式充分利 用无标签数据， 达到自监督分割病灶区域的效 果。 权利要求书2页 说明书7页 附图4页 CN 115471512 A 2022.12.13 CN 115471512 A 1.一种基于自监 督对比学习的医学影 像分割方法， 其特 征在于， 包括以下步骤： 步骤1， 获取没有分割标签的患病数据， 对每 个样本进行 数据增强； 步骤2， 对数据增强之后的视图使用ViT进行特征提取和映射， 之后使用通道数为2的卷 积神经网络和softmax层， 得到初始的病灶激活图和背景激活图； 步骤3， 计算原始图像在三个通道的均值Mi， 分别使用上一步得到的初始的病灶激活图 和背景激活图点乘Mi和1‑Mi， 得到低像素的病灶激活图和背景激活图Pid与Pib； 步骤4， 对步骤2中ViT得到的特征映射进行矩阵变换， 之后同Pid与Pib相乘， 得到低像素 病灶特征向量Vid和背景特征向量Vib， 使用对比损失进行自监 督学习； 步骤5， 对步骤2中ViT得到的特征映射进行上采样和矩阵变换， 对步骤3得到的低像素 的病灶激活图和背景激活图Pid与Pib进行上采样得到高像素的病灶激活图和背 景激活图Qid 与Qib， 之后进行相乘得到高像素病灶特征向量Uid和背景特征向量Uib， 使用对比损失进行自 监督学习； 步骤6， 对于训练好 的模型所得到的高像素的病灶激活图Qid和原始的图像一同输出到 Dense CRF模块中得到最终的分割结果。 2.根据权利要求1所述的基于自监督对比学习的医学影像分割方法， 在步骤1中， 其特 征在于， 所述数据增强采用torchvision提供的数据增强工具中的旋转、 平移和缩放操作， 以消除患病数据中病灶大小、 方向和位置无关特 征产生的负面影响。 3.根据权利要求1或2所述的基于自监督对比学习的医学影像分割方法， 其特征在于， 在步骤5中， 上采样解码网络使用四层卷积神经网络将特征映射还原至原始大小， 其中的网 络参数使用重构误差进行训练。 4.根据权利要求3所述的基于自监督对比学习的医学影像分割方法， 其特征在于， 对低 像素的病灶激活图和背景激活图Pid与Pib进行双线性插值上采样。 5.根据权利要求1所述的基于自监督对比学习的医学影像分割方法， 其特征在于， 在步 骤4和5中， 通过最小化病灶区域和正常区域的相似性以及最大化病灶区域和正常区域内部 的相似性对比进行训练， 用 病灶和正常区域表示之间的语义信息来定位病灶目标区域， 分 别用负向对比损失Lneg和正向对比损失Lpos两个损失函数来表示。 6.根据权利要求5所述的基于自监督对比学习的医学影像分割方法， 其特征在于， 对于 多张患病图像的病灶区域和正常区域的表示包含不同的语义信息， 则病灶区域和正常区域 之间的距离 很大。 7.根据权利要求6所述的基于自监督对比学习的医学影像分割方法， 其特征在于， 对于 n个样本的患病图像分离出n个病灶区域特征向量和n个正常区域特征向量， 对于其中一个 病灶和正常区域的特 征向量对(Vid， Vjb)， 负向对比损失Lneg定义如下： 其中， 表示病灶区域特 征向量Vid和正常区域特 征向量Vjb的相似性， sim()表示余弦 相似性。 8.根据权利要求5或7所述的基于自监督对比学习的医学影像分割方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 115471512 A 2对于多张患病图像的病灶区域和病灶区域以及正常区域和正常区域之间的距离较小。 9.根据权利要求8所述的基于自监督对比学习的医学影像分割方法， 其特征在于， 计算 病灶区域 直接和正常区域之间的余弦相似度如下： 其中， 表示样本i的病灶区域特征向量Vid和样本j的病灶区域特征向量Vjd的相似性， 表示样本i的正常区域特征向量Vib和样本j的正常区域特征向量Vjb的相似性， sim()表 示余弦相似性； 分别计算病灶区域的正向对比损失 和正常区域的正向对比损失 如下： 其中， 表示样本i的病灶区域特征向量Vid和样本j的病灶区域特征向量Vjd的相似性， 表示样本i的正常区域特 征向量Vib和样本j的正常区域特 征向量Vjb的相似性； 整体的正向对比损失Lpos定义如下： 其中， λ1表示病灶区域的正向对比损失 的权重系数。 10.根据权利要求9所述的基于自监督对比学习的医学影像分割方法， 其特征在于， 最 终的损失函数为低像素的负向对比损失和正向对比损失以及高像素下的对比损失之和， 即： 其中， L表示模型的最终损失函数， λ2表示负向对比损失 和 的权重系数， 表示低像素的负向对比损失， 表示低像素的正向对比损失， 表示高像素的负向对 比损失， 表示高像素的正向对比损失。权　利　要　求　书 2/2 页 3 CN 115471512 A 3