(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210597474.3 (22)申请日 2022.05.30 (71)申请人 湖南大学 地址 410012 湖南省长 沙市岳麓区麓山 南 路麓山门 (72)发明人 刘敏　汪嘉正　杜浩　申文婷　 王耀南　 (74)专利代理 机构 长沙惟盛赟鼎知识产权代理 事务所(普通 合伙) 43228 专利代理师 黄敏华 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/11(2017.01)G06T 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种医学图像的语义分割方法及装置 (57)摘要 本发明涉及计算机视觉领域， 具体涉及一种 医学图像的语义分割方法及装置， 该方法包括 S1.构建医学图像语义 分割模型； S2.利用编码器 对输入图像进行编码， 输出不同阶段的编码结 果， 编码器在各阶段输出的编码结果尺度不同； S3.利用DMC模块分别对各阶段的编码结果以乘 法的方式进行特征融合， 并输出各阶段的特征 图； S4.利用LPA模块处理各阶段的特征图， 获得 各阶段的注意力图； S5.利用解码器融合LPA模块 各阶段输 出的注意力图， 得到与输入图像尺寸相 同的分割结果。 本发明能够提高医学图像分割的 精度。 权利要求书2页 说明书6页 附图4页 CN 114972756 A 2022.08.30 CN 114972756 A 1.一种医学图像的语义分割方法， 其特 征在于， 包括如下步骤： S1.构建包 含编码器、 DM C模块、 LPA模块和解码器的医学图像 语义分割模型； S2.利用编码器对输入图像进行编码， 输出不同阶段的编码结果， 编码器在各阶段输出 的编码结果尺度不同； S3.利用DMC模块分别 对各阶段的编码结果以乘法的方式进行特征融合， 并输出各阶段 的特征图； S4.利用LPA模块处 理各阶段的特 征图， 获得 各阶段的注意力图； S5.利用解码器融合LPA模块各阶段输出的注意力图， 得到与输入图像尺寸相同的分割 结果。 2.根据权利要求1所述的一种医学图像的语义分割方法， 其特征在于， 所述S3中利用 DMC模块分别对各阶段的编码结构以乘法的方式进行 特征融合的过程包括： 将编码器第m阶段的编码结果Em与编码器剩余的4 ‑m阶段的编码结果相乘， 得到特征融 合在第m阶段 的输出结果Fm： 其中g(·)表示特征变换， Ei表示编码器 在第i阶段的编码结果。 3.根据权利要求2所述的一种医学图像的语义分割方法， 其特征在于， 以Swin   Transformer模型作为编码器。 4.根据权利要求3所述的一种医学图像的语义分割方法， 其特征在于， 所述S4中利用 LPA模块处 理各阶段的特 征图， 获得 各阶段的注意力图包括： 利用金字塔结构Pa学习该阶段的特征图， 获取每一层金字塔对应的次级注意力图， 其中 a表示金字塔的层数； 以乘法的方式 融合各层级对应的次级注意力图， 获得 该阶段的注意力图。 5.根据权利要求4所述的一种医学图像的语义分割方法， 其特征在于， 所述获取每一层 金字塔对应的次级注意力图包括： 根据金字塔的输入层数a， 将特征图X沿H、 W方向以空间位置平均拆分并编码为n个等大 小的特征向量fj(j＝1,…,n)， n＝a2； 使每个特征向量依次通过通道注意力(CA)模型得到对应的通道注意力向量wcj(j＝ 1,…,n)， n＝a2， 将各特征向量fj与对应的通道注意力向量wcj相乘得到对应的通道注意力 图Wcj(j＝1,…,n)， 接着将各通道注意力图Wcj依次通过空间注意力(SA)模型得到对应的空 间注意力矩阵wsj(j＝1,…,n)， 再将各通道注 意力图Wcj与对应的空间注意力矩阵wsj相乘得 到对应的空间注意力图Wsj(j＝1,…,n)； 根据拆分时对于特征图的空间位置编码信息， 将所有的空间注意力图Wsj以拆分的逆操 作重新整合， 得到当前第a层金字塔对应的次级注意力图Pa(X)， 其中次级注意力图Pa(X)的 大小与当前DM C模块输出的特 征图X大小相同。 6.根据权利要求5所述的一种医学图像的语义分割方法， 其特征在于， 所述融合LPA模 块各阶段输出的注意力图， 得到与输入图像尺寸相同的分割结果的过程包括： 将LPA模块在最低尺度阶段输出的注意力图依次进行3 ×3卷积、 上采样、 3 ×3卷积后与 上一高尺度阶段输出的注意力图融合； 将融合的结果再次进行3 ×3卷积、 上采样、 3 ×3卷积后与上一高尺度阶段输出的注意权　利　要　求　书 1/2 页 2 CN 114972756 A 2力图融合， 并重复上述 步骤； 将最后阶段的融合结果依次进行3 ×3卷积、 上采样、 1 ×1卷积。 7.根据权利要求1所述的一种医学图像的语义分割方法， 其特征在于， 对医学图像语义 分割模型进行训练时， 以函数L作为损失函数： L＝LDICE+LBCE 其中， y为图像真实标签， p为预测的结果， ε是一个用来提高损失函数稳定性的参数， 此 处设置为1。 8.一种实现权利要求1～7任一项所述的医学图像的语义分割方法的装置， 其特征在 于， 包括： 构建单元， 被配置为构建包含编码器、 DMC模块、 LPA模块和解码器的医学图像语义分割 模型； 编码器， 被配置为对输入图像进行编码， 输出不同阶段的编码结果， 编码器在各阶段输 出的编码结果尺度不同； DMC模块， 被配置为分别 对各阶段的编码结果以乘法的方式进行特征融合， 并输出各阶 段的特征图； LPA模块， 被 配置为处 理各阶段的特 征图， 获得 各阶段的注意力图； 解码器， 被配置为融合LPA模块各阶段输出的注意力图， 得到与输入图像尺寸相同的分 割结果。权　利　要　求　书 2/2 页 3 CN 114972756 A 3