(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210348034.4 (22)申请日 2022.03.24 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 彭军才　刘毅　陈泽裕　赖宝华　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 语义分割方法、 装置及计算机程序 产品 (57)摘要 本公开提供了一种语义分割方法、 装置、 电 子设备、 存储介质及计算机程序产品， 涉及人工 智能技术领域， 具体涉及深度学习、 计算机视觉 技术， 可用于语义分割场景下。 具体实现方案为： 对所获取的待处理图像进行编码， 得到对应于待 处理图像的多层次特征图； 对多层次特征图进行 上下文融合， 得到上下文融合特征图； 基于注意 力机制加权融合上下文融合特征图和多层次特 征图中的特征图， 得到注意力融合特征图； 根据 注意力融合特征图进行语义分割， 得到语义分割 结果。 本公开在减少语义分割模 型计算量的基础 上， 保证了语义分割模型的处 理速度和精度。 权利要求书3页 说明书10页 附图6页 CN 114913325 A 2022.08.16 CN 114913325 A 1.一种语义分割方法， 包括： 对所获取的待处 理图像进行编码， 得到对应于所述待处 理图像的多层次特 征图； 对所述多层次特 征图进行 上下文融合， 得到上 下文融合特 征图； 基于注意力 机制加权融合所述上下文融合特征图和所述多层次特征图中的特征图， 得 到注意力融合特 征图； 根据所述注意力融合特 征图进行语义分割， 得到语义分割结果。 2.根据权利要求1所述的方法， 其中， 所述对所述多层次特征图进行上下文融合， 得到 上下文融合特 征图， 包括： 通过多个不同的全局池化算子分别对所述多层次特征图进行池化操作， 得到多个池化 特征图； 对所述多个池化特征图中的每个池化特征图进行卷积操作和上采样操作， 得到多个采 样后特征图； 根据所述多个采样后特 征图， 得到所述上 下文融合特 征图。 3.根据权利要求1所述的方法， 其中， 所述基于注意力 机制加权融合所述上下文融合特 征图和所述多层次特 征图中的特 征图， 得到注意力融合特 征图， 包括： 按照所述多层次特征图中的特征图的层次由深到浅的顺序， 基于注意力 机制将所述多 层次特征图中对应于所述上下文融合特征图的特征图加权融合至所述上下文融合特征图， 并在得到的融合后特征图的基础上与所述多层次特征图中下一层次的特征图继续进行加 权融合， 直至最终得到所述注意力融合特 征图。 4.根据权利要求3所述的方法， 其中， 所述注意力机制为空间注意力机制； 以及 所述基于注意力机制将所述多层次特征图中对应于所述上下文融合特征图的特征图 加权融合至所述上 下文融合特 征图， 包括： 将所述多层次特征图中对应于所述上下文融合特征图的特征图和所述上下文融合特 征图进行通道维度的均值操作和最大值操作， 得到多个通道维度特 征图； 对所述多个通道维度特 征图进行通道维度的级联操作， 得到第一级联 特征图； 对所述第一级联 特征图进行 卷积操作和激活操作， 得到第一权 重； 根据所述第一权重将所述多层次特征图中对应于所述上下文融合特征图的特征图和 所述上下文融合特 征图进行融合， 得到所述融合后特 征图。 5.根据权利要求3所述的方法， 其中， 所述注意力机制为 通道注意力机制； 以及 所述基于注意力机制将所述多层次特征图中对应于所述上下文融合特征图的特征图 加权融合至所述上 下文融合特 征图， 包括： 将所述多层次特征图中对应于所述上下文融合特征图的特征图和所述上下文融合特 征图进行空间维度 的全局均值池化操作和全局最大值池化操作， 得到多个空间维度特征 图； 对所述多个空间维度特 征图进行通道维度的级联操作， 得到第二级联 特征图； 对所述第二级联 特征图进行 卷积操作和激活操作， 得到第二权 重； 根据所述第二权重将所述多层次特征图中对应于所述上下文融合特征图的特征图和 所述上下文融合特 征图进行融合， 得到所述融合后特 征图。 6.根据权利要求1所述的方法， 其中， 所述根据所述注意力融合特征图进行语义分割，权　利　要　求　书 1/3 页 2 CN 114913325 A 2得到语义分割结果， 包括： 对所述注意力融合特征图进行调 整操作， 得到具有与语义分割类别相同数量的通道的 调整后特 征图； 根据所述调整后特 征图进行语义分割， 得到所述语义分割结果。 7.一种语义分割装置， 包括： 编码单元， 被配置成对所获取的待处理图像进行编码， 得到对应于所述待处理图像的 多层次特 征图； 上下文融合单元， 被配置成对所述多层次特征图进行上下文融合， 得到上下文融合特 征图； 注意力融合单元， 被配置成基于注意力 机制加权融合所述上下文融合特征图和所述多 层次特征图中的特 征图， 得到注意力融合特 征图； 语义分割单元， 被配置成根据所述注意力融合特征图进行语义分割， 得到语义分割结 果。 8.根据权利要求7 所述的装置， 其中， 所述上 下文融合单 元， 进一步被配置成： 通过多个不同的全局池化算子分别对所述多层次特征图进行池化操作， 得到多个池化 特征图； 对所述多个池化特征图中的每个池化特征图进行卷积操作和上采样操作， 得到多 个采样后特 征图； 根据所述多个采样后特 征图， 得到所述上 下文融合特 征图。 9.根据权利要求7 所述的装置， 其中， 所述注意力融合单 元， 进一步被配置成： 按照所述多层次特征图中的特征图的层次由深到浅的顺序， 基于注意力 机制将所述多 层次特征图中对应于所述上下文融合特征图的特征图加权融合至所述上下文融合特征图， 并在得到的融合后特征图的基础上与所述多层次特征图中下一层次的特征图继续进行加 权融合， 直至最终得到所述注意力融合特 征图。 10.根据权利要求9所述的装置， 其中， 所述注意力机制为空间注意力机制； 以及 所述注意力融合单 元， 进一步被配置成： 将所述多层次特征图中对应于所述上下文融合特征图的特征图和所述上下文融合特 征图进行通道维度的均值操作和最大值操作， 得到多个通道维度特征图； 对所述多个通道 维度特征图进行通道维度的级联操作， 得到第一级联特征图； 对所述第一级联特征图进行 卷积操作和激活操作， 得到第一权重； 根据所述第一权重将所述多层次特征图中对应于所 述上下文融合特征图的特征图和所述上下文融合特征图进行融合， 得到所述融合后特征 图。 11.根据权利要求9所述的装置， 其中， 所述注意力机制为 通道注意力机制； 以及 所述注意力融合单 元， 进一步被配置成： 将所述多层次特征图中对应于所述上下文融合特征图的特征图和所述上下文融合特 征图进行空间维度 的全局均值池化操作和全局最大值池化操作， 得到多个空间维度特征 图； 对所述多个空间维度特征图进 行通道维度的级联操作， 得到第二级 联特征图； 对所述第 二级联特征图进行卷积操作和激活操作， 得到第二权重； 根据所述第二权重将所述多层次 特征图中对应于所述上下文融合特征图的特征图和所述上下文融合特征图进 行融合， 得到 所述融合后特 征图。 12.根据权利要求7 所述的装置， 其中， 所述语义分割单 元， 进一步被配置成：权　利　要　求　书 2/3 页 3 CN 114913325 A 3