(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544100.5 (22)申请日 2022.05.18 (71)申请人 北京地平线机 器人技术研发有限公 司 地址 100086 北京市海淀区丰豪东路9号院 2号楼3层1单 元302 (72)发明人 李翔宇　朱红梅　张骞　任伟强　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 李少丹　许伟群 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/70(2022.01) G06V 20/56(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种图像处理方法、 语义分割网络的训练方 法及装置 (57)摘要 本公开实施例公开了一种图像处理方法、 语 义分割网络的训练方法及装置。 该方法包括： 获 取不同视角的多个待处理图像； 利用第一特征提 取网络， 对多个待处理图像进行特征提取， 确定 多个图像特征； 将多个图像特征转换至鸟瞰视角 BEV空间下， 确定不同视角的多个BEV图像特征； 对多个BEV图像特征进行特征融合， 确定BEV融合 特征； 利用第一语义分割网络对BEV融合特征进 行语义分割， 确定BEV 语义分割结果。 本公开实施 例的方案， 利用第一语义分割网络， 以多摄像机 系统采集的不同视角的多个待处理图像作为输 入， 直接输 出BEV语义 分割结果， 不需要再对多个 待处理图像进行后处理， 实现了端到端的BEV语 义分割， 提高语义分割效率。 权利要求书3页 说明书15页 附图8页 CN 114913329 A 2022.08.16 CN 114913329 A 1.一种图像处 理方法， 包括： 获取多个待处理图像， 其中， 多个所述待处理图像为载具的多摄相机系统在同一时刻 针对载具周围环境采集的不同视角的多个图像； 利用第一特 征提取网络， 对多个所述待处 理图像进行 特征提取， 确定多个图像特 征； 将多个所述图像特征转换至鸟瞰视角BEV空间下， 确定多个BEV图像特征， 其中， 多个所 述BEV图像特 征为多个所述待处 理图像在 BEV空间下 各自对应的特 征； 对多个所述BEV图像特 征进行特征融合， 确定BEV融合特 征； 利用第一语义分割网络对所述BEV融合特 征进行语义分割， 确定BEV语义分割结果。 2.根据权利要求1所述的方法， 其中， 所述将多个所述图像特征转换至BEV空间下， 确定 多个BEV图像特 征， 包括： 基于预设的载具参数和多摄相机系统参数， 确定所述多摄相机系统中各相机的相机坐 标系到BEV坐标系分别对应的转换矩阵； 基于各所述相机的相机坐标系到BEV坐标系分别对应的所述转换矩阵， 将多个所述图 像特征从相机空间转换至BEV空间下， 得到多个所述BEV图像特 征。 3.根据权利要求2所述的方法， 其中， 所述基于预设的载具参数和多摄相机系统参数， 确定所述多摄相机系统中各相机的相机坐标系到BEV坐标系分别对应的转换矩阵， 包括： 基于所述多摄相机系统中各所述相机的相机坐标系到载具坐标系的转换矩阵、 预设的 相机内参、 以及所述载具坐标系到BEV 坐标系的转换矩阵， 确定所述多摄相机系统中各所述 相机的相机坐标系到BEV坐标系分别对应的转换矩阵。 4.根据权利要求1所述的方法， 其中， 所述利用第一特征提取网络， 对多个所述待处理 图像进行 特征提取， 确定多个图像特 征， 包括： 基于各所述待处 理图像， 分别提取不同尺度的图像数据； 利用所述第 一特征提取网络对不同尺度的图像数据进行卷积计算， 确定多个所述待处 理图像分别对应的多个所述图像特 征。 5.根据权利要求1 ‑4任一项所述的方法， 其中， 所述利用第一语义分割网络对所述BEV 融合特征进行语义分割， 确定BEV语义分割结果， 包括： 利用第二特 征提取网络对所述BEV融合特 征进行特征提取， 确定BEV提取 特征； 利用第一语义分割网络对所述BEV提取特征进行语义分割， 确定所述BEV语义分割结 果。 6.一种语义分割网络的训练方法， 包括： 获取多个样本 图像， 其中， 多个所述样本 图像为载具的多摄相机系统在同一时刻针对 载具周围环境采集的不同视角的多个图像； 利用第一特 征提取网络， 对多个所述样本图像进行 特征提取， 确定多个图像特 征； 将多个所述图像特征转换至BEV空间下， 确定多个BEV图像特征， 其中， 多个所述BEV图 像特征包括多个所述样本图像在 BEV空间下 各自对应的特 征； 对多个所述BEV图像特 征进行特征融合， 确定BEV融合特 征； 利用第一初始语义分割网络对所述BEV融合特征进行预测， 得到预测BEV语义分割结 果； 基于预设的损失函数， 利用 所述预测BEV语义分割结果与预设的基准BEV语义分割结权　利　要　求　书 1/3 页 2 CN 114913329 A 2果， 确定所述第一初始语义分割网络预测的BEV语义分割结果的损失； 基于所述BEV语义分割结果的损失， 监督所述第 一初始语义分割网络， 直至符合预设的 训练结束条件， 得到第一语义分割网络 。 7.根据权利要求6所述的方法， 其中， 所述基准BEV语义分割结果 通过如下 方式获得： 利用第二语义分割 网络， 对多个所述样本 图像进行语义分割， 确定多个基准语义分割 结果， 其中， 多个所述基准语义分割结果包括多个所述样本图像在各自视角下对应的结果； 将多个所述基准语义分割结果 转换至BEV空间下， 确定多个BEV语义分割结果； 基于多个所述BEV语义分割结果， 进行图像拼接， 确定所述基准BEV语义分割结果。 8.根据权利要求7所述的方法， 其中， 所述将多个所述基准语义分割结果转换至BEV空 间下， 确定多个BEV语义分割结果， 包括： 基于载具参数和多摄相机系统参数， 计算所述多摄相机系统中各相机的相机坐标系到 BEV坐标系分别对应的转换矩阵； 基于各所述相机的相机坐标系到BEV坐标系分别对应的所述转换矩阵， 将多个所述基 准语义分割结果从相机空间转换至BEV空间下， 确定多个所述BEV语义分割结果。 9.根据权利要求7所述的方法， 其中， 所述基于多个所述BEV语义分割结果， 进行图像拼 接， 确定所述基准BEV语义分割结果， 还 包括： 确定所述基准BEV语义分割结果中的重叠区域， 所述重叠区域为多个所述BEV语义分割 结果在图像拼接后发生重 叠的区域； 确定所述重 叠区域中的所有BEV语义分割结果的语义类别是否相同； 响应于所述重叠区域中的所有BEV语义分割结果的语义类别相同， 将所述重叠区域中 的所有BEV语义分割结果 合并； 响应于所述重叠区域中的所有BEV语义分割结果的语义类别不相同， 确定所述重叠区 域的语义类别为第一语义类别， 所述第一语义类别是所述载具的不可行驶区域对应的语义 类别。 10.一种图像处 理装置， 包括： 获取模块， 用于获取多个待处理图像， 其中， 多个所述待处理图像为载具的多摄相机系 统在同一时刻针对载 具周围环境采集的不同视角的多个图像； 特征提取模块， 用于利用第 一特征提取网络， 对多个所述待处理图像进行特征提取， 确 定多个图像特 征； 空间转换模块， 用于将多个图像特征转换至BEV空间下， 确定多个BEV图像特征， 其中， 所述多个BEV图像特 征包括多个所述待处 理图像在 BEV空间下 各自对应的特 征； 特征融合模块， 用于对所述多个BEV图像特 征进行特征融合， 确定BEV融合特 征； 语义分割模块， 用于利用第一语义分割网络对所述BEV融合特征进行语义分割， 确定 BEV语义分割结果。 11.一种语义分割网络的训练装置， 包括： 获取模块， 用于获取多个样本图像， 其中， 多个所述样本图像为载具的多摄相机系统在 同一时刻针对载 具周围环境采集的不同视角的多个图像； 特征提取模块， 用于利用第 一特征提取网络， 对多个所述样本图像进行特征提取， 确定 多个图像特 征；权　利　要　求　书 2/3 页 3 CN 114913329 A 3