(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111655005.4 (22)申请日 2021.12.3 0 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 黄积晟　任宇鹏　李乾坤　崔婵婕　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06T 7/11(2017.01) G06T 17/00(2006.01) G06V 20/10(2022.01) G06T 3/40(2006.01) G06K 9/62(2022.01)G06V 10/774(2022.01) (54)发明名称 建筑物的三维模型构建方法、 装置、 终端及 存储介质 (57)摘要 本发明提供一种建筑物的三维模型构建方 法、 装置、 终端及存储介质， 建筑物的三维模型构 建方法包括： 对获取的遥感图像进行分割处理， 得到多个区域图像； 遥感图像包括建筑物； 对多 个区域图像分别进行目标检测， 得到建筑物的屋 顶信息； 对多个区域图像分别进行高度和方向检 测， 得到建筑物的高度信息和方向信息； 基于建 筑物的屋顶信息、 高度信息和方向信息， 构建得 到建筑物 三维模型。 本申请通过对区域图像分别 进行目标检测、 高度和方向检测， 进而预测建筑 物的屋顶信息、 高度信息和方向信息， 根据预测 得到的建筑物的屋顶信息、 高度信息和方向信息 构建得到建筑物的三维模型， 进而提升对遥感影 像中建筑物的三维模型构建的精确度。 权利要求书4页 说明书18页 附图13页 CN 114549543 A 2022.05.27 CN 114549543 A 1.一种建筑物的三维模型构建方法， 其特征在于， 所述建筑物的三维模型构建方法包 括： 对获取的遥感图像进行分割处 理， 得到多个区域图像； 所述遥感图像包括建筑物； 对所述多个区域图像分别进行目标检测， 得到所述建筑物的屋顶信息； 对所述多个区域图像分别进行高度和方向检测， 得到所述建筑物的高度信 息和方向信 息； 基于所述建筑物 的屋顶信息、 所述高度信息和所述方向信息， 构建得到建筑物三维模 型。 2.根据权利要求1所述建筑物的三维模型构建方法， 其特 征在于， 所述对获取的遥感图像进行分割处 理， 得到多个区域图像， 包括： 通过重叠裁剪的方法对获取的所述遥感图像进行裁 剪， 得到多个所述区域图像。 3.根据权利要求1所述建筑物的三维模型构建方法， 其特 征在于， 所述对所述多个区域图像分别进行目标检测， 得到所述建筑物的屋顶信息， 包括： 对所述区域图像进行 特征提取， 得到目标 特征； 对所述目标 特征进行检测， 得到包 含屋顶的子区域图像； 基于所述 区域图像对应的所述目标特征对所述子区域图像进行图像掩码处理， 得到屋 顶掩码图像； 基于所述 区域图像与 所述遥感图像的关联关系， 将多个所述区域图像分别对应的所述 屋顶掩码图像进行拼接， 得到所述遥感图像对应的所述屋顶信息 。 4.根据权利要求3所述建筑物的三维模型构建方法， 其特 征在于， 所述对所述区域图像进行 特征提取， 得到目标 特征， 还包括： 对所述区域图像进行 特征提取， 得到区域图像特 征； 对所述区域图像特 征进行上采样处 理或下采样处 理， 得到预处 理区域图像； 对所述预处 理区域图像进行 特征提取， 得到对应的所述目标 特征； 所述对所述目标 特征进行检测， 得到包 含屋顶的子区域图像， 包括： 对所述预处理区域图像分别对应的所述目标特征进行屋顶检测， 得到所述区域图像中 包含所述屋顶的子区域图像。 5.根据权利要求3所述建筑物的三维模型构建方法， 其特征在于， 所述屋顶信 息包括建 筑物的检测框和所述建筑物的屋顶轮廓； 所述基于所述区域图像与 所述遥感图像的关联关系， 将多个所述 区域图像分别对应的 所述屋顶掩码图像进行拼接， 得到所述遥感图像对应的所述屋顶信息， 包括： 基于所述 区域图像与 所述遥感图像的位置关系和尺寸关系， 将所述屋顶掩码图像映射 到所述遥感图像上， 得到所述遥感图像中包含的所有 所述建筑物的检测框和所述检测框中 包含的所述建筑物的屋顶轮廓。 6.根据权利要求5所述建筑物的三维模型构建方法， 其特 征在于， 所述基于所述区域图像与 所述遥感图像的关联关系， 将所述多个区域图像分别对应的 所述屋顶掩码图像进行拼接， 得到所述遥感图像的屋顶信息， 还 包括： 响应于多个所述 区域图像重叠， 则计算所述 区域图像对应的所述屋顶掩码图像的重叠 率和置信度；权　利　要　求　书 1/4 页 2 CN 114549543 A 2保留所述重叠率小于预设重叠率， 且所述置信度大于预设置信度的所述屋顶掩码图 像。 7.根据权利要求5所述建筑物的三维模型构建方法， 其特 征在于， 所述基于所述区域图像与 所述遥感图像的位置关系和尺寸关系， 将所述屋顶掩码图像 映射到所述遥感图像上， 得到所述遥感图像中包含的所有 所述建筑物的检测框和所述检测 框中包含的所述建筑物的屋顶轮廓， 之后还 包括： 判断组成所述轮廓的各相邻边之间的角度是否小于预设角度； 如果相邻的两个所述边之间的所述角度小于所述预设角度， 则删除所述两个边的共用 点。 8.根据权利要求1所述建筑物的三维模型构建方法， 其特 征在于， 所述对所述多个区域图像分别进行目标检测， 得到所述建筑物的屋顶信息， 包括： 通过实例分割网络对所述区域图像进行目标检测， 得到所述建筑物的屋顶信 息； 其中， 所述实例分割网络包括第一特 征提取模块、 目标检测模块和语义分割掩码模块。 9.根据权利要求8所述建筑物的三维模型构建方法， 其特 征在于， 训练得到所述实例分割网络的步骤； 包括： 获取第一训练样本集； 所述第一训练样本集包括多张第一样本 图像， 所述第一样本 图 像标注目标建筑物的真实框、 所述真实框中语义信息的真实类别、 屋顶的真实中心 位置、 所 述屋顶的真实掩码图； 通过初始目标检测网络对所述第一样本图像进行检测， 得到所述目标建筑物的预测 框、 所述预测框中语义信息的预测类别、 所述屋顶的预测中心位置、 所述屋顶的预测掩码 图； 基于所述目标建筑物的所述真实框和所述预测框、 所述真实框中语义信 息的真实类别 和所述预测框中语义信息的预测类别、 所述屋顶的真实中心 位置和所述屋顶的预测中心 位 置、 所述屋顶的真实掩码图和所述屋顶的预测掩码图构建第一损失函数； 利用所述第一损失函数对所述初始目标检测网络进行迭代训练得到所述实例分割网 络。 10.根据权利要求1所述建筑物的三维模型构建方法， 其特 征在于， 所述对所述多个区域图像分别进行高度和方向检测， 得到所述建筑物的高度信 息和方 向信息， 包括： 通过高度及方向检测网络对所述区域图像进行特征提取， 得到所述区域图像对应的灰 度图； 基于各所述区域图像与所述遥感图像的关联关系， 将所述多个区域图像分别对应的所 述灰度图进行拼接， 得到所述遥感图像对应的整体灰度图； 基于所述遥感图像对应的所述整体灰度图， 确定所述建筑物的方向信息和高度信息 。 11.根据权利要求10所述建筑物的三维模型构建方法， 其特征在于， 所述高度及方向检 测网络包括第二特征提取模块； 所述第二特征提取模块包括依 次级联的特征转换层、 第一 特征提取层和第二特 征提取层； 所述通过高度及方向检测网络对所述 区域图像进行特征提取， 得到所述 区域图像对应 的灰度图， 包括：权　利　要　求　书 2/4 页 3 CN 114549543 A 3