(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210516739.2 (22)申请日 2022.05.13 (65)同一申请的已公布的文献号 申请公布号 CN 114742995 A (43)申请公布日 2022.07.12 (73)专利权人 盈嘉互联 （北京） 科技有限公司 地址 100049 北京市石景山区实兴大街3 0 号院16号楼10层10 08室 专利权人 盈嘉互联 （上海） 建 筑科技有限公 司　 深圳市盈嘉互联科技有限公司 　 盈嘉互联 （北京） 智慧科技有限公 司　 佛山市盈嘉智慧 空间科技有限公 司　 深圳前海盈嘉数据服 务有限公司 　 嘉兴乌镇盈嘉千镇科技有限公司 　 盈嘉互联科技(山 东)有限公司(72)发明人 周小平　王佳　陈丹燕　陆一昕　 任远　宋有利　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 高燕 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 20/00(2019.01) (56)对比文件 CN 113052152 A,2021.0 6.29 CN 112381877 A,2021.02.19 WO 2021093872 A1,2021.0 5.20 US 202126415 5 A1,2021.08.26 审查员 郑宁 (54)发明名称 一种基于数字孪生建筑和异质特征融合的 室内定位方法 (57)摘要 本申请提供了一种基于数字孪生建筑和异 质特征融合的室内定位方法， 涉及室内视觉定位 技术领域， 包括根据目标室内图像中的每个实体 的视觉特征， 生成目标室内图像的图像特征； 根 据目标室内图像中的每个实体的位置特征、 视觉 特征和语义特征以及目标室内图像的融合语义 图， 生成目标室内图像的语义图特征； 根据目标 室内图像的图像特征和语义图特征， 融合生成目 标室内图像的第一融合特征； 根据第一融合特 征， 确定出当前建筑物对应的数据库中满足匹配 条件的目标第二融合特征， 以输出目标第二融合 特征对应的视觉定位信息作为目标室内图像的 视觉定位信息， 以在弱视觉特征下更稳定的确定 出室内图像的视 觉定位信息 。 权利要求书2页 说明书11页 附图5页 CN 114742995 B 2022.09.20 CN 114742995 B 1.一种基于数字孪生建筑和异质特征融合的室内定位方法， 其特征在于， 所述方法包 括： 针对当前建筑物 的目标室内图像中的每个实体， 根据该实体的实体识别区域， 生成该 实体的位置特征， 根据该实体的实体语义标签生成该实体的语义特征， 以及将目标室内图 像输入ResNet的骨干网络， 以输出目标室内图像的视觉特征， 确定出目标室内图像的视觉 特征中， 与该实体的实体识别区域的位置所对应的视 觉特征， 作为该实体的视 觉特征； 将目标室内图像的视觉特征输入ResNet的头部网络， 以输出目标室内图像的图像特 征； 根据目标室内 图像中的每个实体的位置特征、 视觉特征和语义特征以及目标室内 图像 的融合语义图， 生成目标室内图像的语义图特 征； 将所述目标室内 图像的语义图特征和图像特征输入第 二全连接层， 以输出所述目标室 内图像的第一融合特 征； 根据所述第 一融合特征， 确定出当前建筑物对应的数据库中满足匹配条件的目标第 二 融合特征， 以输出目标第二融合特征对应的视觉定位信息作为所述目标室内图像的视觉定 位信息， 其中， 数据库包括多个匹配数据对， 每个匹配数据对包括当前建筑物的多个室内图 像的第二融合特 征和该第二融合特 征对应的视 觉定位信息； 其中， 融合语义图至少包括目标室内图像中的实体与实体之间的关系， 所述根据目标 室内图像中的每个实体的位置特征、 视觉特征和语义特征以及融合语义图， 生成目标室内 图像的语义图特 征的步骤， 具体包括： 确定目标室内图像中的实体与实体之间的关系的关系类型； 针对每个关系类型， 根据融合语义图， 提取该关系类型对应的融合语义子图， 根据融合 语义子图的实体和边， 生成该融合语义子图对应的邻接矩阵； 针对每个关系类型， 将该关系类型对应的融合语义子图的邻 接矩阵和该关系类型对应 的实体的位置特征、 视觉特征和语义特征， 输入该关系类型对应的图卷积神经网络， 以输出 每个关系类型对应的第一语义图子特 征； 将所有实体关系类型对应的第 一语义图子特征输入第 一全连接层， 以输出目标室内 图 像的语义图特 征。 2.根据权利要求1所述的方法， 其特征在于， 当前建筑物内设置有多个图像采集设备， 通过以下 方式获取当前建筑物的目标室内图像： 获取目标图像采集设备 所采集的室内图像； 将室内图像输入实体检测模型， 以获得实体检测模型的主干网络输出的实体检测特 征； 将室内图像的实体 检测特征输入注意力机制网络， 以输出室内图像的语义增强特 征； 根据室内 图像的实体检测特征和语义增强特征融合生成的增强检测特征， 识别室内 图 像中的所有实体， 并在室内图像中标记出每个实体的实体识别区域以及对应的实体语义标 签以作为目标室内图像。 3.根据权利要求2所述的方法， 其特征在于， 通过以下方式生成 目标室内 图像中每个实 体的位置特 征和语义特 征： 根据该实体的实体识别区域， 确定出用于指示该实体的大小的顶点 坐标；权　利　要　求　书 1/2 页 2 CN 114742995 B 2将所述顶点 坐标输入注意力机制网络， 以输出 该实体的位置特 征； 以及 将该实体的实体语义标签所指示的该实体的语义输入预设词向量模型， 以输出该实体 的语义特 征。 4.根据权利要求1所述的方法， 其特 征在于， 还 包括： 若数据库中没有满足匹配条件的目标第 二融合特征， 则获取所述目标室内 图像的视觉 定位信息； 根据所述目标室内 图像的视觉定位信 息和第一融合特征生成匹配数据对， 并更新至数 据库中。 5.一种基于数字 孪生建筑和异质特 征融合的室内定位装置， 其特 征在于， 包括： 第一提取模块， 用于针对当前建筑物的目标室内图像中的每个实体， 根据该实体的实 体识别区域， 生 成该实体的位置特征， 根据该实体的实体语义标签生成该实体的语义特征， 以及将目标室内图像输入ResNet的骨干网络， 以输出目标室内图像的视觉特征， 确 定出目 标室内图像的视觉特征中， 与该实体的实体识别区域的位置所对应的视觉特征， 作为该实 体的视觉特征； 第二提取模块， 用于将目标室内图像的视觉特征输入ResNet的头部网络， 以输出目标 室内图像的图像特 征； 第一融合模块， 用于根据目标室内图像中的每个实体的位置特征、 视觉特征和语义特 征以及融合语义图， 生成目标室内图像的语义图特征， 所述第一融合模块具体用于： 确定目 标室内图像中的实体与实体之间的关系的关系类型； 针对每个关系类型， 根据融合语义图， 提取该关系类型对应的融合语义子图， 根据融合语义子图的实体和边， 生成该融合语义子 图对应的邻接矩阵； 针对每个关系类型， 将该关系类型对应的融合语义子图的邻接矩阵和 该关系类型对应的实体的位置特征、 视觉特征和语义特征， 输入该关系类型对应的图卷积 神经网络， 以输出每个关系类型对应的第一语义图子特征； 将所有实体关系类型对应的第 一语义图子特 征输入第一全连接层， 以输出目标室内图像的语义图特 征； 第二融合模块， 用于将所述目标室内图像的语义图特征和图像特征输入第二全连接 层， 以输出 所述目标室内图像的第一融合特 征； 匹配模块， 用于根据所述第一融合特征， 确定出当前建筑物对应的数据库中满足匹配 条件的目标第二融合特征， 以输出目标第二融合特征对应的视觉定位信息作为所述目标室 内图像的视觉定位信息， 其中， 数据库包括多个匹配数据对， 每个匹配数据对包括当前建筑 物的多个室内图像的第二融合特 征和该第二融合特 征对应的视 觉定位信息 。 6.一种计算机可读存储介质， 其特征在于， 所述存储介质上存储有计算机程序， 所述计 算机程序被处理器运行时执行如权利要求1至4任一所述的基于数字孪生建筑和异质特征 融合的室内定位方法的步骤。权　利　要　求　书 2/2 页 3 CN 114742995 B 3