(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210929138.4 (22)申请日 2022.08.03 (71)申请人 中电海康集团有限公司 地址 311100 浙江省杭州市余杭区五常街 道爱橙街198号 (72)发明人 娄琪　潘霓　陈琼　夏斌　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 郑华洁 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06F 40/30(2020.01) (54)发明名称 一种对象识别方法、 装置、 电子设备和存储 介质 (57)摘要 本申请公开了一种对象识别方法、 装置、 电 子设备和存储介质， 该方法包括： 对待识别对象 对应的文本数据进行语义图构建， 得到语义结构 图。 对待识别对象对应的影像数据进行特征提 取， 得到影像特征信息。 基于语义结构图， 与预设 的知识结构图进行信息融合， 得到第一融合结 果， 基于影像特征信息， 与预设的知识结构图进 行信息融合， 得到第二融合结果。 基于第一融合 结果和第二融合结果， 从知识结构图中确定待识 别对象对应的对象识别结果。 该方法可以结合语 义信息与知识信息的融合结果， 以及影像信息与 知识信息的融合结果两个方面的信息对待识别 对象进行识别， 可以提高对象识别的准确性和有 效性。 权利要求书3页 说明书20页 附图8页 CN 115410062 A 2022.11.29 CN 115410062 A 1.一种对象识别方法， 其特 征在于， 所述方法包括： 对待识别对象对应的文本数据进行语义图构建， 得到语义结构图， 所述语义结构图表 征所述待识别对象的第一特 征信息， 与第一特 征描述信息的关联信息； 对所述待识别对象对应的影 像数据进行 特征提取， 得到影 像特征信息； 基于所述语义结构图， 与预设的知识结构图进行信息 融合， 得到第一融合结果； 所述知 识结构图表征多个已识别对象分别对应的第二特征信息， 与第二特征描述信息的关联信 息； 基于所述影 像特征信息， 与所述知识结构图进行信息融合， 得到第二融合结果； 基于所述第 一融合结果和所述第 二融合结果， 从所述知识结构图中确定所述待识别对 象对应的对象识别结果。 2.根据权利要求1所述的对象识别方法， 其特征在于， 所述基于所述语义结构图， 与预 设的知识结构图进行信息融合， 得到第一融合结果包括： 从所述知识结构图中确定与所述语义结构图关联的关联 结构图； 对所述语义结构图和所述关联 结构图进行信息融合， 得到所述第一融合结果； 所述基于所述影像特征信息， 与所述知识结构图进行信息融合， 得到第二融合结果包 括： 对所述影 像特征信息和所述关联 结构图进行信息融合， 得到所述第二融合结果。 3.根据权利要求2所述的对象识别方法， 其特征在于， 所述对所述语义结构图和所述关 联结构图进行信息融合， 得到所述第一融合结果包括： 确定所述语义结构图中的语义节点与所述关联结构图中的知识节点间的相关程度， 得 到第一融合权 重； 基于所述第一融合权重， 对所述语义结构图中的语义节点进行加权融合处理， 得到所 述第一融合结果。 4.根据权利要求2所述的对象识别方法， 其特征在于， 所述对所述影像特征信 息和所述 关联结构图进行信息融合， 得到所述第二融合结果包括： 确定所述影像特征信 息与所述关联结构图中的知识节点间的相关程度， 得到第 二融合 权重； 基于所述第二融合权重， 对所述影像特征信息进行加权融合处理， 得到所述第二融合 结果。 5.根据权利要求2所述的对象识别方法， 其特征在于， 所述对所述语义结构图和所述关 联结构图进行信息融合， 得到所述第一融合结果之前， 所述方法还 包括： 对所述语义结构图、 所述关联结构图和所述影像特征信息分别进行信息增强， 得到所 述语义结构图对应的语义图增强信息、 所述关联结构图对应的关联图增强信息和所述影像 特征信息对应的影 像增强信息； 所述对所述语义结构图和所述关联结构图进行信息融合， 得到所述第一融合结果包 括： 对所述语义图增强信息和所述关联图增强信息进行信息融合， 得到所述第一融合结 果； 所述对所述影像特征信 息和所述关联结构图进行信 息融合， 得到所述第 二融合结果包权　利　要　求　书 1/3 页 2 CN 115410062 A 2括： 对所述影 像增强信息和所述关联图增强信息进行信息融合， 得到所述第二融合结果。 6.根据权利要求5所述的对象识别方法， 其特征在于， 所述对所述语义结构图、 所述关 联结构图和所述影像特征信息 分别进行信息增强， 得到所述语义结构图对应的语义图增强 信息、 所述关联结构图对应的关联图增强信息和所述影像特征信息对应的影像增强信息包 括： 确定所述语义结构图中的语义节点与所述待识别对象间的第一相关度； 基于所述第一相关度， 对所述语义节点进行节点更新处 理， 得到所述语义图增强信息； 确定所述关联 结构图中的知识 节点与所述待识别对象间的第二相关度； 基于所述第二相关度， 对所述知识 节点进行节点更新处 理， 得到关联图结构增强信息； 确定所述影 像特征信息与所述待识别对象间的第三相关度； 基于所述第三相关度， 对所述影 像特征信息进行 更新， 得到影 像增强信息 。 7.根据权利要求6所述的对象识别方法， 其特征在于， 所述第 一相关度包括语义节点权 重和语义关联权重， 所述确定所述语义结构图中的语义节点与所述待识别对象间的第一相 关度包括： 对每个语义节点进行注意力处 理， 得到所述每 个语义节点各自对应的语义节点权 重； 对所述每个语义节点的关联语义节点进行注意力处理， 得到所述每个语义节点各自对 应的语义关联权 重； 所述基于所述第一相关度， 对所述语义节点进行节点更新处理， 得到所述语义图增强 信息包括： 基于所述语义关联权重， 对所述关联语义节点进行加权融合处理， 得到所述每个语义 节点对应的第一节点更新信息； 基于所述第 一节点更新信 息和所述语义节点权重， 对所述每个语义节点进行节点更新 处理， 得到所述语义图增强信息 。 8.根据权利要求6所述的对象识别方法， 其特征在于， 所述第 二相关度包括知识节点权 重和知识关联权重， 所述确定所述关联结构图中的知识节点与所述待识别对象间的第二相 关度包括： 对每个知识节点进行注意力处 理， 得到所述每 个知识节点各自对应的知识 节点权重； 对所述每个知识节点的关联知识节点进行注意力处理， 得到所述每个知识节点各自对 应的知识关联权 重； 所述基于所述第二相关度， 对所述知识节点进行节点更新处理， 得到关联图结构增强 信息包括： 基于所述知识关联权重， 对所述关联知识节点进行加权融合处理， 得到每个所述知识 节点对应的第二节点更新信息； 基于所述第二节点更新信息和所述知识节点权重， 对所述每个知识节点进行更新处 理， 得到所述知识图增强信息 。 9.根据权利要求6所述的对象识别方法， 其特征在于， 所述确定所述影像特征信 息与所 述待识别对象间的第三相关度包括： 对所述影 像特征信息进行注意力处 理， 得到所述第三相关度；权　利　要　求　书 2/3 页 3 CN 115410062 A 3