(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211083772.7 (22)申请日 2022.09.06 (71)申请人 北京远鉴信息技 术有限公司 地址 100000 北京市海淀区西四环北路158 号1幢7层80 001-2 (72)发明人 田昌嘉　白世杰　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 刘凤 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/24(2022.01) (54)发明名称 一种目标识别方法、 装置、 电子设备及存储 介质 (57)摘要 本申请涉及图像识别技术领域， 尤其涉及一 种目标识别方法、 装置、 电子设备及存储介质。 本 申请通过对第一帧图像的第一特征图进行多种 仿射变换得到多个变换特征图， 并通过各个变换 特征图与第二特征图之间的旋转不变性得分来 确定目标旋转角度， 进而， 将目标旋转角度对应 的变换特征图输入训练好的目标旋转等价编码 器中得到模板特征向量， 进一步地， 基于第二帧 图像的查询特征向量和模板特征向量之间的旋 转不变性得分， 确定第二帧图像中的候选对象是 否为目标对象。 这样， 可 以实现对目标视频中进 行三维旋转的目标对象 的连续识别， 并且可以提 高对目标对象进行识别的准确率。 权利要求书2页 说明书12页 附图3页 CN 115424180 A 2022.12.02 CN 115424180 A 1.一种目标识别方法， 其特 征在于， 所述目标识别方法包括： 对目标视频中第一帧图像的第一特 征图进行多种仿射变换， 得到多个 变换特征图； 计算所述第一帧图像的各个变换特征图分别与第二帧图像的第二特征图之间的旋转 不变性得分， 并确定得分最高的旋转不变性得分对应的目标旋转角度； 所述第二帧图像为 所述目标视频中位于所述第一帧图像之后的图像， 且所述第一帧图像和所述第二帧图像相 邻； 将所述目标旋转角度对应的变换特征图输入训练好的目标识别模型的目标旋转等价 编码器中得到模板特征向量， 以及将所述第二帧图像的第二特征图输入所述目标旋转等价 编码器中得到查询特 征向量； 基于所述第二帧图像的查询特征向量和所述第一帧图像的模板特征向量之间的旋转 不变性得分， 确定所述第二帧图像中的候选对象与所述第一帧图像中的目标对象是否为同 一对象。 2.根据权利要求1所述的目标识别方法， 其特征在于， 所述对目标视频中第 一帧图像的 第一特征图进行多种仿射变换， 得到多个 变换特征图， 包括： 基于所述第 一帧图像和所述第 二帧图像之间的变化信 息， 预测所述第 一帧图像中所述 目标对象的目标运动方向； 按照与所述目标运动方向相关联的多个旋转角度， 对所述第 一帧图像的第 一特征图进 行多种仿射变换， 得到多个 变换特征图。 3.根据权利要求1所述的目标识别方法， 其特征在于， 根据以下步骤训练出所述目标旋 转等价编码器： 获取多个样本 图像， 对每个样本 图像进行多种仿射变换并融合， 得到每个样本 图像对 应的样本融合特 征图； 计算每个样本图像的样本融合特 征图和样本原 始特征图之间的旋转 不变性得分； 基于各个样本 图像对应的旋转不变性得分， 调整初始旋转等价编码器的网络参数， 训 练出所述目标旋转 等价编码器。 4.根据权利要求3所述的目标识别方法， 其特征在于， 所述对每个样本图像进行多种仿 射变换并融合， 得到每 个样本图像对应的样本融合特 征图， 包括： 对每个样本图像进行多种仿射变换， 得到每个样本图像对应的多个第 一样本变换特征 图； 根据每种仿射变换的变换权重， 以及在每种仿射变换下每个样本图像对应的第 一样本 变换特征图， 确定融合有 多种仿射变换的第二样本变换 特征图； 基于每个样本图像的各个通道对应的第 二样本变换特征图， 得到每个样本图像对应的 样本融合特 征图。 5.根据权利要求1所述的目标识别方法， 其特征在于， 所述目标识别模型包括多个卷积 网络， 每个卷积网络包括一个目标旋转等价编码器和 一个卷积单元； 根据以下步骤对所述 目标识别模型进行训练： 获取多个样本图像以及每 个样本图像中样本对象的实际位置信息； 将每个样本图像输入初始识别模型， 得到每个样本图像中样本对象对应的预测位置信 息；权　利　要　求　书 1/2 页 2 CN 115424180 A 2根据每个样本图像对应的实际位置信 息和预测位置信 息之间的位置损失， 以及每个样 本图像对应的旋转 不变性得分的得分损失， 确定所述多个卷积网络的综合联合损失； 基于各个样本 图像对应的所述综合联合损 失， 调整所述初始识别模型的网络参数， 得 到所述目标识别模型。 6.根据权利要求1所述的目标识别方法， 其特征在于， 所述基于所述第 二帧图像的查询 特征向量和所述第一帧图像的模板特征向量之 间的旋转不变性得分， 确定所述第二帧图像 中的候选对象与所述第一帧图像中的目标对象是否为同一对象， 包括： 判断所述查询特征向量和所述模板特征向量之间的旋转不变性得分是否大于或等于 预设阈值； 若是， 则确定所述第 二帧图像中的候选对象与 所述第一帧图像中的目标对象为同一对 象； 若否， 则确定所述第 二帧图像中的候选对象与 所述第一帧图像中的目标对象不为同一 对象。 7.一种目标识别装置， 其特 征在于， 所述目标识别装置包括： 变换模块， 用于对目标视频中第一帧图像的第一特征图进行多种仿射变换， 得到多个 变换特征图； 第一确定模块， 用于计算所述第 一帧图像的各个变换特征图分别与第 二帧图像的第 二 特征图之间的旋转不变性得分， 并确定得分最高的旋转不变性得分对应的目标旋转角度； 所述第二帧图像为所述目标视频中位于所述第一帧图像之后的图像， 且所述第一帧图像和 所述第二帧图像相邻； 第二确定模块， 用于将所述目标旋转角度对应的变换特征图输入训练好的目标识别模 型的目标旋转等价编 码器中得到模板特征向量， 以及将所述第二帧图像的第二特征图输入 所述目标旋转 等价编码器中得到查询特 征向量； 识别模块， 用于基于所述第 二帧图像的查询特征向量和所述第 一帧图像的模板特征向 量之间的旋转不变性得分， 确定所述第二帧图像中的候选对象与所述第一帧图像中的目标 对象是否为同一对象。 8.根据权利要求7 所述的目标识别装置， 其特 征在于， 所述变换模块包括： 确定单元， 用于基于所述第一帧图像和所述第二帧图像之间的变化信息， 预测所述第 一帧图像中所述目标对象的目标运动方向； 变换单元， 用于按照与所述目标运动方向相关联的多个旋转角度， 对所述第一帧图像 的第一特 征图进行多种仿射变换， 得到多个 变换特征图。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述处 理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过所述 总线进行通信， 所述机器可读指 令被所述处理器运行时执行如权利要求 1至6任一所述的目 标识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器运行时执行如权利要求 1至6任一所述的目标识别方法的步 骤。权　利　要　求　书 2/2 页 3 CN 115424180 A 3