(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149324.2 (22)申请日 2022.09.21 (71)申请人 深圳信息职业 技术学院 地址 518000 广东省深圳市龙岗区龙城街 道龙翔大道 2188号 (72)发明人 王治国　王新中　梁杰　殷光强　 游长江　唐飞　石文武　李耶　 侯少麒　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 万凯君 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01)G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) (54)发明名称 一种特征聚合方法、 电子设备及可读存储介 质 (57)摘要 本申请提供了一种特征聚合方法、 电子设备 及可读存储介质。 所述方法包括： 在视频流中， 获 取待增强帧的邻近帧， 待增强帧及邻近帧包括至 少一个候选区域； 针对待增强帧中的待增强候选 区域， 在每个邻近帧中筛选匹配度最大的相关候 选区域； 将待增强帧中全部候选区域与候选帧中 全部候选区域进行关联， 得到全局相关系数； 根 据全局相关系数及相关候选区域的特征信息， 计 算待增强候选区域的聚合特征信息。 本申请将局 部特征及全局特征聚合到待增强候选区域， 以增 强待增强候选区域的特征信息， 提高视频帧的 图 片效果， 能够有效减少因图片效果差引起的检测 失效问题。 权利要求书3页 说明书12页 附图5页 CN 115512261 A 2022.12.23 CN 115512261 A 1.一种特 征聚合方法， 其特 征在于， 包括： 在视频流中， 获取待增强帧的邻近帧， 所述待增强帧及所述邻近帧包括至少一个候选 区域； 针对所述待增强帧中的待增强候选区域， 在每个邻 近帧中筛选匹配度最大的相关候选 区域； 将所述待增强帧中全部候选区域与候选帧中全部候选区域进行关联， 得到全局相关系 数； 根据所述全局相关系数及所述相关候选区域的特征信 息， 计算所述待增强候选区域的 聚合特征信息； 其中， 各帧的候选区域包括对象。 2.如权利要求1所述的方法， 其特 征在于， 所述获取待增强帧的邻近帧， 包括： 获取τ个第 一邻近帧及τ个第 二邻近帧， 所述第 一邻近帧的时序小于所述待增强帧的时 序， 所述第二邻近 帧的时序大于所述待增强帧的时序， 所述第一邻近 帧及所述第二邻近 帧 包括至少一个候选区域； 所述在每 个邻近帧中筛 选匹配度最大的相关候选区域， 包括： 针对所述待增强候选区域， 在每个所述第 一邻近帧及每个所述第 二邻近帧中筛选匹配 度最大的相关候选区域。 3.如权利要求2所述的方法， 其特征在于， 所述针对所述待增强候选区域， 在每个所述 第一邻近帧及每 个所述第二邻近帧中筛 选匹配度最大的相关候选区域， 包括： 针对每个所述第一邻 近帧中每个第 一候选区域， 根据所述待增强候选区域及所述第 一 候选区域的特 征信息， 计算第一特 征相似度； 根据所述待增强候选区域及所述第一 候选区域的位置信息， 计算第一 位置相似度； 根据所述第一特 征相似度及所述第一 位置相似度， 计算第一总相似度； 筛选第一总相似度最大的第一 候选区域， 得到所述匹配度最大的相关候选区域； 针对每个所述第二邻 近帧中每个第 二候选区域， 根据所述待增强候选区域及所述第 二 候选区域的特 征信息， 计算第二特 征相似度； 根据所述待增强候选区域及所述第二 候选区域的位置信息， 计算第二 位置相似度； 根据所述第二特 征相似度及所述第二 位置相似度， 计算第二总相似度； 筛选第二总相似度最大的第二 候选区域， 得到所述匹配度最大的相关候选区域。 4.如权利要求3所述的方法， 其特征在于， 所述根据 所述待增强候选区域及所述第 一候 选区域的位置信息， 计算第一 位置相似度， 包括： 根据所述待增强候选区域及所述第一 候选区域的尺寸信息， 计算第一尺度相似度； 根据所述待增强候选区域及所述第一 候选区域的中心偏移度， 计算第一 坐标相似度； 根据所述第一尺度相似度及所述第一 坐标相似度， 计算所述第一 位置相似度； 所述根据所述待增强候选区域及所述第二候选区域的位置信息， 计算第二位置相似 度， 包括： 根据所述待增强候选区域及所述第二 候选区域的尺寸信息， 计算第二尺度相似度； 根据所述待增强候选区域及所述第二 候选区域的中心偏移度， 计算第二 坐标相似度； 根据所述第二尺度相似度及所述第二 坐标相似度， 计算所述第二 位置相似度。权　利　要　求　书 1/3 页 2 CN 115512261 A 25.如权利要求1 ‑4任一项所述的方法， 其特征在于， 所述将所述待增强帧中全部候选区 域与候选帧中全部候选区域进行关联， 得到全局相关系数， 包括： 获取所述待增强帧中全部候选区域的特征信息， 得到待增强帧特征矩阵， 及所述候选 帧中全部候选区域的特 征信息， 得到候选帧特 征矩阵； 将所述待增强帧特征矩阵及所述候选帧特征矩阵进行降维及归一化处理， 得到转换后 待增强帧特 征矩阵及转换后候选帧特 征矩阵； 将所述转换后待增强帧特征矩阵与 所述转换后 候选帧特征矩阵进行关联， 得到全局相 关系数； 其中， 特征矩阵中的一组行 数据用于表征候选区域的特 征信息。 6.如权利要求5所述的方法， 其特征在于， 全局相关系数值为根据 所述转换后待增强帧 特征矩阵与所述 转换后候选帧特 征矩阵之间的相似度计算的数值。 7.一种目标检测模型训练方法， 其特征在于， 所述目标检测模型包括区域生成模型及 感兴趣区域分类模型； 所述方法， 包括： 获取视频流中视频帧的特 征信息； 将所述视频帧的特征信 息输入至所述 区域生成模型中， 得到所述 区域生成模型输出的 第一结果， 所述第一结果包括 候选区域及对应的第一分类结果、 第一 位置结果； 获取待增强帧的邻近帧， 所述待增强帧及所述邻近帧包括至少一个所述 候选区域； 针对所述待增强帧中的待增强候选区域， 在每个邻 近帧中筛选匹配度最大的相关候选 区域； 将所述待增强帧中全部候选区域与候选帧中全部候选区域进行关联， 得到全局相关系 数； 根据所述全局相关系数及所述相关候选区域的特征信 息， 计算所述待增强候选区域的 聚合特征信息； 当获得全部所述待增强候选区域的聚合特征信息， 得到增强帧， 并获取所述增强帧的 特征信息； 将所述视频流中全部帧的特征信息及对应的所述第一结果输入至所述感兴趣区域分 类模型， 得到所述感兴趣区域分类模型输出 的第二结果， 所述第二结果包括所述候选区域 及对应的第二分类结果、 第二 位置结果； 基于预设的损失函数， 根据 所述第一结果、 所述第 二结果及 关联相似度， 计算所述目标 检测模型的损失值； 根据所述损失值调整所述目标检测模型的参数； 当所述损失值符合预设条件时， 得到训练完成的目标检测模型； 其中， 所述全部帧包括所述增强帧， 所述关联相似度为所述待增强帧的候选区域与所 述候选帧的候选区域之间的相似度。 8.如权利要求7 所述的方法， 其特 征在于， 所述损失函数的公式： L＝(1/Ncls)∑Lcls(pi,pi*)+λ(1/Nreg)∑Lreg(ti,ti*)+L(xi,xj,yi,j)； 其中， (1/Ncls)∑Lcls(pi,pi*)为所述目标检测模型的分类损失函数， (1/Nreg)∑Lreg(ti, ti*)为所述目标检测模型的回归损失函数， λ为常数， L(xi,xj,yi,j)＝((1‑yi,j)/2)d(xi,xj)2权　利　要　求　书 2/3 页 3 CN 115512261 A 3