(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210627004.7 (22)申请日 2022.06.06 (65)同一申请的已公布的文献号 申请公布号 CN 114707014 A (43)申请公布日 2022.07.05 (73)专利权人 科大天工智能装备技 术 （天津） 有 限公司 地址 300000 天津市东 丽区华明 高新技术 产业区华丰路6号G座1号楼 专利权人 北京科技大 学 (72)发明人 张超　万亚东　张波　 (51)Int.Cl. G06F 16/51(2019.01) G06F 16/55(2019.01) G06F 16/587(2019.01)G06K 9/62(2022.01) G06V 10/80(2022.01) (56)对比文件 CN 111460060 A,2020.07.28 CN 111833380 A,2020.10.27 CN 108520 557 A,2018.09.1 1 CA 3031366 A1,2019.07.3 0 US 2009257649 A1,20 09.10.15 CN 113254701 A,2021.08.13 审查员 郭悦 (54)发明名称 一种基于FOV的影 像数据融合索引方法 (57)摘要 本申请涉及一种基于FOV的影像数据融合索 引方法， 包 括： S100、 基于若干传感器获取影像数 据， 并建立影像数据集合D； S200、 基于所述影像 数据上附加的光学参数获取所述影像数据在地 理空间上对应的视阈， 建立与D相对应的视阈集 合W， 对W进行二级融合处理得到集合W'以及与W' 对应影像数据集合D'； S300、 基于用户获取若干 空间元素， 并对所述空间元素分类标记； S400、 基 于W'、 D'以及空间元素， 建立地理因素约束的多 元空间索引； 提高了对时间元素、 用户感兴趣的 空间元素、 影像元素等多元化元素的挖掘分析效 率， 实现了对海量多元的影像数据进行统一的高 效管理。 权利要求书4页 说明书9页 附图1页 CN 114707014 B 2022.08.26 CN 114707014 B 1.一种基于FOV的影 像数据融合索引方法， 其特 征在于， 包括如下步骤： S100、 基于若干传感器获取影像数据， 并建立影像数据集合D= （D1， D2，……， Dn） ， 影像数 据Di的类型为视频 数据或图像数据， 其中， 1≤i≤n； S200、 基于所述影像数据上附加的光学参数获取所述影像数据在地理空间上对应的视 阈， 建立与所述影像数据集合D相对应的视阈集合W， 对W进 行二级融合处理得到二级融合后 的视阈集 合W'以及与W'对应的二级融合后的影 像数据集 合D'； S300、 基于用户获取若干空间元 素， 并对所述空间元 素分类标记； S400、 基于W'、 D'以及空间元 素， 建立地理因素约束的多元空间索引； 所述步骤S400还包括以下步骤： S410、 基于W'、 D'以及空间元素， 进行一级时间聚类， 得到一级聚类元素并建立一级聚 类集合C； S420、 基于集合C中的一级聚类元素， 进行二级空间聚类， 得到二级聚类元素并建立二 级聚类集 合C'； S430、 基于C和C'， 为 W'、 D'以及空间元 素建立多元空间索引； 所述步骤S200还包括以下步骤： S201、 创建影像数据 集合D'和视阈集合W、 视阈集合W'， 所述视阈集合W'用于存储W 中的 视阈进行二级融合处理后的视阈， 所述影像数据集合D'、 视阈集合W和W'均被初始化为空 集； S202、 判断影像数据Di的类型， Di∈D， 当Di的类型为图片数据时， 执行步骤S203， 当Di的 类型为视频 数据时， 执 行步骤S204； S203、 获取Di的空间属性Fi= （p， as， ae， γ， t） ， 将Fi存入W； 其中： p为拍摄Di的位置， [as， ae]为拍摄Di的镜头的可视角度范围， γ为拍摄Di的镜头的可视距离， t为拍摄Di的时间； S204、 对Di进行分割， 得到Di对应的视频帧集合Gi= ｛Gi1， Gi2，……， Giz｝ ， 其中z为Di的帧 数， Gij为Di第j帧的图片数据， 获取Gij的空间属性Fij= （p， as， ae， γ， t） ， 得到Di的空间属性Fi= （Fi1， Fi2，……， Fiz） ， 将Fi存入W； S205、 重复步骤S202至S204， 直到对D中所有Di完成处理， 获得与 所述影像数据集合D相 对应的视阈集 合W； S206、 基于W获取Fi， 当Fi= （p， as， ae， γ， t） 时， 将Fi存入W'， 当Fi= （Fi1， Fi2，……， Fiz） 时， 执行步骤S207； S207、 获取Fij和Fi(j+1)的相交区域， 其 中， j=1， 2， ……， z‑1， 计算得到Fij和Fi(j+1)相交区 域面积与Fij面积的比值Sij， 以及计算得到Fij和Fi(j+1)相交区域面积与Fi(j+1)面积的比值 Si(j+1)， 当Sij≥Si(j+1)时， 将Fij和Fi(j+1)融合为Fij， 并将Fij存入集合W'， 将Fij对应的图片数据 Gij存入集合D'， 否则， 将Fij和Fi(j+1)融合为Fi(j+1)， 并将Fi(j+1)存入集合W'， 将Fi(j+1)对应的图 片数据Gi(j+1)存入集合D'； S208、 重复步骤S2 06至步骤S207， 直到对 集合W中的所有Fi全部完成处理， 得到一级融合 后的视阈集 合W'以及与W'对应的一级融合后的影 像数据集 合D'； S209、 复制集 合W'得到W' '， 并清空集 合W'； S210、 获取空间属性Fv， Fv∈W''， 基于Fv获取拍摄位置Fv.p； S211、 获取空间属性Fu， Fu∈W''， Fu≠Fv， 基于Fu获取拍摄位置Fu.p；权　利　要　求　书 1/4 页 2 CN 114707014 B 2S212、 当Fv.p＝Fu.p时， 执行步骤S213， 当Fv.p≠Fu.p时， 执行步骤S214； S213、 计算得到Fv和Fu相交区域面积与Fv面积的比值Sv， 以及计算得到Fv和Fu相交区域 面积与Fu面积的比值Su， 当Sv≥Su时， 将Fv存入集合W'， 将Fu对应的图片数据Gu从集合D'中删 除， 否则， 将Fu存入集合W'， 将Fv对应的图片数据Gv从集合D'中删除， 并执 行步骤S214； S214、 重复步骤S21 1至步骤S213， 直到对集 合W''中的所有符合条件的Fu全部完成处理； S215、 重复步骤S210至步骤S214， 直到对集合W''中的所有Fv全部完成处理， 得到二级融 合后的视阈集 合W'以及与W'对应的二级融合后的影 像数据集 合D'； 所述步骤S300还包括以下步骤： S310、 基于用户获取若干空间元素并进行初始类别识别， 获得h个空间元素类别， 构建 空间元素类别集合O= ｛O1， O2，……， Oh｝ ， 其中Oq为一种类别的空间元素的集合并为Oq设置概 述词， 1≤q≤ h， Oq初始化为空集； S320、 基于若干所述空间元素， 获取空间元素or并进行识别， 得到or的概述词or.word、 or 的名称信息or.name和or的位置信息or.location； S330、 基于空间元素类别集合O， 获得Oq， 其中Oq的概述词与or.word相同， 执行操作Oq← Oq∪{or}； S340、 重复步骤S320至步骤S330， 直到若干所述空间元素全部完成处理， 得到完成标记 的空间元 素类别集 合O。 2.根据权利要求1所述的基于FOV的影像数据融合索引方法， 其特征在于， 所述步骤 S410还包括以下步骤： S411、 建立一级聚类集 合C， C初始化 为空集； S412、 获取W'中的一个视阈元素Fi= （p， as， ae， γ， t） ， 当C为空集时， 执行步骤S413， 否 则， 执行步骤S414； S413、 建立聚类C1， 将Fi存入C1， 基于Fi为C1设置属性， 所述属性包括时间属 性C1.time、 聚类元素属性C1.fov、 影像属性C1.image、 空间元素属性C1.elements、 一级概述词属性 C1.word1和二级概 述词属性C1.word2， 并将C1存入集合C， 执行步骤S417； 所述时间属性C1.time=[Fi.t， Fi.t]， 为能覆盖聚类C1中所有视 阈元素拍摄时间的最小 时间段； 聚类元素属性C1.fov={Fi}， 为构成此聚类的所有视阈元素； 影像属性C1.image= {Gi}， 为从D'中移除的与Fi所对应的影像数据； 空 间元素属性C1.elements={ox，……， oy}， 为 从O中获取的与Fi相交的空间元素； 一级概述词属性C1.word1， 为{ox，……， oy}所属O中子集 合对应的概 述词所构成的集 合； 二级概 述词属性C1.word2={ox.word，……， oy.word}； S414、 获取集合C中的一个聚类Cb， 获取其时间属性Cb.time=[t s, te]， 当Fi.t位于时间 段[ts, te]内， 将Fi分配给聚类Cb， 更新Cb属性并执行步骤S417， 否则执行步骤S415， 所述更 新Cb属性包括： Cb.fov=Cb.fov∪{Fi