(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210334948.5 (22)申请日 2022.03.31 (71)申请人 西安建筑科技大 学 地址 710055 陕西省西安市碑林区雁塔路 13号 (72)发明人 孟月波　杨蕾　段中兴　刘光辉　 赵敏华　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 张宇鸽 (51)Int.Cl. G06F 16/583(2019.01) G06F 16/58(2019.01) G06F 16/587(2019.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 特征一致性建议的多尺度融合地标图像检 索方法及系统 (57)摘要 本发明公开一种特征一致性建议的多尺度 融合地标图像检索方法及系统， 采集地标图像数 据， 构建地标检索训练数据集Tr与测试数据集 Te； 构造特征一致性建议的多尺度融合地标图像 检索网络； 通过构造总损失函数， 计算损失值， 利 用地标检索训练数据集Tr对多尺度地标图像检 索网络进行训练， 得到特征一致性建议的多尺度 融合地标图像检索模型； 将测试数据集Te输入特 征一致性建议的多尺度融合地标图像检索模型， 输出地标图像的检索结果， 本发 明解决了不同拍 摄条件下的尺度差异导致检索准确率低的问题， 减少了对大量细粒度标签信息的依赖， 提高了地 标图像的匹配精度， 有利于实现智慧旅游领域中 的实际应用部署。 权利要求书3页 说明书9页 附图3页 CN 114579794 A 2022.06.03 CN 114579794 A 1.一种特 征一致性建议的多尺度融合 地标图像 检索方法， 其特 征在于， 具体步骤如下： S1采集地标图像数据， 构建地标检索训练数据集Tr与测试数据集Te； S2构造特征一致性建议的多尺度融合地标图像检索网络， 包括衔接有多尺度信 息提取 模块的ResNet5 0网络、 特 征自注意融合网络和区域特 征一致性建议项； S3通过特征一致性建议函数、 三元组损失函数和分类函数构造总损失函数， 计算损失 值， 利用地标检索训练数据集Tr对多尺度地标 图像检索网络进行训练， 得到特征一致性建 议的多尺度融合 地标图像 检索模型； S4将地标检索测试数据集Te输入特征一致性建议的多尺度融合地标图像检索模型， 输 出地标图像的检索结果。 2.根据权利要求1所述的一种特征一致性建议的多尺度融合地标图像检索方法， 其特 征在于， 步骤S1中， 采用人工标注的方法将地标图像中的同一种地标标注对应的类别作为 前缀， 并在类别后赋予一个独立的编号， 其中， 不同地标之间的类别前缀不同， 同一地标的 编号不同。 3.根据权利要求1所述的一种特征一致性建议的多尺度融合地标图像检索方法， 其特 征在于， 步骤S2中， 在ResNet50网络最大池化层后衔接有多尺度信息提取模块， 所述 ResNet50网络用于获取地标图像的初始局部特征图； 多尺度信息提取模块通过重组张量函 数按照从左上到右下 的顺序提取初始局部特征图的多个局部特征块， 得到N个局部特征块 fiN和M个局部特 征块fiM。 4.根据权利要求3所述的一种特征一致性建议的多尺度融合地标图像检索方法， 其特 征在于， 步骤S2中， ResNet50后构建特征自注 意融合网络， 所述特征自注 意融合网络包括两 个特征自注意融合分支， 两个特 征自注意融合分支各由一层Transformer编码层构成。 5.根据权利要求3所述的一种特征一致性建议的多尺度融合地标图像检索方法， 其特 征在于， 步骤S2中， 特 征自注意融合网络处 理过程的具体步骤为： 1)两个Transformer编码层分别初始化生成初始全局特征映射C ′0、 C″0， 将局部特征块 fiN、 fiM和初始全局特征映射C ′0、 C″0两两组成一组， 得到fiN与C′0组， fiM与C″0组； 将fiN与C′0 组， fiM与C″0分别输入Transformer编码层中， 在Tran sformer编码层中将标准的可学习的位 置向量Epos嵌入到fiN与C′0组、 fiM与C″0组中， 得到的初步融合的两个地标全局特征映射 2)利用结果向量序列z ′0和z″0分别表示两个地标全局特征映射 的具体信息， 将结 果向量序列z ′0和z″0分别输入两个Transformer编码层中对两个地标全局特征映射 中 的重要信息进行自注意 学习， 得到结果向量序列z ′0和z″0中每一部分的权重， 得到权重的分 布概率， 对地标全局特 征映射 的具体信息 权重进行更新； 3)对两个地标全局特 征映射 进行拼接得到联合全局特 征映射 6.根据权利要求5所述的一种特征一致性建议的多尺度融合地标图像检索方法， 其特 征在于， 步骤S2中， 在区域特征一致性建议项通过构建特征一致性建议函数使特征自注意 融合分支生成的全局特征 映射 分别关注到不同类别前缀的地标建筑的相同区域， 具 体的特征一致性建议函数为：权　利　要　求　书 1/3 页 2 CN 114579794 A 2式中， 表示欧几里得范数， 表示特征自注意融合分支生成的地标全局特征映射 K＝2， ck为簇中心向量。 7.根据权利要求6所述的一种特征一致性建议的多尺度融合地标图像检索方法， 其特 征在于， 步骤S2中， 簇中心向量ck是根据全局特征映射学习到的内容随机初始化的， 通过移 动其平均值进行 更新： 其中α 控制ck的更新率， 表示特征自注意融合分支生成的地标全局特 征映射 8.根据权利要求6所述的一种特征一致性建议的多尺度融合地标图像检索方法， 其特 征在于， 步骤S3中， 总损失函数为： 其中， L为特征一致性建议函数， 为分类损失函数， 为三元组损失 函数， 具体的： 分类损失函数为在任一个全局特征映射 后设计一个批量归一化层BN()、 一个线 性层 W和一个Softmax层， 具体为： 三元组损失函数用于增强任一个全局特 征映射 的的辨别性， 具体为： 式中， F表示全局特征映射， k＝1， 2， 3表示不同的全局特征映射， A是Anchor表示样本本 身， N是negative表示与A不同类的样本， P是Positive表示与A同类的样本， 分别表 示组成三元组的源样本、 负样本和正样本的特征向量， 和 分别代表正样 本对和负 样本对的欧式距离， m代 表三元组损失的间距阈值， []+代表取正值。 9.根据权利要求5所述的一种特征一致性建议的多尺度融合地标图像检索方法， 其特 征在于， 步骤S4中， 将地标检索测试数据集Te输入地标图像检索模型， 获取测试地标图像的 联合全局特征映射 通过余弦距离函数计算地标检索测试数据集Te中两两地标图像全局 特征映射的相似度， 根据相似度大小对图像 检索结果进行排序输出， 余弦距离函数 具体为： 式中， 与 中F表示全局特征映射， j1和j2表示地标检索测试数据集Te中的测试样本 和非测试样本的任意 一张图像， | | ||表示模。 10.一种特 征一致性建议的多尺度融合 地标图像 检索系统， 其特 征在于， 包括： 数据采集模块， 用于采集 地标图像数据， 构建地标检索训练数据集Tr与测试数据集Te； 网络构建模块， 用于特征一致性建议的多尺度融合地标图像检索网络， 包括衔接有多 尺度信息提取模块的ResNet5 0网络、 特 征自注意融合网络和区域特 征一致性建议项；权　利　要　求　书 2/3 页 3 CN 114579794 A 3