(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221028646 5.2 (22)申请日 2022.03.22 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 种衍文　章郴　潘少明　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 20/52(2022.01) (54)发明名称 基于域风格滤除的未知域行人重识别方法 及系统 (57)摘要 本发明提供一种基于域风格滤除的未知域 行人重识别方法及系统， 针对训练集和测试存在 数据分布差异， 且测试集内部同时存在多种数据 分布的复杂分布情况， 建立未知域行人重识别任 务， 该任务首先在某数据集上训练模型， 然后联 合该数据集之外的所有数据集上进行测试； 进行 无需域适应的基于域风格滤除的未知域学习时， 模型通过自编码器能够去除冗余信息的特点作 为依据， 以多任务联合学习的方式， 借助行人身 份ID损失将域风格信息滤除， 提取域不变性特 征， 域风格滤除网络以行人特征编码器网络为主 要模块， 以行人ID分类网络以及图像特征解码器 网络为辅助模块， 而编码器和解码器组成自编码 器网络， 用于实现图像重建任务， 而ID分类网络 则用于行 人重识别任务。 权利要求书3页 说明书12页 附图1页 CN 115376178 A 2022.11.22 CN 115376178 A 1.一种基于域风格滤除的未知域行人重识别方法， 其特征在于： 针对训练集和测试存 在数据分布差异， 且测试集内部同时存在多种 数据分布的复杂分布情况， 建立未知域行人 重识别任务， 该任务首先在某一个数据集上训练模型， 然后联合该数据集之外的所有数据 集上进行测试； 进行无需域适应的基于域 风格滤除的未知域学习时， 处 理过程如下， 模型通过自编码器能够去 除冗余信息的特点作为依据， 以多任务联合学习的方式， 借 助行人身份ID损失将域风格信息滤除， 达到提取域不变性特征的目的， 域风格滤除网络以 行人特征编码器网络Encoder为主要模块， 以行人ID分类网络ID  Classification以及图像 特征解码器网络Decoder为辅助模块， 而编码器和解码器组成自编码器网络Auto ‑Encoder， 用于实现图像重建任务， 而ID分类网络则用于行人重识别任务； 进行未知域行人重识别的 实现步骤如下 1)给定具有行人ID标签的源域数据集， 记为 其中N表示源域数据集中 的图像 数量， xn表示第n张图像， 表示图像xn对应的行 人ID标签； 2)在源域数据集中以PK采样的方式随机选取一组图像形成一个小批次训练样本， 包括 选择P个行 人， 每个行人选择K张图像， 并组成三元组； 3)执行前向传播算法， 包括输入图像x经过编码器E获取 隐特征编码f； 然后将编码f继 续输入到解码网络D， 并输出重建结果 此外， 编码f还会输入到ID分类网络CID中， 获取行 人ID特征fID和行人ID预测结果 4)根据前向传播的输出结果， 分别计算出图像重建损失LR和ID分类损失LID， 然后对不 同损失进行加权， 计算模型总体损失L； 5)分别计算L对LR以及LID的梯度信息， 利用反向传播算法执行优化操作， 更新编码器E、 解码器D、 以及ID分类网络 CID； 6)继续循环执 行第2)步到第5)步的过程， 直至模型收敛； 7)模型收敛后， 得到训练好的编码器E*和ID分类网络 8)在推理阶段， 给定未知域条件下的目标域无标签样本集 中任意一张图像y， 经过 编码器E*和ID分类网络 执行前向传播， 得到域不变性行人特征fID， 然后计算该特征和图 库图像特 征的余弦相似度， 并按照相似度从大到小的顺序进行排序， 得到行 人检索结果。 2.如权利要求1所述的一种基于域风格滤除的未知域行人重识别方法， 其特征在于： 基 于自编码器对输入图像进行重建， 以滤除域 风格相关信息， 具体训练过程如下， 使用均方差损失来约束自编码器网络的图像重建过程， 对于给定输入样本的数据分布 p和输出重 建结果的数据分布q， 分别进行N点的数据采样， 其中N为源域训练样本数量， 则关 于图像重建任务的图像重建损失LR采用式(1)来描述： 其中， i表示源域训练样本的编号， LMSE(p,q)表示数据分布p和数据分布q的均方差损 失。 3.如权利要求1所述的一种基于域风格滤除的未知域行人重识别方法， 其特征在于： 基权　利　要　求　书 1/3 页 2 CN 115376178 A 2于ID分类网络的具体处 理过程如下， 在隐向量上加入行人ID损失作 为监督， 促使编码器和ID分类网络学习与ID 分类有关的 信息， 与分类无关的信息将会被舍弃， 在和自编码器模型结合后， 会进一步促使模型去除这 些与分类无关的冗余信息， 冗余信息中包 含域风格信息； 将行人重识别任务作为ID分类任务， 采用ID损失LID进行监督， LID包括在输出层上计算 的标签平滑正则的交叉熵损失、 在 嵌入层上计算的三元组损失和中心损失， 公式化描述LID 如下式所示： 其中， fID表示一个批次的输入图像中任一张图像x的ID特征； 而 表示图像三元组中 的锚点图像xa的ID特征， 类似地， 和 分别表示这个三元组中正样本图像xp和负样本图 像xn的ID特征； yID表示图像x的ID标签， 则表示进行标签平 滑正则后图像x的ID标签， 为网络预测的ID分类结果； 交叉熵损失和三元组损失的权重均设置为1， 而权重w1用来权衡 中心损失的重要性。 4.如权利要求3所述的一种基于域风格滤除的未知域行人重识别方法， 其特征在于： 交 叉熵损失LCE、 三元组损失Ltri以及中心损失LCenter的定义分别如下 所示， 其中C表示分类的类别总数， c表示类别的编号， p和q分别表示模型预测结果和样本标 记两种数据分布， pc和qc则分别表示两种分布在c处的采样值； 其中PK表示每个批次采样P个ID， 每个ID采样K张图像， t和s分别表示ID和每个ID的图 像的编号； m为三元组损失的间隔超参数， 而每个三元组由锚点图像a， 正样本图像p+和负样 本图像n‑组成， dap和dan分别为锚点图像特征和正样本图像特征之间的欧式距离， 锚点图像 特征和负样本图像特 征之间的欧式距离； 其中B表示一个批次中的图像数量， 表示其中第i张图像的ID特征， 表示第i张图 像的ID标签， 表示第 类别的特 征中心。 5.如权利要求1所述的一种基于域风格滤除的未知域行人重识别方法， 其特征在于： 以 多任务联合训练的方式对图像重建任务和行 人ID分类网络进行优化， 实现步骤如下， 通过将图像重建任务和ID分类任务进行联合优化， 实现将图像风格信息滤除的作用， 模型总体目标损失定义 为： 其中xi表示输入图像， 表示输入图像经过自编码器重建后的输出结果； 权重w1和w2被 用来权衡损失之间的重要性；权　利　要　求　书 2/3 页 3 CN 115376178 A 3