(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155354.4 (22)申请日 2022.09.22 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 (72)发明人 沈雷　方一昊　郑鹏　蓝雷斌　 黄安祥　 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/42(2022.01) G06V 10/764(2022.01) (54)发明名称 一种复杂牛场环境牛脸识别方法 (57)摘要 针对在复杂牛场环 境下存在牛群遮挡、 牛脸 脏污以及牛的活动状态和姿态多样性等问题引 起的牛身份识别困难的难题。 本发 明公开了一种 基于Vision ‑Transformer的复杂牛场环境牛脸 识别算法。 本发明在VIT模型的基础上对复杂牛 场环境设计了全新的特征融合方式。 在VIT模型 中加入本发明提出的patch ‑shift网络层， patch‑shift网络层中的shift模块融合特征之 间信息， 不仅利用了局部特征还融合了局部特征 之间的信息， 缓解了在牛场环 境中脏污对识别的 影响。 加入可学习的Mask矩阵使模型抑制不含牛 脸信息的图像块， 抑制图像背景干扰， 使模型更 加关注图像中的牛脸特征， 学习到更加鲁棒的牛 脸特征。 权利要求书2页 说明书9页 附图6页 CN 115546828 A 2022.12.30 CN 115546828 A 1.一种复杂牛场环境牛脸识别方法， 其特 征在于， 包括以下步骤： S1、 采集牛脸数据： 在不同的光照条件下和同一拍摄高度 下， 同时采集正脸、 左侧脸、 右侧脸三种不同的牛 脸姿态的牛脸视频数据， 从视频流中截取每头牛 的正脸、 左侧脸、 右侧脸图片数据， 并将牛 脸图片数据划分为训练集和 测试集； S2、 基于Visi on‑Transformer对复杂牛场环境牛脸进行 数据处理 S2‑1首先将输入的牛脸图片分为N个大小相同的图像块 并使用Vision ‑ Transformer的图像块编码器E将每 个图像块编码为维度为D的特 征向量 S2‑2之后在N个特征向量 组成的矩阵中， 加入可学习的分类向量xcls， 所述分类向 量xcls用于表示牛脸图像经 过编码后的全局特 征， S2‑3最后加入 包含空间信息的位置编码 即可得到编码器的输入序列： S2‑4在z0前向传播到第l ‑1层编码器时将提 取的牛脸 特征 分别 输入全局分支和局部信息融合分支， 其中， 输入全局分支的牛脸特征作为全局分支输入特 征， 输入局部信息融合分支的牛脸特 征作为局部分支输入特 征； S2‑5在全局分支将全局分支输入特 征输入第l层编码器中提取全局分支特 征； S2‑6在局部信息融合分支中， 利用patch ‑shift网络层让牛脸的全局特征和局部分支 输入特征进行融合， 得到patc h‑shift网络层信息融合后的特 征； S2‑7将patch ‑shift网络层信息融合后的特征输入第l层编码器得到最终包含特征之 间相关性的输出 特征S＝TransformerLayer(GM)； S2‑8最后将全局分支提取的全局分支特征和局部信息融合分支提取的包含特征之间 相关性的输出 特征输入MLP中进行分类； S3、 使用所述步骤S1中所述的训练集， 构建损失函数， 对所述步骤S2中基于Vision ‑ Transformer对复杂牛场环境牛脸进行数据处理的方法进行训练， 当总损失下降到不大于 0.01时结束训练， 得到训练好的牛脸数据处 理方法； S4、 将步骤S1中所述的测试集中的数据输入训练好的牛脸数据处理方法中， 提取牛脸 图像特征并进行识别比对。 2.如权利要求1所述的一种复杂牛场环境牛脸识别方法， 其特征在于， 所述S3 中的损失 函数包括： 三元组损失Ltriplet和交叉熵损失Lsoftmax。 3.如权利要求2所述的一种复杂牛场环境牛脸识别方法， 其特 征在于， 所述S2 ‑6中， 所述局部信息融合分支的结构从下到上包括： 自适应平均池化层、 拼接层、 patch ‑ shift网络层、 第l层编码器， MLP分类 器； 在所述自适应平均池化层、 拼接层进行池化和拼接的过程具体包括以下步骤： 首先将第l ‑1层的编码器输出zl‑1使用平均池化将N+1个局部分支输入特征平均分为K 份， 再将K个均分后的局部分支输入特征和全局特征 拼接得到局部信息融合分支的输入 特征 即：权　利　要　求　书 1/2 页 2 CN 115546828 A 2式中， γ为自适应平均池化层， ψ表示 拼接池化后的局部分支输入特 征和全局特 征； 所述patch ‑shift网络层的结构从下到上包括： shift模块、 卷积核大小为1的卷积层 Conv； 可学习矩阵Mask； 激活函数ReLU； 所述patc h‑shift网络层的运行 过程包括以下步骤： 将G0输入到M层patch ‑shift网络层中进行信 息融合， 第m层patch ‑shift网络层的输出 为 Gm＝ReLU(Co nv(shift(Gm‑1))⊙Mask+Gm‑1)m＝1,…,M 式中， Gm‑1为第m‑1层patch ‑shift网络层的输出， 第一层patch ‑shift的输入 为G0； shift 为本文提出融合特征信息的shift模块； Conv为卷积核大小为1的卷积层； Mask为自适应学 习特征相关性的可 学习矩阵； ReLU为激活函数。 4.如权利要求3所述的一种复杂牛场环境牛脸识别方法， 其特征在于， 所述shift模块 用于对局部分支输入特征和全局特征进行通道间的信息融合； 所述shift模块在融合特征 信息时， 特征Gm‑1第i块特征的第j个通道信息值Gm‑1(i,j)等于特征Gm‑1第(i+j)％(K+1)块特 征的第j个通道的信息值Gm‑1((i+j)％(K+1),j)即： Gm‑1(i,j)＝Gm‑1((i+j)％(K+1),j)i ＝0,…,K； j＝0, …,D‑1 其 中 ，Gm‑1为 第 m 层 p a t c h ‑s h i f t 中 s h i f t 模 块 的 输 入 特 征 为 为全局特 征， 为局部分支输入特 征。 5.如权利要求1所述的一种复杂牛场环境牛脸识别方法， 其特征在于， 所述S4中， 基于 余弦距离进行 所述识别比对； 余弦距离计算公式如下： 余弦距离越大说明两个牛脸表面特征的相似度越高， 反之， 则两个由模型提取到的牛 脸表面特 征的相似度越低； 基于余弦距离进行识别比对的过程包括以下步骤： 将测试集牛脸图像提取到的经过6、 4、 2等分后组合归一化后的特征进行1:1不同类比 对， 获得模型比对阈值T； 再将测试集中的图像进行同类比对， 当同类提取到的组合特征的比对值大于T时即视 为比对成功； 反 之， 则认为比对失败。权　利　要　求　书 2/2 页 3 CN 115546828 A 3