(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211005072.6 (22)申请日 2022.08.22 (71)申请人 深圳职业 技术学院 地址 518000 广东省深圳市南 山区西丽 街 道西丽湖镇西丽湖畔 申请人 广州国家现代农业产业科技创新中 心 (72)发明人 毛亮　刘昌乐　杨润娜　朱文铭　 张璟楣　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 何卿华 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06T 7/70(2017.01) G06N 3/08(2006.01) (54)发明名称 一种猪只行为识别方法、 装置及存 储介质 (57)摘要 本发明公开了一种猪只行为识别方法、 装置 及存储介质， 方法包括： 获取待识别的特征图像， 根据预设的猪只行为识别模型对特征图像进行 识别， 以使所述猪只行为识别模 型对特征图像进 行维度折叠提取， 得到一维的图像特征向量， 并 根据预设的编码网络对所述图像特征向量进行 特征信息提取， 获得特征信息， 并根据预设的解 码网络对特征信息进行行为信息提取， 获得行为 信息， 并根据FFN网络， 对行为信息运算， 得到若 干个预测框， 通过计算二分匹配损失函数， 使得 预测框和真实框之间产生最优的二分匹配， 在所 述特征图像上生成识别框， 输出带有所述识别框 的特征图像。 通过机器对猪只的行为进行自动识 别， 提高对猪只行为识别准确率。 权利要求书3页 说明书8页 附图5页 CN 115359560 A 2022.11.18 CN 115359560 A 1.一种猪只行为识别方法， 其特 征在于， 包括： 获取待识别的特征图像； 其中， 所述待识别的特征图像是从猪只图像采集设备上提取 出来的； 根据预设的猪只行为识别模型对所述特征图像进行识别， 以使所述猪只行为识别模型 对所述特征图像进 行维度折叠提取， 得到一 维的图像特征向量， 并根据预设的编 码网络、 设 置的位置编码和所述图像特征向量， 对所述图像特征向量进行特征信息提取， 获得特征信 息， 并根据预设的解码网络、 设置的目标查询向量和所述位置编码， 对特征信息进 行行为信 息提取， 获得行为信息， 并根据FFN网络， 对行为信息运算， 得到若干个预测 框， 通过计算二 分匹配损失函数， 使得所述预测框和真实框之间产生最优的二分匹配， 在所述特征图像上 生成识别框， 输出带有所述识别框的特征图像； 其中， 所述识别框包括矩形框、 猪只预测行 为信息和猪只预测位置信息 。 2.如权利要求1所述的猪只行为识别方法， 其特征在于， 所述猪只行为识别模型对所述 特征图像进行维度折叠提取， 得到一维的图像特 征向量， 具体为： 将特征图像输入提取网络， 获得图像特征， 并将所述图像特征输入1x1卷积层， 输出一 维的图像特 征向量。 3.如权利要求1所述的猪只行为识别方法， 其特征在于， 所述根据预设的编码网络、 设 置的位置编码和所述图像特征向量， 对所述图像特征向量进行特征信息提取， 获得特征信 息， 具体为： 将所述图像特征向量输入第一编码子模块的Norm层， 将所述Norm层的输出结果输入第 一编码子模块的全连接层和第二Ad d&Norm模块； 将设置的位置编码和所述图像特征向量进行相加， 获得第一加权和向量， 将所述第一 加权和所述向量和所述图像特征向量输入Mutil ‑Head Self‑Attention模块中作为第一编 码子模块的输入向量， 将所述输入向量和所述图像特征向量输入第一Add&Norm模块输出经 过所述全连接层， 然后再输入所述第二Ad d&Norm模块， 获得第一编码子模块输出； 上一个编码子模块的输出作为下一个编码子模块的图像特征向量输入到下一个编码 子模块中， 最后一个编码子模块的输出 特征信息， 将若干个编码子模块构建成编码网络 。 4.如权利要求1所述的猪只行为识别方法， 其特征在于， 所述根据预设的解码网络、 设 置的目标查询向量和所述位置编码， 对特征信息进行行为信息提取， 获得行为信息， 具体 为： 将所述目标查询向量与自身进行相加， 获得的第二加权和向量， 将所述目标查询向量 和所述第二加权和向量输入到第一解码 子模块的第一Mutil ‑Head Self‑Attention模块中 构成第一解码子模块的第一输入向量， 将所述第一输入向量和所述目标查询向量输入第一 Add&Norm模块， 将所述第一Add&Norm模块的输出结果与所述目标查询向量进行相加， 获得 第三加权和向量； 将第三加权和向量与 所述特征信 息、 所述特征信 息与所述位置编码相加获得的第四加 权和向量输入第一解码子模块的第二Mutil ‑Head Self‑Attention模块中构成第一解码子 模块的第二输入向量， 将所述第二输入向量和所述第一Add&Norm模块的输出结果输入第二 Add&Norm模块中， 所述第二Add&Norm模块的输出结果经过第一解码子模块的全连接层， 然 后再输入第一 解码子模块的第三Ad d&Norm模块中， 输出获得第一 解码子模块输出；权　利　要　求　书 1/3 页 2 CN 115359560 A 2将上一个解码子模块的输出作为下一个解码子模块的目标查询向量， 输入下一个解码 子模块中， 最后一个解码子模块的输出为所述行为信息， 将若干个解码子模块构建成解码 网络。 5.如权利要求1所述的猪只行为识别方法， 其特征在于， 所述通过计算二分匹配损失函 数， 使得预测框和真实框之间产生最优的二分匹配， 在所述特征图像上生成识别框， 具体 为： 从猪只图像采集设备中按帧取出若干图像， 使用矩形框将所述图像中的猪只所在区域 进行标注， 并根据猪只的行为设置对应的行为标签， 获得真实框； 其中， 所述真实框包括行 为标签和位置信息； 计算真实框与的预测框之间的二分匹配损 失函数， 当所述二分匹配损 失函数收敛时， 确定预测框的猪只预测行为信息和猪只预测位置信息， 在所述特征图像上生成识别框， 所 述识别框包括矩形框、 猪只预测行为信息和猪只预测位置信息 。 6.如权利要求5所述的猪只行为识别方法， 其特征在于， 所述猪只行为识别模型是采用 训练样本集对 模型损失进行训练而获得的， 训练方法具体为： 获取若干所述真实框作为训练样本集， 训练样本集中包括若干图像和每张图像对应的 行为标签和位置信息； 将训练样本集输入到模型损失函数中进行训练， 得到训练完成的猪只行为识别模型。 7.一种猪只行为识别装置， 其特 征在于， 包括： 图像获取模块和图像识别模块； 图像获取模块用于获取待识别的特征图像； 其中， 所述待识别的特征图像是从猪只图 像采集设备 上提取出来的； 图像识别模块用于根据 预设的猪只行为识别模型对所述特征图像进行识别， 以使所述 猪只行为识别模型对所述特征图像进行维度折叠提取， 得到一维的图像特征向量， 并根据 预设的编码网络、 设置的位置编码和所述图像特征向量， 对所述图像特征向量进行特征信 息提取， 获得特征信息， 并根据预设的解码网络、 设置的目标查询向量和所述位置编码， 对 特征信息进 行行为信息提取， 获得行为信息， 并根据FFN网络， 对行为信息运算， 得到若干个 预测框， 通过计算二分匹配损失函数， 使 得所述预测框和真实框之 间产生最优的二分匹配， 在所述特征图像上生成识别框， 输出带有 所述识别框的特征图像； 其中， 所述识别框包括矩 形框、 猪只预测行为信息和猪只预测位置信息 。 8.如权利要求7所述的猪只行为识别装置， 其特征在于， 所述图像识别模块包括： 信息 提取单元和信息匹配单 元； 其中， 信息提取 单元用于将图像特 征向量和位置编码输入到编码网络， 输出 特征信息； 将目标查询向量、 所述 位置编码和特 征信息输入到解码网络， 输出为行为信息； 信息匹配单 元用于根据F FN网络， 对行为信息运 算， 得到若干个预测框； 从猪只图像采集设备中按帧取出若干图像， 使用矩形框将所述图像中的猪只所在区域 进行标注， 并根据猪只的行为设置对应的行为标签， 获得真实框； 其中， 所述真实框包括行 为标签和位置信息； 计算真实框与的预测框之间的二分匹配损 失函数， 当所述二分匹配损 失函数收敛时， 确定预测框的猪只预测行为信息和猪只预测位置信息， 在所述特征图像上生成识别框， 所 述识别框包括矩形框、 猪只预测行为信息和猪只预测位置信息 。权　利　要　求　书 2/3 页 3 CN 115359560 A 3