(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210586489.X (22)申请日 2022.05.27 (71)申请人 南京农业大 学 地址 210000 江苏省南京市浦口区点将台 路40号 (72)发明人 刘龙申　王圣元　沈明霞　赵茹茜　 姚文　 (74)专利代理 机构 南京天华专利代理有限责任 公司 32218 专利代理师 刘畅　徐冬涛 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06V 10/25(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) A01K 29/00(2006.01) (54)发明名称 基于YOLOv5和C 3D的仔猪吃奶行为检测系统 (57)摘要 本发明公开了一种基于YOL Ov5和C3D的仔猪 吃奶行为检测系统， 它包括哺乳室、 摄像头、 视频 存储单元、 服务器等， 摄像头一方面连续存储视 频数据到视频存储单元， 另 一方面直连服务器； 服务器分析监控 数据； 检测系统的工作步骤为通 过YOLOv5检测网络检测母猪姿态， 当检测出母猪 处于侧卧姿态， 提取拱乳感兴趣域并检测仔猪个 数， 将感兴趣域输入C3D识别网络识别仔猪拱乳 动作， 并将综合识别结果输出到数据库。 与传感 器技术相比， 该技术避免了与母猪的接触， 减少 应激反应； 与其他计算机视觉技术识别母猪哺乳 行为方法相比， 此方法更加关注仔猪本身的拱乳 动作。 减少分析母猪哺乳特征所带来的繁琐步 骤， 且具有分析直接， 效率高的特点。 权利要求书3页 说明书6页 附图5页 CN 115019391 A 2022.09.06 CN 115019391 A 1.一种基于YOLOv5和C3D的仔猪吃奶行为检测系统， 其特征在于它包括哺乳室、 摄像 头、 视频存储 单元、 服务器， 所述哺乳 室内带有限位栏， 哺乳 室用于放置哺乳母猪与仔猪； 所 述摄像头设置在高度2.2m处； 摄像头监控获得哺乳室的视频数据， 摄像头一方面连续存储 视频数据到视频存储 单元， 另一方面直连服务器； 服务器调用备份视频数据， 同时分析监控 数据； 检测系统的工作步骤为通过YOLOv5检测网络检测母猪姿态， 当检测出母猪处于侧卧 姿态， 提取拱乳感兴趣域并检测仔猪个数， 将感兴趣域输入C3D识别网络识别仔猪拱乳动 作， 并将综合识别结果输出到数据库； 所述模型的构建包括以下步骤： S1、 数据采集： 获得图像数据； S2、 概念定义： 仔 猪拱乳感兴趣域选取与姿态及行为定义； S3、 数据划分： 感兴趣域检测数据集和动作分类数据集的构建； S4、 网络设计： 平衡 检测速度和检测精度， 采用YOLOv5和C 3D为检测网络模型； S5、 YOLOv5模型训练： 利用感兴趣域检测数据集训练YOLOv5模型， 作为拱乳感兴趣域和 仔猪的检测器； S6、 C3D模型训练： 利用动作分类数据集训练C3D卷积神经网络模型， 引入泊松图像编辑 提高曝光图片识别准确率； S7、 网络模型测试与优化： 对动作分类概率曲线进行Savitzky ‑Golay滤波处理， 结合 YOLOv5仔 猪个数识别与拱乳动作概 率曲线综合分析仔 猪吃奶行为。 2.根据权利要求1所述的系统， 其特 征在于： 仔猪拱乳感兴趣域： 母猪侧卧时腹部及四肢所包围的区域并延伸至仔 猪体长； 姿态及行为定义 为： 母猪站立： 蹄接触地 面， 身体保持直 立， 背部朝上， 腹部朝下； 母猪坐立： 身体倾 斜， 部分垂直于伸展的前腿， 臀部 接触地面； 母猪侧卧： 一侧身体接触地 面， 四肢放置在左侧或右侧， 腹部袒露， 乳 头可见； 仔猪吃奶行为： 母猪处于侧卧， 且仔 猪拱动母猪乳 头， 时长大于90s； 吃奶行为结束： 母猪主动结束： 母猪翻身或者变为非侧卧姿势； 仔猪主动结束： 仔猪离 开拱乳感兴趣区域或仔 猪在乳房附近休息 。 3.根据权利要求1所述的系统， 其特征在于步骤S4所述网络设计中， 检测网络模型的损 失函数为： 式中s×s表示将整幅图片分成s ×s个栅格， ciouErr为坐标误差， objErr为置信度误 差， clsEr r为分类误差， 根据损失函数的收敛情况来判断模型训练迭代次数。 4.根据权利要求3所述的系统， 其特 征在于： objErr＝‑wn[yn·log( σ(xn))+(1‑yn)log(1‑σ(xn))]权　利　要　求　书 1/3 页 2 CN 115019391 A 2式中， IoU为预测框与实际框的交并比， ρ 为预测框与实际框的中心点连线的欧氏距离， c为同时包含 预测框和实际框的最小闭包区域的对角线距离， v为宽高比度量函数， w为预测 框的宽， h为预测框的高， wgt为目标框的宽， hgt为目标框的高， wn为超参数， yn为第n个样 本对 于的类别的真实值， xn为第n个样本的对应的模型输出， 经过sigmoid激活函数处理， exp为 指数函数， N表示类别总个数， yi为经过激活函数后得到的当前类别的概率， yi*为当前类别 的真实值(0或1)。 5.根据权利 要求1所述的系统， 其特征在于步骤S5所述YOLOv5模型训练中， 采用随机梯 度下降和动量法予以优化， 初始动量为0.937， bat ch_size为32， 初始学习率为0.01， 训练迭 代次数共16 000次， 在10 000次和11000次迭代时， 学习率缩小10倍， 权 重更新公式如下： 式中j表示特征数量， θ表示特征权重， i表示数据样本， lr代表学习率， 每次迭代更新一 次权重， 每迭代 1000次备份权重模型， 模型在训练13000次左右趋于平稳； 式中hθ(x)＝θ0+θ 1x1+θ2x2....+θnxn， 使得hθ(x)最小化。 6.根据权利要求1所述的系 统， 其特征在于步骤S6所述C3D模型训练中， 基于3D卷积操 作， 共有8次卷积 操作， 4次池化操作； 对于拱乳感兴趣域 正对保育灯， 引入泊松图像编辑。 7.根据权利 要求6所述的系统， 其特征在于： 卷积核的大小均 为3×3×3， 步长为1 ×1× 1， 第一个池化层大小为1 ×2×2， 其余池化层的大小均为2 ×2×2， 最终网络在经过两次全 连接层和softmax层后得到最终分类结果拱乳动作和非拱乳动作； 训练迭代次数共32000 次， 初始学习率 为0.0001。 8.根据权利要求6所述的系统， 其特征在于： 泊松图像编辑使用掩膜覆盖原始图像RGB 三个通道均较高的区域， 设定转换阈值 为180， 亮度变化实现公式如下： 式中 是一阶微分， β ＝0.2， f为原图像掩膜Ω覆盖部分的图像函数， f* 为掩膜Ω部分的图像函数。 9.根据权利要求1所述的系统， 其特征在于步骤S7所述网络模型测试与优化中， 对动作 分类概率曲线进行Savitzky ‑Golay滤波处理， 结合YOLOv5检测结果， 当母猪处于侧卧姿态， 且仔猪出现拱乳动作大于90s时， 则判定为仔猪吃奶行为发生； 若在时长大于90s的拱乳动 作前后出现大于20 s的拱乳动作， 且两者时长间隔小于15s， 则将这35s动作划分至仔猪吃奶 行为内； 若非拱乳动作间隙大于15s， 或前后方无90 s以上拱乳动作， 或检测到间隙的拱乳动 作小于20s时， 划分至非吃奶行为。 10.根据权利要求9所述的系统， 其特征在于： Savitzky ‑Golay滤波在 时域内基于局域 多项式最小二乘法拟合对C 3D模型分类概 率曲线平 滑除噪， 滤波公式如下：权　利　要　求　书 2/3 页 3 CN 115019391 A 3