(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211222414.X (22)申请日 2022.10.08 (71)申请人 河北工程大 学 地址 056038 河北省邯郸市经济技 术开发 区太极路19号 (72)发明人 何立新　李翔　张峥　李志会　 (74)专利代理 机构 北京壹川鸣知识产权代理事 务所(特殊普通 合伙) 11765 专利代理师 贾彦虹 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于SSD-ResNet 的鱼道鱼类识别系统 及方法 (57)摘要 本发明公开了一种基于SSD ‑ResNet的鱼道 鱼类识别系统及方法， 所述系统包括数据采集模 块、 控制模块和图像处理模块； 所述数据采集模 块用于进行鱼道鱼类图像数据的采集； 所述控制 模块用于接收所述数据采集模块采集的数据， 触 发所述数据采集模块进行摄像动作， 并对接收到 的所述数据采集模块采集数据以及摄像数据进 行处理和分析； 所述图像处理模块用于接收所述 控制模块传输的数据， 通过SSD ‑ResNet模型对采 集的鱼类图像进行图像初步处理并输入至训练 好的ResNet网络模型中， 完成鱼群种类的识别和 鱼群数量的统计。 本发明能够以较快速度和较高 的识别率进行鱼群种类和数量的动态识别统计 和监控， 提高水利工程的监管信息化水平， 便于 对鱼道生态工程的监测与评价。 权利要求书2页 说明书5页 附图1页 CN 115439698 A 2022.12.06 CN 115439698 A 1.一种基于S SD‑ResNet的鱼道鱼类识别系统， 其特 征在于， 包括： 数据采集模块， 用于进行鱼道鱼类图像数据的采集； 控制模块， 用于接收所述数据采集模块采集的数据， 触发所述数据采集模块进行摄像 动作， 并对接收到的所述数据采集模块采集数据以及摄 像数据进行处 理和分析； 图像处理模块， 用于接收所述控制模块传输的数据， 通过SSD ‑ResNet模型对采集的鱼 类图像进行图像初步处理并输入至训练好的ResNet网络模 型中， 通过训练好的ResNet网络 模型完成鱼群种类的识别和鱼群数量的统计。 2.根据权利要求1所述的一种基于SSD ‑ResNet的鱼道鱼类识别系统， 其特征在于， 所述 数据采集模块包括： 红外扫描单元， 安装在鱼道观测段的入口处， 用于发射高频的红外波束对鱼道进行扫 描， 采集鱼道内鱼类通过的信息； 摄像单元， 内含高清数码相机， 在所述红外扫描单元采集到鱼类进入鱼道信号并反馈 至所述控制模块后， 由所述控制模块触发进 行； 所述摄像单元用于对鱼类的图片和/或视频 进行拍摄， 并将拍摄信息传回所述控制模块。 3.根据权利要求2所述的一种基于SSD ‑ResNet的鱼道鱼类识别系统， 其特征在于， 所述 数据采集模块还 包括： 补充光源， 用于增强鱼道观测段光线强度， 使所述摄像单元在任何条件下拍摄图像和/ 或视频不依赖周围环境的光强。 4.根据权利要求2或3所述的一种基于SSD ‑ResNet的鱼道鱼类识别系统， 其特征在于， 所述鱼道内鱼类通过的信息包括过鱼的数量、 轮廓、 温度中的任意 一种或多种。 5.一种基于S SD‑ResNet的鱼道鱼类识别方法， 其特 征在于， 包括以下步骤： S1、 进行鱼道观测段鱼道鱼类图像数据的采集； 鱼群经过鱼道观测段入口时， 对鱼道内 鱼类进行红外扫描， 获取鱼道内鱼类通过的信息； S2、 接收采集的数据， 触发摄像动作， 并对接收到的采集数据以及摄像数据进行处理和 分析； S3、 通过SSD ‑ResNet模型对采集的鱼类图像进行图像初步处理并输入至训练好的 ResNet网络模型中， 通过训练好的ResNet网络模型完成鱼群种类的识别和鱼群数量的统 计。 6.根据权利要求5所述的一种基于SSD ‑ResNet的鱼道鱼类识别方法， 其特征在于， 所述 步骤S3中， S SD‑ResNet模型对 采集的鱼类图像进行图像初步处 理的过程 为： S311、 将SSD的原提取网络VG G替换为ResNet， 作为backbo ne提取原图的特 征信息； S312、 删除掉ResNet后面的全连接层， 增添几层额外的卷积层提取 特征； S313、 经过卷积运算， 得到不同尺度的特 征图； S314、 用不同层次的特 征图预测不同大小的目标； S315、 在不同尺度上的特 征图中， 引入Pri or Box作为目标的预设框； S316、 对所有Prior  Box进行software分类和bounding  box regression， 来获得真实 目标的位置 。 7.根据权利要求6所述的一种基于SSD ‑ResNet的鱼道鱼类识别方法， 其特征在于， 所述 步骤S314中， 通过浅层的卷积特 征图去检测小目标， 深层的卷积特 征图去检测大目标。权　利　要　求　书 1/2 页 2 CN 115439698 A 28.根据权利要求6所述的一种基于SSD ‑ResNet的鱼道鱼类识别方法， 其特征在于， 所述 Prior Box是指在特征图中选择的default  box， default  box是指在特征图上的每个小格 上都有一系列固定大小的box， 即预设一组不同尺度不同位置的先验框， 图片中的每一个 ground truth都与先验框进行匹配， 每 个先验框负责检测与其交并比大于阈值的目标。 9.根据权利要求5所述的一种基于SSD ‑ResNet的鱼道鱼类识别方法， 其特征在于， 所述 ResNet网络模型的训练方法包括以下步骤： S321、 获取训练数据集： 采集样本图像和/或视频图像数据， 从样本图像和/或视频数据 中截取多张样本图片， 生成训练数据集； S322、 将所述训练集输入到ResNet网络模型中， 对其进行训练， 得到训练好的ResNet网 络模型。权　利　要　求　书 2/2 页 3 CN 115439698 A 3