(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210942280.2 (22)申请日 2022.08.08 (71)申请人 大连理工大 学人工智能大连研究院 地址 116000 辽宁省大连市高新 技术产业 园区火炬路5 6A-22层 申请人 大连赛听科技有限公司 (72)发明人 胡凯　杨猛　刘广威　 (74)专利代理 机构 青岛恒昇众力知识产权代理 事务所(普通 合伙) 37332 专利代理师 苏友娟 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 17/26(2013.01) G10L 17/18(2013.01) (54)发明名称 一种基于音视协同的飞虫追踪识别方法与 装置 (57)摘要 本发明公开了一种基于音视协同的飞虫追 踪识别方法与装置， 涉及飞虫识别追踪技术领 域， 旨在解决中， 有害飞虫的防治一直是一项棘 手的挑战， 尤其是对于大棚、 温室种植来 说， 如果 棚中进入少量零星的害虫， 不及时驱离捕捉， 害 虫的繁殖能力会使得少量害虫快速变成虫灾， 进 而给养殖户带来巨大的损失； 发明设计的TCN网 络能够有效地提取时间序列数据的特征， 相比于 人工选取特征或者传统的机器学习方法具有更 好的鲁棒性和识别率； 与传统的非机器学习类方 法相比， 本发明方法通过训练数据驱动TCN网络 进行特征学习， 避免了人工特征筛选过程造成的 数据信息利用不无完全。 权利要求书1页 说明书6页 附图4页 CN 115272862 A 2022.11.01 CN 115272862 A 1.一种基于音视协同的飞虫追踪识别装置， 其特征在于： 包括高清摄像头、 麦克风阵 列， 所述高清摄像头和所述麦克风阵列内分别设置有 数据预处理模块、 CNN识别网络、 TCN分 类网络、 轨 迹融合计算。 2.根据权利要求1所述的一种基于音视协同的飞虫追踪识别装置， 其特征在于： 所述数 据预处理模块包括图像数据的预处 理和声音数据预处 理模块。 3.根据权利要求2所述的一种基于音视协同的飞虫追踪识别装置， 其特征在于： 所述图 像数据的预处 理包括卷积层、 全连接网络 。 4.根据权利要求3所述的一种基于音视协同的飞虫追踪识别方法与装置， 其特征在于： 所述卷积层有 多层。 5.根据权利要求1所述的一种基于音视协同的飞虫追踪识别方法， 其特征在于： 包括以 下步骤： 步骤1， 图像数据的预处 理 通过所述高清摄像头拾取的图像数据进行预处理， 根据图像的色度分量判断是否出现 整体接近白色或者 黑色， 进行相应的处 理使用； 步骤2， CCN网络 基于图像数据进行异物检测采用CNN网络， 以实现较为准确的异物识别， CNN网络的输 出有2中状态， 分别为 正常、 有异 物； 然后对目标区域进行判断检测； 步骤3， 声 音数据预处 理模块 用24KHz采样率对声音信号进行采样， 将输入的音频数据流截取出N个采样点作 为单帧 输入数据； N取值较大， 通常需要 数秒以上的数据； N个采样点所用的采样时间记 为T， 为一帧 数据的录制时间； 统计这 N个数据的均值和方差， 将数据帧进行 标准化处理如下： 其中， s为输入的时间序列， m为均值， σ 为序列的标准差； 步骤4， TCN网络 声音信号输入即为TCN模块的输出， 转数数据的采样率只需要满足时间T内的采样点数 与TCN模块2自网络 输出的特 征序列长度一 致即可； 特征融合： TCN模块2输出与异物大小序列交叉组合形成新的特征序列作为特征融合的 输出， 交叉方式为由TCN模块2输入的序列为输出序列的奇数序列， 异物大小数据序列为输 出序列的偶数序列； 首先将采样率为24KHz,长度为N点的带标签数据集进行归一化处理， 然后对本发明中 设计的TCN网络进 行训练； 将待识别的声音信号输入本发 明所设计的TCN网络中即可输出飞 虫的坐标， 进 而形成飞虫的飞行轨 迹； 步骤5， 轨 迹融合 通过CNN网络图像识别和TCN网络声音识别两种方法分别得到异物的运动 轨迹后， 再进 行加权， 即可 得到最终的异 物运动轨 迹。权　利　要　求　书 1/1 页 2 CN 115272862 A 2一种基于音视协同的飞虫追踪 识别方法与装置 技术领域 [0001]本发明涉及飞虫识别追踪技术领域， 具体为一种基于音视协同的飞虫追踪识别方 法与装置 。 背景技术 [0002]随着农业生产技术的不断进步， 越来越多的智能技术应用于农业种植、 养殖等诸 多环节， 其中， 有害飞虫的防治一直是一项棘手的挑战， 尤其是对于大棚、 温室种植来说， 如 果棚中进入少量零星的害虫， 不及时驱离捕捉， 害虫 的繁殖能力会使得少量害虫快速变成 虫灾， 进而 给养殖户带来巨大的损失。 因此， 如何尽早有效发现零星的有害飞虫成为一个重 要的课题。 目前该问题的主要解决方法就是靠种植户的经验以及及时的观察等， 这样效率 是非常低的。 [0003]现有采用深度神经网络的目标识别通常是采用信号的时频图作为网络输入数据， 而时频图是一种通用算法， 并非完全由数据驱动形成特征， 也会造成信息损失， 本发明提出 的方法是针对声 音时间序列直接进行 特征提取。 [0004]将图像识别和声音识别进行协同， 由图像识别初判， 根据初判结果再决定是否启 动声音识别二次判决， 从而可以得到更准确的监测判决结果。 [0005]将基于图像的目标物体定位与基于声音的目标物体定位进行加权融合， 从而得到 更准确的定位追踪结果。 发明内容 [0006]鉴于现有技术中所存在的问题， 本发明公开了一种基于音视协同的飞虫追踪识别 装置， 采用的技术方案是， 包括高清摄像头、 麦克风阵列， 所述高清摄像头和所述麦克风阵 列内分别设置有数据预处 理模块、 CN N识别网络、 TCN分类网络、 轨 迹融合计算。 [0007]作为本发明的一种优选技术方案， 所述数据预处理模块包括图像数据的预处理和 声音数据预处 理模块。 [0008]作为本发明的一种优选技术方案， 所述图像数据的预处理包括卷积层、 全连接网 络。 [0009]作为本发明的一种优选技 术方案， 所述卷积层有 多层。 [0010]作为本发明的还公开了利用上述基于音视协同的飞虫追踪识别装置的方法， 采用 的技术是， 包括以下步骤： 步骤1， 图像数据的预处 理 通过所述高清摄像头拾取的图像数据进行预处理， 根据图像的色度分量判断是否 出现整体接近白色或者黑色， 进行相应的处理使用， 如果是， 则认为图像无法正常识别， 则 对图像济 宁增强后再使用， 如果否， 则认为图像可以直接使用； 步骤2， CN N网络 基于图像数据进行异物检测采用CNN网络， 以实现较为准确的异物识别， CNN网络 的输出有2中状态， 分别为正常、 有异物； 然后对目标区域进 行判断检测， 对所检测的目标方说　明　书 1/6 页 3 CN 115272862 A 3