(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111672404.1 (22)申请日 2021.12.31 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 彭喜元　姚博文　彭宇　刘梓豪　 刘连胜　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 代理人 张宏威 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/94(2022.01) G06V 10/40(2022.01) G06V 20/00(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种串级CNN细粒度目标分类方法 (57)摘要 本发明是一种串级CNN细粒度目标分类方 法。 本发明涉及深度学习和硬件加速计算技术领 域， 本发明由第一级CNN分类网络对目标进行第 一次粗分类， 进行宏观目标特征的提取， 实现基 于明显特征的目标粗分类； 根据第一级CNN分类 得到的结果， 再由第二级CNN分类网络进行细粒 度分类， 进行深层 目标特征提取， 实现基于高维 特征的目标分类。 本发明以经典骨干卷积神经网 络模型为基础， 设计串级模型结构进行图像目标 的细粒度分类， 并基于 FPGA设计资源与架构可复 用的加速器， 实现有限资源条件 下的模型高能效 部署和应用。 权利要求书1页 说明书5页 附图1页 CN 114359634 A 2022.04.15 CN 114359634 A 1.一种FP GA硬件加速器架构， 其特征是： 所述架构包括： CNN计算模块、 分类网络权重参 数存储模块和参数调度控制器； 所述CNN计算模块用于实现分类网络结构， 根据串级CNN细粒度目标分类模型结构， 以 网络中的主 要计算结构卷积层为基本设计单 元， 设计硬件计算结构； 分类网络权重参数存储模块用于存储和输出两级网络的权重数据， 包括第 一级分类网 络权重参数和第二级分类网络 权重参数； 所述参数调度控制器用于控制两级网络的运行切换和参数加载。 2.根据权利要求1所述的一种FPGA硬件加速器架构， 其特征是： 参数控制器根据预设的 CNN计算模块执行模式， 控制权重参数存储模块进 行权重数据的加载， 然后控制数据通路切 换模块进行两级网络执 行过程的切换。 3.根据权利要2所述的一种FPGA硬件加速器架构， 其特征是： 当执行第一级分类网络 时， 存储模块由参数调度器控制输出第一级网络权重参数， 并加载到相应的CNN计算单元 中； 当执行第二级分类网络时， 存储模块由参数调度器控制 输出第二级网络权重中对应的 目标子类权 重参数， 并加载到相应的CN N计算单元中。 4.根据权利要3所述的一种FPGA硬件加速器架构， 其特征是： CNN计算模块采用可复用 结构设计， 根据串级网络结构的相似性， 将 硬件结构划分为浅层特征提取部 分、 深层特征提 取部分和分类 器结构。 5.根据权利要3所述的一种FPGA硬件加速器架构， 其特征是： 浅层特征提取部分和分类 器结构组成第一级CNN分类网络； 浅层特征提取部 分、 深层特征提取部 分和分类器结构组成 第二级CNN分类网络； 即第一级和第二级CNN分类网络公用浅层特征提取结构和分类器结 构， 通过加载不同的模型权 重参数实现网络的切换； 在浅层特征提取最后一层和深层特征提取第 一层之间设计数据通路切换模块， 用于控 制特征图数据的流向， 从而实现执行 的网络模型 的切换， 即， 当执行第一级分类网络时， 数 据通路切换模块将浅层特征提取结果直接输出至分类器进 行粗分类； 当执行第二级分类网 络时， 数据通路切换模块将浅层特 征提取结果输出至深层特 征提取部分。 6.一种串级CNN细粒度目标分类方法， 所述方法基于如权利要求1所述的一种FP GA硬件 加速器架构， 其特征是： 由第一级CNN分类网络对目标进行第一次粗分类， 进行宏观目标特 征的提取， 实现基于明显特征的目标粗分类； 根据第一级CNN分类得到的结果， 再由第二级 CNN分类网络进行细粒度分类， 进行深层目标 特征提取， 实现基于高维特 征的目标分类。 7.根据权利 要求6所述的一种串级CNN细 粒度目标分类方法， 其特征是： 第一级CNN分类 网络在深层卷积神经网络基础上， 裁剪高维特征提取结构， 构成低维的浅层特征提取网络， 并根据粗分类数据集对模型参数与结构进 行训练和微调， 从而完成对多类目标的宏观特征 进行粗分类， 且具体目标种类n的值 不能过高。 8.根据权利要求7所述的一种 串级CNN细粒度目标分类方法， 其特征是： 所述步骤2具体 为： 第二级CNN分类采用具有更深层的网络结构， 针对每一种粗分类结果构建子类数据集， 并分别对第二级CNN网络进行训练， 获得对应的网络权重； 在细粒度分类过程中， 分别向第 二级网络中加载对应目标类别权 重， 从而实现更加精准的细粒度目标分类。权　利　要　求　书 1/1 页 2 CN 114359634 A 2一种串级CN N细粒度目标分类方 法 技术领域 [0001]本发明涉及深度学习和硬件加速计算技术领域， 是一种串级CNN细粒度目标分类 方法。 背景技术 [0002]近年来， 人工神经网络在图像解译、 计算机视觉、 语音识别以及数字信号处理等众 多领域受到广泛关注， 并都取得了诸多瞩目的研究成果和进展， 尤其是在图像分类技术方 面， 卷积神经网络作为典型 的人工神经网络模型， 在部分单一场景中其分类精度已超过人 类， 成为目前 处理图像 分类任务的首选方案。 但在实际的应用场景中， 复杂且密集的图像信 息普遍存在于工业生产和社会生活中， 这对神经网络的处理精度提出了更高的要求。 尤其 是对于同种目标内， 但形状、 属性或特征具有细微差别的不同类型目标， 进行更加精细的细 粒度分类， 成为目前图像分类领域的热点研究问题。 为提升网络模型的细粒度分类能力， 人 们进一步提出了更加复杂且精度更高的目标特征学习和分类结构 。 但改进后的模型虽然在 细粒度目标识别任务中表现出了更优的精度和鲁棒性， 但同时其更加复杂的计算结构和重 参数化设计， 也造成了严重的计算开销和处理延迟， 尤其是对于边缘端延迟敏感型任务， 神 经网络模型的实际计算效率成为限制其部署和应用的重要问题。 [0003]目前， 硬件加速器设计已经成为加速神经网络计算过程的重要手段。 FPGA作为一 种高能效、 可重构、 高性价比的硬件加速器设计、 验证和 应用平台， 受到国内外研究者的广 泛关注。 FPGA通常是由可编程逻辑单元、 布线资源和I/O资源组成的半定制可编程芯片， 因 其高度可定制的并行结构， FPGA极其适合处理条件单一且具有重复性的计算任务， 因此十 分适用于加速具有同样特点的卷积神经网络。 然而， 结构复杂的高精度检测网络通常难以 达到最佳的计算加速效果， 而结构更加单一的分类模型更适合FPGA计算， 但却存在精度不 足的问题。 因此， 设计一种能够有效平衡算法精度和计算速度之间的关系， 从而实现神经网 络算法和FPGA硬件间良好地协同运算的方法和加速计算结构， 是该领域需要解决 的重要问 题。 [0004]针对图像分类领域细粒度目标分类需求， 现有方法通常采用改变网络结构， 提升 特征提取维度的方式， 拓宽模型 的细粒度特征学习能力。 这在算法层面虽然可以获得一定 程度的理论精度提升， 但复杂的网络结构和大规模的模型参数， 难以在资源有限条件下 的 边缘端硬件设备中进行部署和 应用。 同时， 受 限于硬件开发难度大、 周期长等问题， 现有的 神经网络加速器也很难以适应多样化、 快速迭代的神经网络发展状态， 对细粒度分类模型 在边缘端的计算加速和高实时性应用造成了阻碍。 因此， 为解决现有方法中， 复杂网络模型 在边缘端硬件设备中难部署、 难计算、 难加速的现实问题， 需要设计一种基于经典神经网络 模型的细粒度图像分类方法， 使其在边缘端硬件部署资源容量限制范围内， 既能满足精细 目标分类的任务需求， 又可以于现有加速方法进行匹配， 从而降低细粒度分类网络设计难 度， 减少边 缘端计算资源消耗， 增强模型实际应用效能。说　明　书 1/5 页 3 CN 114359634 A 3