(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210676833.4 (22)申请日 2022.06.16 (65)同一申请的已公布的文献号 申请公布号 CN 114758306 A (43)申请公布日 2022.07.15 (73)专利权人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王国强　王永　翟贵乾　 刘瑞　焦安健　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/52(2022.01)G06V 20/70(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113011329 A,2021.0 6.22 审查员 苏春昊 (54)发明名称 一种基于金字塔特征融合的人群密度估计 方法 (57)摘要 本发明属于人群密度估计技术领域， 涉及一 种基于金字塔特征融合的人群密度估计方法， 使 用VGG‑16的前十三层作为主干网络， 进行初步的 特征提取， 然后针对多尺度目标感知难得问题， 设计了金字塔特征融合模块， 采用不同空洞率的 空洞卷积提取多尺度特征， 并将多尺度特征进行 自下而上和自上而下两阶段的特征融合， 增强网 络的尺度感知能力； 同时， 针对复杂背景被误判 为目标的问题， 设计通道注意力分支， 提取全局 注意力信息， 监督多尺度特征的提取， 最后使用 卷积和激活函数的组合将多尺度特征回归为最 终密度图， 不仅可以用来进行无约束场景的人群 密度估计， 还可以用于原木、 细胞等各项密集目 标的密度估计 。 权利要求书2页 说明书5页 附图3页 CN 114758306 B 2022.08.23 CN 114758306 B 1.一种基于金字塔特 征融合的人群密度估计方法， 其特 征在于， 具体过程 为： （1） 数据集生成： 对人群公开数据集的标注信 息进行处理， 使用高斯核模糊标注信息 中 的标注点， 以形成训练所需的真实密度图， 并采用裁剪和翻转的方式将数据集进 行增广， 以 获取更多的训练数据图像； （2） 主干网络特征提取： 将步骤 （1） 得到的图像输入到主干网络中进行卷积特征提取， 获得初步特 征； （3） 金字塔特征融合： 根据步骤 （2） 得到的初步特征， 使用金字塔特征融合模块进一步 提取并输出多尺度特征； 其中金字塔特征融合模块在不同分支间引入跨分支的信息传递路 径， 灵活地聚合不同分支的多尺度特征， 同时引入注意力 分支， 获取空间注意力信息， 增强 对人群区域的关注， 具体包括如下步骤： （31） 给定输入特征图 F， 为获取不同感受野下的多尺度特征， 金字塔特征融合模块使用 空洞率分别为1、 2、 3、 4的3 ×3空洞卷积处理输入特征， 经不同空洞率空洞卷积提取的多尺 度特征分别表示 为F1、 F2、 F3、 F4； （32） 将空洞卷积提取的多尺度特征自下而上跨分支融合， 先将 F1与F2经concat操作串 联在一起， 使用3 ×3卷积操作将串 联特征融合， 并引入ReLU激活函数， 将融合后特征图中的 负值置为0， 同时将正值进行线性变换， 融合后的特征表示为 P2； 后续采用相同的融合策略， 依次将P2与F3融合得到 P3， 将P3与F4融合得到 P4， 则聚合了其他分支特征信息的多尺度特征 P1、 P2、 P3、 P4具体表示 为： ， 式中R为ReLU激活函数，  C3×3代表3×3普通卷积， 代表串联操作； （33） 将特征 P1、 P2、 P3、 P4进行自上而下的跨 分支融合， 使用多尺度空洞卷积， 引入ReLU激 活函数处 理多尺度特 征， 得到输出特征M1、 M2、 M3、 M4， 具体表示 为： ， 式中DCi为空洞率为 i的3×3空洞卷积， 然后将四个分支的输 出特征串联， 引入3 ×3卷积 聚合不同分支特 征， 得到多尺度特 征M； （34） 在金字塔特征融合模块引入注意力分支， 利用全局平均池化操作获取逐通道的注 意力信息A， 其中 为A的第c个通道的元 素， 具体表示 为： 式中Fc为输入特征 F第c个通道的特征信息， H和W分别为特征图的高和宽； A经一个3×3 卷积和一个像 素级卷积操作处理后形 成注意力信息 ， 将 与输出的多尺度特征逐像素相 乘， 得到输出特征 ， 具体表示 为：权　利　要　求　书 1/2 页 2 CN 114758306 B 2； （4） 密度图回归： 采用密度图回归器将步骤 （3） 输出的多尺度特征解码为人群密度图， 实现人群密度的估计。 2.根据权利要求1所述基于金字塔特征融合的人群密度估计方法， 其特征在于， 步骤 （1） 中模糊标注信息中的标注 点时， 对人群密度高的人群图像采用几何自适应高斯核， 对人 群密度低的人群图像采用标准差为15的高斯核。 3.根据权利要求2所述基于金字塔特征融合的人群密度估计方法， 其特征在于， 步骤 （2） 所述主干网络使用VGG16前十三层作为特征提取网络， 该主干网络由3 ×3卷积层和最大 池化层组成， 主干网络 输出特征的尺寸 为输入图像的1/8。 4.根据权利要求3所述基于金字塔特征融合的人群密度估计方法， 其特征在于， 步骤 （4） 所述密度图回归器使用四组卷积层和ReLU激活函数的组合， 其中前三组卷积层 采用3× 3卷积层， 最后一组采用1 ×1卷积层。权　利　要　求　书 2/2 页 3 CN 114758306 B 3