(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210600585.5 (22)申请日 2022.05.30 (71)申请人 西安建筑科技大 学 地址 710055 陕西省西安市碑林区雁塔路 13号 (72)发明人 刘光辉　王秦蒙　陈宣润　孟月波　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 陈翠兰 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/70(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种高效多语义信息聚合的人群密度估计 方法及系统 (57)摘要 本发明公开了一种高效多语义信息聚合的 人群密度估计方法及系统， 采用VGG19骨干网络 并结合多层语义监督策略与空间信息嵌入策略， 利用多层语义监督策略编码低层特征方式提高 低层特征的语义表达， 通过空间信息嵌入丰富高 层特征空间信息表征； 将优化后的高低层特征作 为初始信息进行处理， 利用两个带有步长卷积的 轻量级空洞空间金字塔池化结构在进行全局多 尺度上下文信息聚合的同时缓解模 型参数冗余， 得到人群中间信息； 端采用步长卷积对上一步骤 得到的特征进行上采样得到最终的密度图， 在保 证精度的同时降低计算量。 解决了现有技术中语 义提取的精度差， 网络运行速度慢的问题。 权利要求书2页 说明书7页 附图4页 CN 114943933 A 2022.08.26 CN 114943933 A 1.一种高效多语义信息聚合的人群密度估计方法， 其特 征在于， 包括以下步骤： S1： 将待检测的人群图像输入到构建的骨干网络中， 结合语义监督策略， 从网络浅层获 取带有部分语义信息的强化低层特征， 在骨干网络深层中引入空间信息嵌入策略， 对骨干 网络中的高层特征采用双线性插值上采样， 将上采样后的高层特征与低层特征逐元素相 乘， 获取强化后的高层特 征； S2： 构建轻量化空洞空间金字塔池化结构， 通过逐点卷积层， 分别 对S1中获取的带有语 义信息的低层特征和强化后的高层特征进行通道降维， 采用步长卷积， 分别捕获低层特征 和高层特征 的上下文信息， 得到多尺度高层特征和多尺度低层特征， 将多尺度高层特征和 多尺度低层特 征进行融合， 得到全局多尺度上 下文特征； S3： 通过步长卷积对 全局多尺度上 下文特征继续进行 上采样， 得到最终的人群密度图。 2.根据权利要求1所述的一种高效多语义信 息聚合的人群密度估计方法， 其特征在于， 所述步骤S1中， 所述骨干网络为VGG ‑19骨干网络， 选取VGG ‑19骨干网络中的前13层实现特 征提取。 3.根据权利要求1所述的一种高效多语义信 息聚合的人群密度估计方法， 其特征在于， 所述步骤S1包括以下步骤： S1.1： 将待检测的人群图像输入到构建的骨干网络的层网络中， 分别输出低层特征图 Fli和高层特 征图Fhi； S1.2对低层特征图Fli进行细化， 降低特征映射维数； 再通过全局平均池化降低参数量， 形成语义 边界约束， 生成带有部分语义信息的低层特 征Fli‑1； S1.3： 将每一层低层网络中的Fli‑1融合， 得到富含语义信息的低层特 征FLow level feature S1.4： 引入空间信息嵌入策略， 对高层特征图Fhi采用双线性插值上采样， 将高层的通道 尺寸缩放至与低层通道 尺寸相同维度， 得到上采样特 征图Fhi‑1； S1.5： 将低层特征图Fli与上采样特征图Fhi‑1逐元素相乘， 获取强化后的高层特征 FHigh‑level feature。 4.根据权利要求3所述的一种高效多语义信 息聚合的人群密度估计方法， 其特征在于， 所述步骤S1.2中， 通过一个3 ×3卷积和一个1 ×1卷积对低层特 征图Fli进行细化。 5.根据权利要求3所述的一种高效多语义信 息聚合的人群密度估计方法， 其特征在于， 所述步骤S2包括以下步骤： S2.1： 通过逐点卷积层分别对FHigh‑level feature和FLow level feature进行通道降维， 执行信道 信息交互； S2.2： 通过步长卷积， 利用扩张率丰富特 征图感受野， 捕获上 下文信息； S2.3： 分别对S2.2处理后的FHigh‑level feature特征图和FLow level feature特征图进行融合， 得 到多尺度高层特 征FH和多尺度低层特 征FL； S2.4： 融合多尺度高层特 征FH和多尺度低层特 征FL， 得到全局多尺度上 下文特征FN。 6.根据权利要求5所述的一种高效多语义信 息聚合的人群密度估计方法， 其特征在于， 所述步骤S2.1中， 通过4个核大小为1的逐点卷积层进行通道降维。 7.根据权利要求5所述的一种高效多语义信 息聚合的人群密度估计方法， 其特征在于， 所述步骤S2.2中， 利用4个大小不同的扩张率丰富特 征图感受野。 8.根据权利要求1所述的一种高效多语义信 息聚合的人群密度估计系统， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114943933 A 2包括特征提取模块、 特 征融合模块和全局处 理模块； 特征提取模块， 用于将待检测的人群图像输入到构建的骨干网络中， 结合语义监督网 络， 获取带有语义信息的低层特征， 在骨干网络中引入空间信息嵌入 策略， 对骨干网络中的 高层特征采用双线性插值上采样， 将上采样后的高层特征与低层特征逐元素相乘， 获取强 化后的高层特 征； 特征融合模块， 用于构建轻量化空洞空间金字塔池化结构， 通过逐点卷积层， 分别对特 征提取模块中获取的带有语义信息的低层特征和强化后的高层特征进 行通道降维， 采用步 长卷积， 分别捕获低层特征和高层特征 的上下文信息， 得到多尺度高层特征和多尺度低层 特征， 将多尺度高层特 征和多尺度低层特 征进行融合， 得到全局多尺度上 下文特征； 全局处理模块， 用于通过步长卷积对全局多尺度上下文特征继续进行上采样， 得到最 终的人群密度图。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑7任 一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114943933 A 3