(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211148819.3 (22)申请日 2022.09.21 (71)申请人 中国电子系统技 术有限公司 地址 100036 北京市海淀区复兴 路四十九 号 (72)发明人 左健豪　朱金华　李鹏飞　周俊宇　 刘加　潘明远　 (74)专利代理 机构 工业和信息化部电子专利中 心 11010 专利代理师 袁鸿 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01)G06V 10/771(2022.01) G06V 10/77(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种复杂场景的人群 计数方法及设备 (57)摘要 本申请公开了一种复杂场景的人群计数方 法及设备， 包括如下步骤： 将图像输入编码器分 支， 以利用编码器分支对输入图像进行编码； 将 编码的结果输入解码器分支， 以利用解码器分支 确定图像中的人群密度； 编码器分支包括包括多 个子分支的基础特征提取单元和选择性融合单 元， 且各子分支的基础特征提取单元均输出特征 图给选择性融合单元， 以利用选择性融合单元进 行筛选和融合； 解码器分支包括解码器模块， 用 以基于自适应多尺度特征提取器输出的编码特 征图， 进行特征融合和语义分割， 以确定图像中 的人群密度。 本申请实施例设计的编码器分支和 解码器分支提取丰富的多尺度人头特征， 提高网 络对多尺度人头的检测能力， 从而提高人群计数 算法的精度。 权利要求书2页 说明书7页 附图2页 CN 115527164 A 2022.12.27 CN 115527164 A 1.一种复杂场景的人群 计数方法， 其特 征在于， 包括如下步骤： 将图像输入编码器分支， 以利用编码器分支对输入图像进行编码； 将编码的结果输入解码器分支， 以利用所述 解码器分支确定所述图像中的人群密度； 其中所述编码器分支包括自适应多尺度特征提取器， 所述自适应多尺度特征提取器， 用以提取输入图片的人头特征， 所述自适应多尺度特征提取器包括多个子 分支的基础特征 提取单元和选择性融合单元， 且各子分支的基础特征提取单元均输出特征图给所述选择性 融合单元， 以利用所述选择性融合单 元进行筛 选和融合； 所述解码器分支包括解码器模块， 所述解码器模块用以基于所述自适应多尺度 特征提 取器输出的编码特 征图， 进行 特征融合和语义分割， 以确定所述图像中的人群密度。 2.如权利要求1所述的复杂场景的人群计数方法， 其特征在于， 所述自适应多尺度 特征 提取器具体包括四个并行子分支的基础特征提取单元， 其中第一分支由1 ×1的卷积构成， 第二子分支由3×3的卷积构成， 第三子 分支由空洞率为2的3 ×3的卷积构成， 第四子 分支由 空洞率为3的3 ×3的卷积构成， 各子分支的基础特征提取单元均输出数量相同的特征图给 所述选择性融合单 元。 3.如权利要求2所述的复杂场景的人群计数方法， 其特征在于， 所述选择性融合单元包 括选择子分支和融合子分支， 所述融合子分支用于： 对基础特征提取单元获取的各尺度特征图L1、 L2、 L3和L4， 以对应位置相加的方式进行预 融合， 得到第一特 征图L＝L1+L2+L3+L4， L∈RH×W×C； 使用全局均值池 化对所述第一特征图L在空间维度上进行压缩， 得到第二特征图Lmean∈ R1×1×C； 通过一个1 ×1卷积对第二特征图Lmean在通道维度进行压缩， 得到第三特征Z∈R1×1×d， d ＝C/8； 所述选择子分支用于： 将第三特征Z输入到四个并行子分支中进行通道升维， 以获得通道升维后的特征描述 符V1、 V2、 V3和V4， 且每个特征描述符的大小相同； 对各特征描述符， 在对应位置做SoftMax操作计算出注意力值S1、 S2、 S3和S4； 利用个注意力值对基础特征提取单元获取的各尺度 特征图进行自适应校准融合， 以获 得编码特 征图Fout＝ L1*S1+L2*S2+L3*S3+L4*S4。 4.如权利要求3所述的复杂场景的人群计数方法， 其特征在于， 所述编码器分支和所述 解码器分支之间还设置有上下文信息增强模块， 所述上下文信息增强模块包括三路子分 支， 其中： 第一路子分支： 使用全局平均池化将第 一输入特征图压缩到与 特征描述符同等大小， 以获得全局上下 文信息； 对所述全局上下文信 息使用1×1卷积进行跨通道信息交互和整合， 并使用双线性插值 对其上采样； 第二路子分支： 将第一输入特征图使用自适应最大值池化层沿高度维度压缩到K ×W×C大小， K代表人 群尺度层级的数量；权　利　要　求　书 1/2 页 2 CN 115527164 A 2将压缩的特 征图在高度维度上进行拆分， 以获得 K个子特征图lk∈R1×W×C； 将各子特 征图分别输入至对应的同类上 下文模块进行处 理， 以获得局部上 下文信息； 第三路子分支： 将第一输入特征图利用1 ×1卷积压缩通道维度 上的特征， 仅保留所述第 一输入特征图 中的代表性信息； 将三路子分支输出的特 征图在通道维度上拼接， 以获得增强的特 征图。 5.如权利要求4所述的复杂场景的人群计数方法， 其特征在于， 所述解码器模块包括预 融合子分支、 特 征融合子分支和语义分割子分支， 其中 利用所述预融合子分支的1 ×1卷积和3 ×3卷积对第 二输入特征图进行预设操作， 并将 操作获得的特 征信息分别输入并行的所述特 征融合子分支和所述语义分割子分支； 利用所述特 征融合子分支和所述语义分割子分支分别执 行信息整合和预测前 景掩膜； 将所述特征融合子分支和所述语义分割子分支的输出结果在对应位置相乘， 作为所述 解码器模块的输出。 6.如权利要求5所述的复杂场景的人群计数方法， 其特征在于， 所述编码器分支包括多 级顺序连接的所述自适应多尺度特征提取器， 所述解码 器分支包括多级顺序连接的所述解 码器模块； 其中相邻的自适应多尺度特征提取器之间设置有池化结构， 任一所述自适应多尺度 特 征提取器的输出还同级解码器模块的输入； 位于末级的所述自适应多尺度特 征提取器的输出与所述上 下文信息增强模块连接 。 7.如权利要求6所述的复杂场景的人群计数方法， 其特征在于， 所述所述编码器分支包 括4级顺序连接的所述自适应多尺度特征提取器， 所述解码 器分支包括3级顺序连接的所述 解码器模块。 8.一种计算机设备， 其特征在于， 包括处理器和存储器， 所述存储器存储有计算机程 序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的复杂场景的人群 计数方法的步骤。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的复杂场景的人 群计数方法的步骤。权　利　要　求　书 2/2 页 3 CN 115527164 A 3