(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211072215.5 (22)申请日 2022.09.02 (71)申请人 燕山大学 地址 066000 河北省秦皇岛市海港区河北 大街438号 (72)发明人 李贺　张俊歌　孔维航　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 张建 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/766(2022.01)G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于跨模态间尺度注意聚合特征的计 数系统及方法 (57)摘要 本发明公开一种基于跨模态间尺度注意聚 合特征的计数系统及方法， 属于图像处理领域。 所述方法包括： 获取包括待计数可见光和红外热 图像； 将可见光图像进行初始特征提取； 将红外 热图像进行初始特征提取； 将可见光初始特征进 行尺度通道注 意聚合， 得到可见光尺度通道聚合 特征； 将红外热初始特征进行尺度通道注意聚 合， 得到红外热尺度通道聚合特征； 将可见光尺 度通道聚合特征和红外热尺度通道聚合特征进 行跨模态间尺度空间注意聚合， 得到跨模态尺度 空间聚合特征； 将跨模态尺度空间聚合特征进行 密度图回归， 将密度图像素值进行求和， 得到人 群计数结果。 本发明能够有效解决人群尺度变换 对跨模态特征融合的负面影 响， 从而提高跨模态 人群计数性能。 权利要求书3页 说明书9页 附图3页 CN 115527159 A 2022.12.27 CN 115527159 A 1.一种基于跨模态间尺度注意 聚合特征的计数系统， 其特征在于包括： 获取模块、 可见 光初始特征提取模块、 红外热初始特征提取模块、 可见光尺度通道聚合特征提取模块、 红外 热尺度通道 聚合特征提取模块、 跨模态尺度感知特征融合模块、 人群密度图回归模块和人 群计数模块； 获取模块用于获取待计数人群的场景可见光图像和红外热图像； 所述可见光初始特征 提取模块用于将可见光图像进 行可见光模态初始特征提取； 所述红外热初始特征提取模块 将红外热图像进 行红外热模态初始特征提取； 所述可见光尺度通道聚合特征提取模块用于 将可见光初始特征进 行可见光模态尺度通道注意聚合； 红外热尺度通道聚合特征提取模块 用于将红外热初始特征进 行红外热模态尺度通道注意聚合； 跨模态尺度感知特征融合模块 用于将可见光尺度通道聚合特征和红外热尺度通道聚合特征进行跨模态间尺度空间注意 聚合； 人群密度图回归模块将跨模态尺度 空间聚合特征进行密度图回归； 人群计数模块用 于将人群密度图的像素值进行求和。 2.根据权利要求1所述一种基于跨模态间尺度注意聚合特征的计数系统， 其特征在于 所述各模块具体组成为： 可见光初始特征提取模块： 从输入到输出方向依次为两个卷积层、 一个池化层、 两个卷 积层、 一个池化层、 四个卷积层、 一个池化层、 四个卷积层、 一个池化层和四个卷积层， 每个 卷积层的卷积核尺 寸均为3×3， 各所述卷积层生成的特征图通道数由输入至输出方向依次 为64、 64、 128、 128、 256、 256、 256、 256、 512、 512、 512、 512、 512、 512、 512和512， 各所述池 化层 均为步长为2的最大池化层； 红外热初始特征提取模块： 从输入到输出方向依次为两个卷积层、 一个池化层、 两个卷 积层、 一个池化层、 四个卷积层、 一个池化层、 四个卷积层、 一个池化层和四个卷积层， 每个 卷积层的卷积核尺 寸均为3×3， 各所述卷积层生成的特征图通道数由输入至输出方向依次 为64、 64、 128、 128、 256、 256、 256、 256、 512、 512、 512、 512、 512、 512、 512和512， 各所述池 化层 均为步长为2的最大池化层； 可见光尺度通道聚合特征提取模块： 包括可见光初始第 一尺度卷积层至可见光初始第 六卷积层等六个卷积层、 一个全局平均池化层、 两个全连接层和一个Softmax层； 六个卷积 层输出通道数均为512， 各所述卷积层卷积核尺寸由第一至第六依次为3 ×3、 5×5、 7×7、 9 ×9、 11×11和13×13， 全局平均池化层特 征图空间方向的窗口尺寸 为1×1； 红外热尺度通道聚合特征提取模块： 包括红外热初始第 一尺度卷积层至红外热初始第 六卷积层等六个卷积层、 一个全局平均池化层、 两个全连接层和一个Softmax层； 六个卷积 层输出通道数均为512， 各所述卷积层卷积核尺寸由第一至第六依次为3 ×3、 5×5、 7×7、 9 ×9、 11×11和13×13， 全局平均池化层特 征图空间方向的窗口尺寸 为1×1； 跨模态尺度感知特征融合模块： 包括可见光第 一尺度卷积层至可见光第六尺度 卷积层 等六个尺度卷积层， 第一全局平均池化层、 可见光空间注 意变换卷积层、 Sigmoid层、 红外热 第一尺度卷积层至红外热第六尺度卷积层， 六个尺度卷积层、 第二全局平均池化层和红外 热空间注意变换卷积层； 所述可见光第一至第六尺度卷积层， 六个卷积层输出通道数均为 512， 各所述卷积层卷积核尺寸由第一至第 六依次为3 ×3、 5×5、 7×7、 9×9、 11×11和13× 13， 所述红外热第一至第六尺度卷积层， 六个卷积层输出通道数均为512， 各所述卷积层卷 积核尺寸由第一至第六依次为3 ×3、 5×5、 7×7、 9×9、 11×11和13×13， 所述第一平均池化权　利　要　求　书 1/3 页 2 CN 115527159 A 2层和第二平均池化层均为特征图通道方向的窗口尺寸为 1×1的全局平均池化层； 所述可见 光空间注意变换卷积层和红外热空间注意变换卷积层均为一个卷积核尺寸为7 ×7和输出 通道数为1的卷积层； 人群密度图回归模块： 从输入到输出方向依次为三个卷积层， 卷积核尺寸均为3 ×3， 生 成的特征图通道数依次为25 6、 128和1。 3.一种基于跨模态间尺度注意 聚合特征的计数方法， 其特征在于基于权利要求1或2所 述一种基于跨模态间尺度注意聚合特 征的计数系统， 步骤如下： 步骤一： 获取包括待计数 人群的场景 可见光图像和红外热图像； 步骤二： 将所述可 见光图像进行 可见光模态初始特 征提取， 得到可 见光初始特 征； 步骤三： 将所述红外热图像进行红外热模态初始特 征提取， 得到红外热初始特 征； 步骤四： 将所述可见光初始特征进行可见光模态尺度通道注意聚合， 得到可见光尺度 通道聚合特 征； 步骤五： 将所述红外热初始特征进行红外热模态尺度通道注意聚合， 得到红外热尺度 通道聚合特 征； 步骤六： 将所述可见光尺度通道聚合特征和红外热尺度通道聚合特征进行跨模态间尺 度空间注意聚合， 得到跨模态 尺度空间聚合特 征； 步骤七： 将所述 跨模态尺度空间聚合特 征进行密度图回归， 得到人群密度图； 步骤八： 将所述人群密度图的像素值进行求和， 得到人群 计数结果。 4.根据权利要求3所述的一种基于跨模态间尺度注意聚合特征的计数方法， 其特征在 于， 所述步骤四具体包括： 将所述可见光初始特征输入可见光尺度通道注意聚合特征提取 模块进行可见光模态尺度通道注意聚合， 将可见光初始特征分别输入可见光初始第一至第 六尺度卷积层， 分别得到可见光初始第一至第六尺度特征图， 将所述可见光初始第一尺度 特征图、 可见光初始第二尺度特征图、 可见光初始第三尺度特征图、 可见光初始第四尺度特 征图、 可见光初始第 五尺度特征图和可见光初始第六尺度特征图进行对应位置像素相加， 得到可见光初始 尺度聚合特 征图； 将可见光初始尺度聚合特征图依次输入到所述全局平均池化层、 两个全连接层和 Softmax层， 得到可见光初始尺度聚合通道注 意描述子； 将可见光初始尺度聚合通道注意描 述子和可见光初始第一至第六尺度特征图进 行对应位置像素相乘， 得到可见光第一至第六 尺度通道 聚合特征图； 将可见光第一尺度通道 聚合特征图、 可见光第二尺度通道 聚合特征 图、 可见光第三尺度通道聚合特征图、 可见光第四尺度通道聚合特征图、 可见光第五尺度通 道聚合特征图和可见光第六尺度通道聚合特征图进行对应位置像素相加， 得到可见光尺度 通道聚合特 征。 5.根据权利要求3所述的一种基于跨模态间尺度注意聚合特征的计数方法， 其特征在 于， 所述步骤五具体包括： 将所述红外热初始特征输入红外热尺度通道注意聚合特征提取 模块进行 红外热模态尺度通道注意聚合， 将红外热初始特征分别输入红外热初始第一至第 六尺度卷积层， 分别得到红外热初始第一至第六尺度特征图， 将所述红外热初始第一尺度 特征图、 红外热初始第二尺度特征图、 红外热初始第三尺度特征图、 红外热初始第四尺度特 征图、 红外热初始第 五尺度特征图和红外热初始第六尺度特征图进行对应位置像素相加， 得到红外热初始 尺度聚合特 征图；权　利　要　求　书 2/3 页 3 CN 115527159 A 3