(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210410721.4 (22)申请日 2022.04.19 (71)申请人 浙江工商大 学 地址 310018 浙江省杭州市下沙高教园区 学正街18号 (72)发明人 华璟　刘丽华　孙杰　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于行人整体和局部特征的步态识别方法 及装置 (57)摘要 本发明公开了一种基于行人整体和局部特 征的步态识别方法及装置， 该方法包括以下步 骤： 获取步态数据集， 在保持行人步态比例不变 的情况下， 以行人为中心， 将步态数据集中步态 图均处理成相同尺寸大小， 构建统一步态数据 集， 构建基于GaitSet改进的步态识别网络； 利用 统一步态数据集训练步态识别网络， 得到步态识 别网络模型， 利用步态识别网络模 型对行人进行 步态识别。 本发明提高了步态识别算法的识别 率。 权利要求书4页 说明书10页 附图3页 CN 114821775 A 2022.07.29 CN 114821775 A 1.一种基于行 人整体和 局部特征的步态 识别方法， 其特 征在于， 包括以下步骤： S1， 获取步态数据集， 在保持行人步态比例不变的情况下， 以行人为中心， 将步态数据 集中步态图均处 理成相同尺寸大小， 构建统一 步态数据集； S2， 构建基于GaitSet改进的步态识别网络， 步态识别网络包括帧级特征提取模块、 集 合特征提取模块、 时间特 征聚合模块、 水平金字塔模块和全连接层模块； 其中， 帧级特征提取模块用于提取一组统一步态数据集中每张步态图的行人整体帧级 特征， 而同时根据设置的超参数n， 帧级特征提取模块也用于提取被平均水平 分割成2n个部 分的每张步态图中每 个部分的行 人局部帧级特 征； 集合特征提取模块用于从行人整体帧级特征、 行人局部帧级特征分别提取行人整体集 合特征、 行人局部集 合特征； 时间特征聚合模块用于处 理行人整体和 局部帧级特 征而得到微 运动判别特 征； 水平金字塔模块用于处 理行人整体和 局部集合特征而得到水平空间块特 征； 全连接层模块用于融合 微运动判别特 征和水平空间块特 征而得到融合特 征； S3， 利用统一 步态数据集训练步态 识别网络， 得到步态 识别网络模型； S4， 利用步态 识别网络模型对行 人进行步态 识别。 2.根据权利要求1所述的基于行人整体和局部特征的步态识别方法， 其特征在于， 步骤 S2中帧级特征提取模块提取行人整体 帧级特征和行人局部帧级特征 的顺序均依 次分为第 一帧级阶段、 第二帧级阶段、 第三帧级阶段， 每个帧级阶段均包括卷积操作， 其中， 第一帧级 阶段和第二帧级阶段还均包括在卷积操作之后并列进 行的下采样操作和最大池化层操作， 将统一步态数据集中的步态图作为第一帧级阶段的卷积操作的输入， 对前两个帧级阶段中 每个帧级阶段卷积操作之后的卷积帧级特征分别进行下采样操作和最大池化层操作， 每个 帧级阶段 的最大池化层操作之后的最大池化帧级特征作为输入进入下一帧级阶段 的卷积 操作， 每个帧级阶段下采样操作后的下采样帧级 特征与下一帧级阶段卷积操作完成之后的 卷积帧级 特征先相加再进 行后续操作， 统一步态数据集中的步态图经过三个帧级阶段得到 最终的行 人整体帧级特 征和行人局部帧级特 征。 3.根据权利要求2所述的基于行人整体和局部特征的步态识别方法， 其特征在于， 步骤 S2中集合特征提取模块提取行人整体集合特征和行人局部集合特征 的顺序均依 次分为第 一集合阶段、 第二集合阶段， 每个集合阶段均包括卷积操作， 其中， 第一集合阶段还包括在 卷积操作之后进 行的最大池化层操作； 第一帧级阶段的最大池化帧级 特征经过第一集合池 化操作， 得到第一集合池化特征； 第二帧级阶段的最大池化帧级特征经过第二集合池化操 作， 得到第二集合池化特征； 第三帧级阶段的卷积帧级 特征经过第三集合池化操作， 得到第 三集合池化特征； 第一集合池化特征作为第一集合阶段的卷积操作的输入， 第一集合阶段 的最大池化层操作后的最大池化集合特征与第二集合池化特征先相加再作为输入进入第 二集合阶段的卷积操作， 第二集合阶段的卷积操作之后的卷积集合特征与第三集合池化特 征相加得到最终的行 人整体和 局部集合特征。 4.根据权利要求3所述的基于行人整体和局部特征的步态识别方法， 其特征在于， 行人 整体集合池化特征提取中， 第一集合池化函数公式为； Sg1＝Max(Fg1)， Sg1表示为第一整体集 合池化特征， Fg1表示集合内的所有第一帧级阶段的整体 最大池化帧级特征， Fg1＝{fi|i＝1， 2， ...， n}， fi表示为集合内的第i个第一帧级阶段 的整体最大池化帧级特征， Max( ·)表示权　利　要　求　书 1/4 页 2 CN 114821775 A 2为求最大值函数； 第二集合池化函数公式为； Sg2＝Max(Fg2)， Sg2表示为第二整体集合池化特征， Fg2表示集 合内的所有第二帧级阶段的整体最大池化帧级特征， Fg2＝{fi|i＝1， 2， ...， n}， fi表示为集 合内的第i个第二帧级阶段的整体最大池化帧级特 征， Max(·)表示为求最大值函数； 第三集合池化函数公式为； Sg3＝Max(Fg3)， Sg3表示为第三整体集合池化特征， Fg3表示集 合内的所有第三帧级阶段的整体卷积帧级特征， Fg3＝{fi|i＝1， 2， ...， n}， fi表示为集合内 的第i个第三帧级阶段的整体卷积帧级特 征， Max(·)表示为求最大值函数； 在行人局部集合池化特征提取中， 第一集合池化函数公式为： Sl1＝Max(Fl1)； 其中， Sl1 表示为第一局部 集合池化 特征， Fl1表示集合内的所有第一帧级阶段的局部 最大池化帧级特 征， Fl1＝{fij|i＝1， 2， ...， n； j＝1， 2， ...， n}， fij表示为集合内的第 i个行人中被水平分割 为j个部分的第一帧级阶段的局部最大池化帧级特征， 对每个分割后的行人局部 帧级特征 应用Max函数， Max( ·)表示为求最大值函数； 第二集合池化函数公式为： Sl2＝Max(Fl2)， 其中， Sl2表示为第 二局部集合池化特征， Fl2 表示集合内的所有第二帧级阶段的局部最大池化帧级特征， Fl2＝{fij|i＝1， 2， ...， n； j＝ 1， 2， ...， n}， fij表示为集合内的第i个行人中被水平分割为j个部分的第二帧级阶段的局部 最大池化帧级特征， 对每个分割后的行人局 部帧级特征应用Max函数， Max( ·)表示为求最 大值函数； 第三集合池化函数公式为： Sl3＝Max(Fl3)， 其中， Sl3表示为第三局 部集合池化特征， Fl3 表示集合内的所有第三帧级阶段的局部卷积帧级特征， Fl3＝{fij|i＝1， 2， ...， n； j＝1， 2， ...， n}， fij表示为集合内的第i个行人中被水平分割为j个部分的第三帧级阶段的局部卷 积帧级特征， 对每个分割后的行人局 部帧级特征应用Max函数， Max( ·)表示为求最大值函 数。 5.根据权利要求1所述的基于行人整体和局部特征的步态识别方法， 其特征在于， 步骤 S2中使用水平金字塔模块处理行人整体和局部集合特征具体为： 根据金字塔的尺度大小， 将步骤S2中得到的行人整体和局部集合特征作为输入的特征并在高度维度上水平划分为 多个水平块空间， 然后进行 水平金字塔池化， 得到水平空间块特 征； 其中， 水平金字塔有s个尺度， 输入的特征被水平划分为20， 21， 22，……， 2s个水平空间 块， 针对行人整体和局部集合特征使用不同的尺度， 对于尺度的划分， 由于行人局部特征是 被水平分割成2n个部分(n＜s)得到的， 所以对于行人局部集合特征使用[0， n]的较小尺度， 被水平划分为20， 21……， 2n个水平空间块； 对于行人整体集合特征使用[n+1， s]的尺度， 被 水平划分为2n+1，……， 2s个水平空间块， 行人整体和局部集合特征共同构成了s个尺度的水 平金字塔。 6.根据权利要求5所述的基于行人整体和局部特征的步态识别方法， 其特征在于， 对于 每个水平块空间的水平金字塔池化具体操作为： F＝Maxpo ol(x)+Avgpo ol(x) 其中， x表示为输入的水平空间块， Maxpool( ·)表示为每个水平空间块的最大值， Avgpool(·)表示为每个水平空间块的平均值， F表示为水平空间块特征， 由计算每个水平 空间块的最大值和平均值相加得到 。 7.根据权利要求1所述的基于行人整体和局部特征的步态识别方法， 其特征在于， 步骤权　利　要　求　书 2/4 页 3 CN 114821775 A 3