(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210465032.3 (22)申请日 2022.04.29 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 李健　张立兵　陈卫卫　胡广建　 刘安湘　丁也　罗聃　李桢旻　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 余罡 (51)Int.Cl. G06V 10/80(2022.01) G06K 9/00(2022.01) G06V 20/40(2022.01) G06V 40/16(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G16H 50/30(2018.01) A61B 5/00(2006.01) A61B 5/024(2006.01) A61B 5/145(2006.01) A61B 5/16(2006.01) A61B 5/24(2021.01) (54)发明名称 面向路桥工程人员的心理状态监测方法及 装置 (57)摘要 本发明提供面向路桥工程人员的心理状态 监测方法及装置， 涉及心理状态监测技术领域。 本发明基于获取的待检测用户的生理信号提取 生理特征， 基于获取的待检测用户的面部视频提 取面部特征； 并将所述生理特征和所述面部特征 进行特征对齐； 然后基于空间注 意力机制对特征 对齐后的所述生理特征和所述面部特征进行特 征融合得到融合后的时空特征图， 并将所述融合 后的时空特征图输入到多任务网络中获取待检 测用户的心理状态监测结果。 本发 明的技术方案 避免了心理状态监测的主观性， 且简化了检测流 程， 不仅检测系统集成度高、 且检测结果精 准、 鲁 棒性高。 权利要求书2页 说明书8页 附图2页 CN 114882330 A 2022.08.09 CN 114882330 A 1.一种面向路桥工程人员的心理状态监测方法， 其特 征在于， 所述方法包括： 基于获取的待检测用户的生理信号提取生理特征， 基于获取的待检测用户的面部视频 提取面部特 征； 并将所述 生理特征和所述 面部特征进行特征对齐； 基于空间注意力机制对特征对齐后的所述生理特征和所述面部特征进行特征融合得 到融合后的时空特征图， 并将所述融合后的时空特征图输入到多任务网络中获取待检测用 户的心理状态监测结果。 2.如权利要求1所述的方法， 其特征在于， 所述基于获取的待检测用户的生理信号提取 生理特征， 基于获取 的待检测用户的面部视频提取面部特征； 并将所述生理特征和所述面 部特征进行特征对齐包括： S11、 利用穿戴式设备实时获取待检测用户的生理信号； 所述生理信号包括脉搏、 心率、 皮电、 血氧； 利用可 见光摄像头拍摄待检测用户的面部 视频； S12、 基于op enface面部检测算法提取所述面部视频的面部特征； 所述面部特征包括面 部特征点运动轨迹序列和面部运动单 元强度序列； S13、 参照所述面部视频的采样时间和频率， 通过信号抽取和滤波， 将同样时间范围内 采样得到的生理信号变换至具有同样采样频率的光滑信号以使得所述生理特征与所述面 部特征保持对齐。 3.如权利要求1所述的方法， 其特征在于， 所述基于空间注意力 机制对特征对齐后的所 述生理特征和所述面部特征进 行特征融合得到融合后的时空特征图， 并将所述融合后的时 空特征图输入到多任务网络中获取待检测用户的心理状态监测结果包括： S21、 基于空间注意力机制， 将对齐后的面部特征点运动轨迹序列、 面部运动单元强度 序列两种面部特征和生理特征进一步提取深层时空特征， 融合三种特征对应的时空特征 图； S22、 将所述融合后的时空特征图输入到多任务网络中， 分别获取不同心理参数的分级 评估结果， 并将不同心理参数中概率最高的评估结果的类别作为待检测用户的心理状态监 测结果。 4.如权利要求1所述的方法， 其特征在于， 所述方法还包括： 将获取的待检测用户的生 理信号和面部 视频， 以及待检测用户的心理状态监测结果进行 可视化展示。 5.一种面向路桥工程人员的心理状态监测装置， 其特 征在于， 所述装置包括： 特征提取与对齐模块， 用于基于获取的待检测用户的生理信号提取生理特征， 基于获 取的待检测用户的面部视频提取面部特征； 并将所述生理特征和所述面部特征进 行特征对 齐； 心理状态监测模块， 用于基于空间注意力 机制对特征对齐后的所述生理特征和所述面 部特征进 行特征融合得到融合后的时空特征图， 并将所述融合后的时空特征图输入到多任 务网络中获取待检测用户的心理状态监测结果。 6.如权利要求5所述的装置， 其特征在于， 所述特征提取与对齐模块基于获取的待检测 用户的生理信号提取生理特征， 基于获取 的待检测用户的面部视频提取面部特征； 并将所 述生理特征和所述 面部特征进行特征对齐包括： S11、 利用穿戴式设备实时获取待检测用户的生理信号； 所述生理信号包括脉搏、 心率、 皮电、 血氧； 利用可 见光摄像头拍摄待检测用户的面部 视频；权　利　要　求　书 1/2 页 2 CN 114882330 A 2S12、 基于op enface面部检测算法提取所述面部视频的面部特征； 所述面部特征包括面 部特征点运动轨迹序列和面部运动单 元强度序列； S13、 参照所述面部视频的采样时间和频率， 通过信号抽取和滤波， 将同样时间范围内 采样得到的生理信号变换至具有同样采样频率的光滑信号以使得所述生理特征与所述面 部特征保持对齐。 7.如权利要求5所述的装置， 其特征在于， 所述心 理状态监测模块基于空间注意力 机制 对特征对齐后的所述生理特征和所述面部特征进 行特征融合得到融合后的时空特征图， 并 将所述融合后的时空特征图输入到多任务网络中获取待检测用户的心理状态监测结果包 括： S21、 基于空间注意力机制， 将对齐后的面部特征点运动轨迹序列、 面部运动单元强度 序列两种面部特征和生理特征进一步提取深层时空特征， 融合三种特征对应的时空特征 图； S22、 将所述融合后的时空特征图输入到多任务网络中， 分别获取不同心理参数的分级 评估结果， 并将不同心理参数中概率最高的评估结果的类别作为待检测用户的心理状态监 测结果。 8.如权利要求5所述的装置， 其特征在于， 所述装置还包括： 用户界面模块， 用于将获取 的待检测用户的生理信号和面部视频， 以及待检测用户的心理状态监测结果进行可视化展 示。 9.一种计算机可读存储介质， 其特征在于， 其存储用于面向路桥工程人员的心理状态 监测的计算机程序， 其中， 所述计算机程序使得计算机执行如权利要求 1‑4任一项所述的面 向路桥工程人员的心理状态监测方法。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 以及 一个或多个程序， 其中所述一个或多个程序被存储在所述存储器中， 并且被配置成由 所述一个或多个处理器执行， 所述程序包括用于执行如权利要求1 ‑4任一项所述的面向路 桥工程人员的心理状态监测方法。权　利　要　求　书 2/2 页 3 CN 114882330 A 3