(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211049656.3 (22)申请日 2022.08.29 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 陶英杰　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张欣然 (51)Int.Cl. G06V 20/59(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种驾驶员疲劳监测方法、 系统、 存储介质 及电子设备 (57)摘要 本申请公开了一种驾驶员疲劳监测方法、 系 统、 存储介质及电子设备， 可应用于大数据领域 或其他领域。 通过预先训练的预设疲劳监测模型 对预处理操作后的驾驶员图像进行疲劳监测得 到疲劳监测结果， 预设疲劳监测模 型由通过数据 增强后的多尺度骨干架构和轻量化网络联合构 建得到。 基于上述， 通过数据增强后的多尺度骨 干架构和轻量化网络联合构建预设疲劳监测模 型， 使预设疲劳监测模型主干网络具备更强的驾 驶员疲劳特征提取能力， 提高监测驾驶员在行车 过程中是否为疲劳驾驶的准确度。 由于轻量化网 络构建预设疲劳监测模型， 因此可以将预设疲劳 监测模型部署在边缘计算设备上实时对驾驶员 是否为疲劳驾驶进行监测， 提高在边缘计算设备 部署时的实时监测速度。 权利要求书2页 说明书8页 附图3页 CN 115393831 A 2022.11.25 CN 115393831 A 1.一种驾驶员疲劳监测方法， 其特 征在于， 所述方法包括： 获取在行 车过程中的驾驶员图像； 对所述驾驶员图像进行预处理操作； 所述预处理操作用于增强驾驶员图像数据的多样 性； 通过预先训练的预设疲劳监测模型， 对预处理操作后的驾驶员图像进行疲劳监测， 得 到疲劳监测结果； 所述预设疲劳监测模型由通过数据增强后的多尺度骨干架构和轻量化网 络联合构建得到； 数据增强后的多尺度骨干架构用于提高所述预设疲劳监测模型监测精 度； 所述疲劳监测结果用于表征在行 车过程中驾驶员是否疲劳驾驶。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述驾驶员图像进行预处理操作， 包括： 对所述驾驶员图像进行 预处理操作； 所述预处 理操作至少包括裁 剪操作和旋转操作。 3.根据权利要求1所述的方法， 其特 征在于， 训练预设疲劳监测模型的过程， 包括： 获取样本数据； 所述样本数据至少包括训练集样本和 测试集样本； 将所述训练集样本进行分类， 得到脸标注信息、 睁眼标注信息、 闭眼标注信息、 张嘴标 注信息和闭嘴标注信息； 将所述脸标注信 息、 所述睁眼标注信 息、 所述闭眼标注信 息、 所述张嘴标注信 息和所述 闭嘴标注信息存储至各自对应的标签文件， 得到脸标签文件、 睁眼标签文件、 闭眼标签文 件、 张嘴标签文件和闭嘴标签文件； 通过自适应学习率算法、 所述脸标签文件、 所述睁眼标签文件、 所述闭眼标签文件、 所 述张嘴标签文件、 所述闭嘴标签文件和预 先设置的学习率， 对预设疲劳监测模型进行训练； 通过所述测试集样本对训练后的预设疲劳监测模型进行测试， 以完成预设疲劳监测模 型的训练过程。 4.根据权利要求3所述的方法， 其特征在于， 所述通过预先训练的预设疲劳监测模型， 对预处理操作后的驾驶员图像进行疲劳监测， 得到疲劳监测结果， 包括： 通过预先训练 的预设疲劳监测模型， 从预处理操作后的驾驶员图像中提取驾驶员图像 的特征； 所述驾驶员图像的特征至少包括驾驶员脸特征、 驾驶员睁眼特征、 驾驶员闭眼特 征、 驾驶员张嘴特 征和驾驶员闭嘴特 征； 确定所述驾驶员脸特征在所述脸标签文件所占的脸权重， 所述驾驶员睁眼特征在所述 睁眼标签文件所占的睁眼权重， 所述驾驶员闭眼特征在所述闭眼标签文件所占的闭眼权 重， 所述驾驶员张嘴特征在所述张嘴标签文件所占的张嘴权重和所述驾驶员闭嘴特征在所 述闭嘴标签文件所占的闭嘴权 重； 通过所述睁眼权重、 所述闭眼权重、 所述张嘴权重和所述闭嘴权重， 确定驾驶员的总特 征权重； 将所述驾驶员的总特 征权重与预设疲劳权 重进行比对； 若所述驾驶员的总特征权重大于所述预设疲劳权重， 则确定疲劳监测结果为在行车过 程中驾驶员疲劳驾驶的疲劳监测结果； 若所述驾驶员的总特征权重小于等于所述预设疲劳权重， 则确定疲劳监测结果为在行 车过程中驾驶员非疲劳驾驶的监测结果。 5.根据权利要求1所述的方法， 其特 征在于， 获取 轻量化网络的过程， 包括：权　利　要　求　书 1/2 页 2 CN 115393831 A 2对原始网络中的预测头部分进行剪枝操作， 得到轻量化网络； 所述原始网络为未进行 剪枝操作的网络； 所述剪枝操作为剔除体积大于预设体积的目标， 以使网络轻量 化的操作。 6.一种驾驶员疲劳监测系统， 其特 征在于， 所述系统包括： 获取单元， 用于获取在行 车过程中的驾驶员图像； 操作单元， 用于对所述驾驶员图像进行预处理操作； 所述预处理操作用于增强驾驶员 图像数据的多样性； 监测单元， 用于通过预先训练的预设疲劳监测模型， 对预处理操作后的驾驶员图像进 行疲劳监测， 得到疲劳监测结果； 所述预设疲劳监测模型 由通过数据增强后的多尺度骨干 架构和轻量化网络联合构建得到； 数据增强后的多尺度骨干架构用于提高所述预设疲劳监 测模型监测精度； 所述 疲劳监测结果用于表征在行 车过程中驾驶员是否疲劳驾驶。 7.根据权利要求6所述的系统， 其特 征在于， 所述操作单 元具体用于： 对所述驾驶员图像进行 预处理操作； 所述预处 理操作至少包括裁 剪操作和旋转操作。 8.根据权利要求6所述的系统， 其特征在于， 训练预设疲劳监测模型的过程的监测单 元， 包括： 获取模块， 用于获取样本数据； 所述样本数据至少包括训练集样本和 测试集样本； 分类模块， 用于将所述训练集样本进行分类， 得到脸标注信息、 睁眼标注信息、 闭眼标 注信息、 张嘴标注信息和闭嘴标注信息； 存储模块， 用于将所述脸标注信息、 所述睁眼标注信息、 所述闭眼标注信息、 所述张嘴 标注信息和所述闭嘴标注信息存储至各自对应的标签文件， 得到脸标签文件、 睁眼标签文 件、 闭眼标签文件、 张嘴标签文件和闭嘴标签文件； 训练模块， 用于通过自适应学习率算法、 所述脸标签文件、 所述睁眼标签文件、 所述闭 眼标签文件、 所述张嘴标签文件、 所述闭嘴标签文件和预先设置的学习率， 对预设疲劳监测 模型进行训练； 测试模块， 用于通过所述测试集样本对训练后的预设疲劳监测模型进行测试， 以完成 预设疲劳监测模型的训练过程。 9.一种存储介质， 其特征在于， 所述存储介质包括存储的指令， 其中， 在所述指令运行 时控制所述存储介质所在的设备执行如权利要求1至5任意一项所述的驾驶员疲劳监测方 法。 10.一种电子设备， 其特征在于， 包括存储器， 以及一个或者一个以上的指令， 其中一个 或者一个以上指令存储于存储器中， 且经配置以由一个 或者一个以上 处理器执行如权利要 求1至5任意一项所述的驾驶员疲劳监测方法。权　利　要　求　书 2/2 页 3 CN 115393831 A 3