(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211118353.2 (22)申请日 2022.09.15 (65)同一申请的已公布的文献号 申请公布号 CN 115205764 A (43)申请公布日 2022.10.18 (73)专利权人 深圳市企鹅网络科技有限公司 地址 518000 广东省深圳市南 山区西丽 街 道西丽社区打石一路深圳国际创新谷 1栋B座1801 (72)发明人 张志发　夏德虎　司岩　 (74)专利代理 机构 佛山粤进知识产权代理事务 所(普通合伙) 44463 专利代理师 耿鹏 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/20(2022.01) G06N 20/00(2019.01)(56)对比文件 CN 113239794 A,2021.08.10 CN 114339149 A,202 2.04.12 CN 110334626 A,2019.10.15 CN 112926412 A,2021.0 6.08 CN 113590762 A,2021.1 1.02 CN 114663734 A,202 2.06.24 US 2020046277 A1,2020.02.13 刘艳婷.基 于多特征融合的专注度识别. 《中 国优秀硕士学位 论文全文数据库 (信息科技 辑)》 .202 2,(第03期), Linh Le等.Analysis of Students ’ Concentrati on Levels for On line Learn ing Using Webcam F eeds. 《2021 IE EE Internati onal Conference o n Big Data (Big Data)》 .202 2, (续) 审查员 李佳丽 (54)发明名称 基于机器视觉的在 线学习专注度监测方法、 系统及介质 (57)摘要 本发明公开的一种基于机器视觉的在线学 习专注度监测方法、 系统及介质， 包括， 获取目标 对象在线学习过程中的视频流， 根据视频流获取 帧图像数据， 并进行预处理； 通过预处理后的帧 图像数据获取目标对象 的面部表情特征、 姿态特 征及视线特征， 基于机器学习算法构建专注度监 测模型， 将所述面部表情特征、 姿态特征及视线 特征进行特征融合输入专注度监测模型获取实 时专注度， 根据实时专注度进行相应提醒； 将目 标对象的实时专注度结合时间信息生成专注度 时序序列， 并根据所述专注度时序序列对目标对 象的在线学习情况进行评估。 本发 明通过获取目标对象在线学习过程中的专注度， 检测学习过程 中的异常状态， 能够提高用户的学习效率， 保证 在线学习的有效性。 [转续页] 权利要求书3页 说明书9页 附图2页 CN 115205764 B 2022.11.25 CN 115205764 B (56)对比文件 Krithika L.B等.Student Emoti on Recognition System （SERS） for e-learn ing Improvement Based o n Learner Concentrati on Metric. 《Procedia Computer Science》 .2016,第85卷2/2 页 2[接上页] CN 115205764 B1.一种基于 机器视觉的在线学习专 注度监测方法， 其特 征在于， 包括以下步骤： 获取目标对象在线学习过程中的视频流， 根据视频流获取帧图像数据， 并进行预处理， 通过预处理后的帧图像数据获取目标对象的面部表情特 征、 姿态特 征及视线特 征； 基于机器学习算法构建专注度监测模型， 将所述面部表情特征、 姿态特征及视线特征 输入专注度监测模型进行 特征融合， 根据目标对象的多模态特 征获取实时专 注度； 根据实时专注度进行相应提醒， 将目标对象的实时专注度 结合时间信息生成专注度时 序序列； 根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分， 根据所述专注度 时序序列对目标对象的在线学习情况进行评估； 根据目标对象对学习内容的掌握情况提前将目标 学习内容进行划分， 具体为： 获取目标对象的在线学习阶段性考评结果， 预设考评阈值， 将考评结果大于所述考评 阈值的学习内容作为已掌握内容； 根据目标对象在线学习的预设时间内的阶段性考评情况将本次在线学习的目标学习 内容进行划分； 判断本次在线学习的目标学习内容中是否存在已掌握内容， 将所述已掌握内容划分为 选择学习部分， 将剩余内容划分为 规定学习部分； 对所述选择学习部分及规定学习部分分别设置不同的专注度阈值， 其中规定学习部分 的专注度阈值大于 选择学习部分的专 注度阈值； 根据所述专 注度时序 序列对目标对象的在线学习情况进行评估,具体为： 获取目标对象在线学习过程中的专注度时序序列， 根据时间戳从所述专注度时序序列 中提取规定学习部分及可选学习部分对应序列； 根据规定学习部分及可选学习部分对应序列中各预设时刻专注度分别确定规定学习 部分及可选学习部分的专 注度； 根据目标对象在线学习的时长设置专注度的动态影响权重， 根据 各个规定学习部分及 各个可选学习部分在总时长中的相对位置获取对应的动态影响权 重； 将各个学习部分的动态影响权重对其预设的专注度阈值进行更新， 根据 更新后的阈值 判断目标对象在各个学习部分的专 注度是否满足预设标准； 构建目标对象在线学习情况评价体系， 根据 各个学习部分对应的评分标准及目标对象 专注度获取 各学习部分的评估得分， 根据评估得分生成目标对象的在线学习评估结果。 2.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法， 其特征在于， 通过预处理后的帧图像数据获取目标对象的面部表情特 征、 姿态特 征及视线特 征， 具体为： 通过预处理后的帧图像数据获取目标对象的面部感兴趣区域， 根据所述面部感兴趣区 域的面部特征， 基于3D ‑CNN根据所述面部特征获取目标对象 的面部表情信息， 同时， 根据所 述面部特征进行目标对象的身份核验； 通过面部特征获取目标对象的面部关键点， 根据OpenFace算法获取目标对象头部姿态 的实时检测， 生成姿态信息； 根据面部关键点获取目标对象的眼部图像数据， 根据所述眼部图像数据构建目标对象 眼球模型并设置视线参考坐标系， 基于深度学习构建视线检测网络， 通过相关数据集进行 初始化训练， 将目标对象的眼部图像数据输入视线检测网络；权　利　要　求　书 1/3 页 2 CN 115205764 B 3