(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211184705.4 (22)申请日 2022.09.27 (71)申请人 浙江华锐捷技 术有限公司 地址 310053 浙江省杭州市滨江区浦沿街 道南环路2 930号3号楼3 01室 (72)发明人 缪其恒　苏志杰　许炜　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 潘平 (51)Int.Cl. G06V 20/59(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/42(2022.01)G06V 10/764(2022.01) (54)发明名称 一种驾驶违规行为的检测方法及装置 (57)摘要 本申请公开了一种驾驶违规行为的检测方 法及装置， 用以提升通过图像识别检测驾驶违规 行为的效率， 减少硬件的计算量。 该方法包括： 获 取待检测图像； 根据预先存储的驾驶区域的位置 信息， 从待检测图像中确定驾驶区域； 通过对驾 驶区域进行特征提取， 确定驾驶区域内的第一组 关键点的位置； 第一组关键点的位置用于表征驾 驶员系安全带的区域； 根据第一组关键点的位 置， 从驾驶区域中识别出安全带区域； 根据安全 带区域， 确定待检测图像的安全带状态； 安全带 状态用于指示待检测图像中是否存在未系安全 带行为。 权利要求书3页 说明书14页 附图2页 CN 115482520 A 2022.12.16 CN 115482520 A 1.一种驾驶违规行为的检测方法， 其特 征在于， 包括： 获取待检测图像； 根据预先存储的驾驶区域的位置信息， 从所述待检测图像中确定所述驾驶区域； 通过对所述驾驶区域进行特征提取， 确定所述驾驶区域内的第一组关键点的位置； 所 述第一组关键点的位置用于表征驾驶员系安全带的区域； 根据所述第一组关键点的位置， 从所述驾驶区域中识别出安全带区域； 根据所述安全带区域， 确定所述待检测图像的安全带状态； 所述安全带状态用于指示 所述待检测图像中是否存在未系安全带 行为。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过对所述驾驶区域进行特征提取， 确定所述驾驶区域内的第二组关键点的位置； 所 述第二组关键点的位置用于指示所述驾驶员的手所处的区域； 根据所述第 二组关键点的位置和预先存储的方向盘区域的位置信 息， 确定所述驾驶员 的手与所述方向盘区域的中心点之 间的距离； 所述方向盘区域为所述驾驶区域中包括方向 盘的区域； 基于所述距离和从所述方向盘区域提取到的特征， 确定所述待检测图像的手扶方向盘 状态； 所述待检测图像的手扶方向盘状态用于指示所述待检测图像中是否存在手脱离方向 盘的行为。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 获取所述驾驶室的背景图像； 所述背景图像为在所述驾驶室内无驾驶员状态下获取的 图像； 采用预先训练好的神经网络模型对所述背景图像进行特征识别， 确定所述背景图像中 的所述驾驶区域和所述方向盘区域的位置信息； 存储所述驾驶区域和所述方向盘区域的位置信息 。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述通过对所述驾驶区域进行特 征提取， 确定所述驾驶区域内的第一组关键点的位置， 包括： 对所述驾驶区域进行 特征提取， 得到所述驾驶区域的多个特 征； 结合预先设定的所述第 一组关键点的特征描述以及所述多个特征， 确定所述驾驶区域 中每一个 像素点属于第一组关键点的置信度； 将所述置信度高于设定阈值的像素点组成所述第一组关键点。 5.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述根据第一组关键点的位置， 从所述驾驶区域中识别出安全带区域， 包括： 根据所述第一组关键点的位置， 确定所述驾驶区域中包括的目标区域； 所述目标区域 为所述驾驶员佩戴安全带的区域； 对所述目标区域进行图像识别， 得到所述 安全带区域。 6.根据权利要求2或3所述的方法， 其特征在于， 所述基于距离和从所述方向盘区域提 取到的特 征， 确定所述待检测图像的手扶方向盘 状态， 包括： 通过对所述方向盘区域进行特征提取， 确定所述方向盘区域内包括的第 二组关键点的 数量； 在所述距离大于第一预设值， 或者所述数量小于第二预设值时， 确定所述手扶方向盘权　利　要　求　书 1/3 页 2 CN 115482520 A 2的状态为目标状态； 其中， 所述目标状态用于指示所述待检测图像中存在手脱离方向盘的操作。 7.根据权利要求6所述的方法， 其特征在于， 所述通过对所述方向盘区域进行特征提 取， 确定所述方向盘区域内包括的第二组关键点的数量， 包括： 对所述方向盘区域进行 特征提取， 得到所述方向盘区域的多个特 征； 结合预先设定的第 二组关键点特征描述以及所述方向盘区域的多个特征， 确定所述方 向盘区域中每一个 像素点属于第二组关键点的置信度； 根据所述方向盘区域中每一个像素点属于第 二组关键点的置信度， 确定所述方向盘区 域内包括的第二组关键点的数量。 8.根据权利要求2或3所述的方法， 其特征在于， 在确定所述待检测图像的安全带状态 之后， 所述方法还 包括： 结合在所述待检测图像之前获取到的连续设定数量个图像的安全带状态， 以及所述待 检测图像的安全带状态， 确定当前驾驶室内是否存在未系安全带 行为； 在确定所述待检测图像的手扶方向盘 状态之后， 所述方法还 包括： 结合在所述待检测图像之前获取到的连续设定数量个图像的手扶方向盘状态， 以及所 述待检测图像的手扶方向盘 状态， 确定当前驾驶室内是否存在手脱离方向盘的行为。 9.一种驾驶违规行为的检测装置， 其特 征在于， 包括： 获取单元， 用于获取待检测图像； 处理单元， 被配置为执 行： 根据预先存储的驾驶区域的位置信息， 从所述待检测图像中确定所述驾驶区域； 通过对所述驾驶区域进行特征提取， 确定所述驾驶区域内的第一组关键点的位置； 所 述第一组关键点的位置用于表征驾驶员系安全带的区域； 根据所述第一组关键点的位置， 从所述驾驶区域中识别出安全带区域； 根据所述安全带区域， 确定所述待检测图像的安全带状态； 所述安全带状态用于指示 所述待检测图像中是否存在未系安全带 行为。 10.根据权利要求9所述的装置， 其特 征在于， 所述处 理单元， 还用于： 通过对所述驾驶区域进行特征提取， 确定所述驾驶区域内的第二组关键点的位置； 所 述第二组关键点的位置用于指示所述驾驶员的手所处的区域； 根据所述第 二组关键点的位置和预先存储的方向盘区域的位置信 息， 确定所述驾驶员 的手与所述方向盘区域的中心点之 间的距离； 所述方向盘区域为所述驾驶区域中包括方向 盘的区域； 基于所述距离和从所述方向盘区域提取到的特征， 确定所述待检测图像的手扶方向盘 状态； 所述待检测图像的手扶方向盘状态用于指示所述待检测图像中是否存在手脱离方向 盘的行为。 11.根据权利要求10所述的装置， 其特 征在于， 所述装置还 包括存储单元， 所述获取单元， 还用于获取所述驾驶室的背景图像； 所述背景图像为在所述驾驶室内 无驾驶员状态下获取的图像； 所述处理单元， 还用于采用预先训练好的神经网络模型对所述背景图像进行特征识 别， 确定所述背景图像中的所述驾驶区域和所述方向盘区域的位置信息；权　利　要　求　书 2/3 页 3 CN 115482520 A 3