(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653612.7 (22)申请日 2021.12.3 0 (71)申请人 国网河南省电力公司驻马店供电公 司 地址 463000 河南省驻马店市解 放路西段 (72)发明人 李健　万涛　胡可　王燕　衡英明　 刘锋锋　郭锐　田耀东　孙冰清　 吴勇　马锴　陈旭　王坦　韩涵　 张萌　 (74)专利代理 机构 郑州图钉专利代理事务所 (特殊普通 合伙) 41164 专利代理师 郭一路 (51)Int.Cl. G06V 40/20(2022.01) G06T 17/00(2006.01)G06T 7/246(2017.01) G06T 3/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G08B 3/10(2006.01) G08B 21/02(2006.01) (54)发明名称 防人身伤害报警预控 装置 (57)摘要 本发明涉及防人身伤害报警预控装置， 它包 括人体特征识别系统和区域入侵探测系统， 人体 特征识别系统包括三维视觉传感器和人体特征 识别装置， 区域入侵探测系统包括电压调节控制 装置、 语音数控装置和断路器， 本发明具有划分 工作范围、 入侵实时监测、 构建三维场景、 降低人 身伤害的优点。 权利要求书8页 说明书17页 附图4页 CN 114495263 A 2022.05.13 CN 114495263 A 1.防人身伤害报警预控装置， 它包括人体特征识别系统和区域入侵探测系统， 其特征 在于： 所述的人体特征识别系统包括三维视觉传感器和人体特征识别装置， 所述的区域入 侵探测系统包括电压调节控制装置、 语音数控 装置和断路器。 2.如权利要求1所述的防人身伤害报 警预控装置， 其特征在于： 所述的区域入侵探测系 统将工作范围划分为 三个区域， 分别为： 设备工作区域、 危险区域、 警告区域。 3.如权利要求1所述的防人身伤害报 警预控装置， 其特征在于： 所述的人体特征识别装 置采用基于骨骼关键点检测的深度神经网络算法， 自动识别人体骨骼关键点， 以此来判别 动作类型， 所述的骨骼关键点检测技 术包括以下步骤： 步骤1)： 人体检测； 通过相关算法自动查找图像 中是否包含人体图像， 正确地检测处人 体图像是 人体骨骼关键点检测的前提条件； 步骤2)： 图像预处理； 主要是为了减小图像的噪音， 包括人体骨骼关键点相应部分图像 的增强以及归一 化等工作； 步骤3)： 人体骨骼关键点特征提取； 主要是提取人体骨骼关键点图像不变性特征， 获取 更加有效的人体骨骼关键点特征信息， 特征提取的好坏是影响人体骨骼关键点检测准确度 的关键因素； 步骤4)： 人体骨骼关键点检测； 主要直接从彩色图像中预测出所有的人体骨骼关键点 的响应图， 其中全身模型中有14个人体骨骼关键点的响应图， 半身模 型中有9个人体骨骼关 键点的响应图； 所述的基于骨骼关键点检测的深度神经网络算法采用基于Convolutional  Pose  Machines的人体骨骼关键点检测方法， 具体为： 把图片中第q个(q的取值范围为0～14)人体 骨骼关键点的像素位置表示为Yq∈U∈R2,其中U是一张图片中所有(x,y)像素位置的集合， 目的是预测所有Q个人体骨骼关键点的位置Y＝(Y1,Y2,...,Yq)； 姿势机器由一系列多级预 测因子gs(·)组成， 这些预测因子被训练用来预测每个层次中每个人体骨骼关键点的位 置， 其中vu表示在图片 位置u处提取的特征图， 对于每一个stages∈{1， 2， ...,S},都有一个 多分类器gs， 根据vu来预测每一个人体骨骼 关键点的响应图Yq＝u， stage s(s＝ 1)应该产生下列的响应值： 其中， 是由分类器g1在stage s(s＝1)图片位置u处预测的分数， 在图像 中， 表示任意一处u＝(x,y)s， 第q个关键点预测的响应 值为 其中w和h分别表示 图像的宽度和高度， 在接下来的stages里， gs分类根据图像数据的特征 和来自分类器gs‑1的相邻 关键点的上 下文信息对， 每一个关键点Yq＝u， 进行预测产生相应的响应值：权　利　要　求　书 1/8 页 2 CN 114495263 A 2其中Fs＞1(·)代表从真值ds‑1形成的特征图， 在每一个stage计算的真值对每一个关键 点的坐标提供了一个越来越精确的预测， 并且允许后续stage的图像特征v ′u′与stage s(s ＝1)中使用的图像特征v1不同， 对于所有的stages(v ′＝v)， gs(·)可以映射处前一stage的 预测真值对现stage预测真值的影响， 用于捕捉所有stage的上下文信息， CPMs是一个在 MPII， LSP和FLIC等人体骨骼关键点检测数据集上进行单人人体骨骼关键点检测的卷积神 经网络， 该网络使用CNN进 行人体骨骼关键点检测， 它们使用顺序化的卷积架构来表达空间 信息和纹理信息， 顺序化的卷积架构在网络 设计上表现为多个 stage， 为了避免过深网络产 生梯度消失的问题， 每一个st age都有监督训练的部分， 第一个stage使用原始图片作为输 入， 后面st age使用前一stage里的特征图作为输入， 主要为了融合空间信息， 、 纹理信息和 中心约束， 另外， 同一个卷积架构同时使用多个尺度处理输入的特征图和响应图， 既能保证 精度， 又考虑了各个人体骨骼关键点之间的远近距离关系。 4.如权利要求1所述的防人身伤害报 警预控装置， 其特征在于： 所述的三维视觉传感器 采用单目视 觉的同时三维场景构建和定位 算法， 具体为： A1)： 摄像机内参量标定； 理想情况下， 摄像机符合线性模型， 摄像机内参量由矩阵K表 示： 其中fx和fy分别以水平和垂直像素单位表示的焦距长度， (u0,v0)为光轴与图像平面的 交点， γ为 倾斜因子； 一般摄 像机均存在一定的成像畸变， 可表示 为： Xd＝(1+kc1r2+kc2r4)Xn 其中Xd为实际成像的归一化坐标， Xn＝[x y]T为线性摄像机模型下的归一化坐标， r2＝ x2+y2， kc1、 kc2为非线性畸变系数； A2)： 特征点跟踪； 为降低图像间的误匹配并且加快匹配速度， 首先在图像中选取易于 匹配的特征点， 然后在下一帧图像中该特征点位置附近的区域内搜索与之最相似的位置， 实现特征跟踪算法， 借助视频序列特征点的跟踪， 可以搞笑实现大视角变化下图像对特征 点的匹配； A3)： 关键帧选取； 从视频序列中抽取关键帧， 场景重建、 摄像机位姿估计均在关键帧进 行， 具体为： a1)： 视频序列中的第一帧必为关键帧I1； a2)： 预设阈值m1， 如果当前帧中与I1公共特征点个数首 次低于m1时， 该帧为第二关键帧 I2； a3)： 假设当前找到N(N≥2)个关键帧， 令P1(k)为第k帧和IN中公共特征点的个数， P2(k) 为第k帧和IN‑1中公共特征点的个数， 如果满足条件[P1(k)＜m1∧P1(k‑1)≥m1]∨[P2(k)＜m2 ∧P2(k‑1)≥m2]， 则IN+1＝k， 其中m2为以预设阈值， 以上规则可在跟踪特征点的同时得到关 键帧位置， 无需额外 运算(但需注意的是： 若m1和m2过大则导致两帧间距较小， 无法克服估 计权　利　要　求　书 2/8 页 3 CN 114495263 A 3