(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210549178.6 (22)申请日 2022.05.20 (71)申请人 优刻得科技股份有限公司 地址 200082 上海市杨 浦区隆昌路619号城 市概念10号楼B座 (72)发明人 钱肖康　陈叶飞　王达侃　胡煜涛　 刘利卉　 (74)专利代理 机构 深圳中创智财知识产权代理 有限公司 4 4553 专利代理师 李春林　吴英 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/70(2022.01) G06N 3/04(2006.01) G06N 5/04(2006.01) G08B 21/02(2006.01) (54)发明名称 基于图像识别的高空抛物预警方法、 装置及 系统 (57)摘要 本发明涉及图像识别技术领域， 公开了一种 基于图像识别的高空抛物预警方法、 装置及系 统。 该方法包括： 通过网络摄像机实时获取RTSP 图像流； 将RTSP图像流中的相邻两帧图像进行图 像归一化处理， 得到三维监控数据； 将三维监控 数据输入改进的3D UNet模型进行推理， 输 出与原 图像尺寸相同的单通道 图像以及各像素是否对 应为高空抛物体的概率值； 确定单通道图像中是 否包含高空抛物 体以及高空抛物体的位置区域； 若包含高空抛物 体， 则生成高空抛物体的实时位 置预警框、 发送高空抛物预警信息并实时动态输 出。 本发明能在不替换旧款摄像头的基础上接入 所有摄像头的视频影像， 并对其附加人工智能分 析算法， 实现高空抛物预警。 权利要求书3页 说明书14页 附图7页 CN 115205774 A 2022.10.18 CN 115205774 A 1.一种基于图像识别的高空抛物预警方法， 应用于 高空抛物预警系统， 其特征在于， 所 述高空抛物预警系统包括： 网络摄像机、 路由器和高空抛物预警装置， 所述网络摄像机面向 高楼外立面且视屏 画面取景覆盖被监控高楼外立面， 所述网络摄像机和所述高空抛物预警 装置通过 所述路由器建立 通信连接， 所述基于图像识别的高空抛物预警方法包括： 所述高空抛物预警装置通过 所述网络摄 像机实时获取RTS P图像流； 将所述RTS P图像流中的相邻两帧图像进行图像归一 化处理， 得到三维监控数据； 将所述三维监控数据输入改进的3DUNet模型进行推理， 输出与原图像尺寸相同的单通 道图像以及各像素 是否对应为高空抛物体的概 率值； 基于预置概率阈值， 确定所述单通道图像中是否包含高空抛物体以及高空抛物体的位 置区域； 若所述单通道图像中包含高空抛物体， 则对所述位置区域进行图形学操作， 得到高空 抛物体的实时位置预警框； 发送高空抛物预警信息， 并将当前高空抛物体的实时位置预警框在所述RTSP图像流中 实时动态输出。 2.根据权利 要求1所述的基于图像识别的高空抛物预警方法， 其特征在于， 所述3DUNet 模型包括： 编 码器和解码 器， 所述编 码器包括至少四层子编 码器， 各子编 码器包括多个3D卷 积层， 上一层子编码器与下一层子编码器之间通过下采样池化层连接， 上一层子编码器的 下采样结果作为下一层子编码器的输入； 所述解码器包括至少四层子解码器， 各子解码器包括多个3D卷积层， 下一层子解码器 与上一层子解码 器之间通过上采样池化层连接， 下一层子解码器的上采样结果作为上一层 子解码器的输入； 在所述解码器 中， 各层子解码器的上采样结果与 具有相同分辨率的子编码器的输出进 行连接后作为对应上一层子解码器的输入， 最后一层子解码器还包括输出层， 所述输出层 包括Sigmo id层， 用于将输出概 率限制在0～1范围内； 其中， 所述子编码器和所述子解码器分别采用ResNet18结构， 且在各所述ResNet18结 构的残差块中增 加TSM模块。 3.根据权利要求2所述的基于图像识别的高空抛物预警方法， 其特征在于， 所述将所述 三维监控数据输入改进的3DUNet模 型进行推理， 输出与 原图像尺 寸相同的单通道图像以及 各像素是否对应为高空抛物体的概 率值包括： 将所述三维监控数据输入改进的3DUNet模型的编码器， 并用3x3卷积核对所述输入图 像信息进行图像特 征提取处 理， 得到第一特 征图； 将所述第一特征图输入第一下采样池化层进行下采样， 并用3x3卷积核对所述第一特 征图的下采样结果进行 特征提取， 得到第二特 征图； 将所述第二特征图输入第二下采样池化层进行下采样， 并用3x3卷积核对所述第二特 征图的下采样结果进行 特征提取， 得到第三特 征图； 将所述第三特征图输入第三下采样池化层进行下采样， 并用3x3卷积核对所述第三特 征图的下采样结果进行 特征提取， 得到第四特 征图； 将所述第四特征图输入第四下采样池化层进行下采样， 并用3x3卷积核对所述第 四特 征图的下采样结果进行 特征提取， 得到第五特 征图；权　利　要　求　书 1/3 页 2 CN 115205774 A 2将所述第五特征图输入改进的3DUNet模型的解码器的第一上采样池化层进行上采样， 并用3x3卷积核对所述第五特征图的上采样结果与所述第四特征图进行特征提取， 得到第 六特征图； 将所述第六特征图输入第二上采样池化层进行上采样， 并用3x3卷积核对所述第六特 征图的上采样结果与所述第三特 征图进行 特征提取， 得到第七特 征图； 将所述第七特征图输入第三上采样池化层进行上采样， 并用3x3卷积核对所述第七特 征图的上采样结果与所述第二特 征图进行 特征提取， 得到第八特 征图； 将所述第八特征图输入第四上采样池化层进行上采样， 并用3x3卷积核对所述第八特 征图的上采样结果与所述第一特征图进 行特征提取， 得到第九特征图， 用1x1卷积核的所述 输出层对所述第九特征图进行特征提取， 得到与原图像尺寸相同的单通道图像以及各像素 是否对应为高空抛物体的概 率值。 4.根据权利要求1所述的基于图像识别的高空抛物预警方法， 其特征在于， 所述基于预 置概率阈值， 确定所述单通道图像中是否包含高空抛物体以及高空抛物体的位置区域包 括： 依次遍历所述单通道图像的各部分像素， 并判断当前遍历像素对应为高空抛物体的概 率值是否大于或等于预设概 率阈值； 若是， 则将当前遍历像素的像素值置1并归为所述单通道图像的前景类， 否则将当前遍 历像素的像素值置0并归为所述单通道图像的背 景类， 得到前景为白色、 背景为黑色的二值 图像。 5.根据权利要求4所述的基于图像识别的高空抛物预警方法， 其特征在于， 若所述单通 道图像中包含高空抛物体， 则对所述位置区域进行图形学操作， 得到高空抛物体的实时位 置预警框包括： 若所述单通道图像中包含高空抛物体， 则依次遍历所述二值图像的前景部分的各像素 点信息； 若当前遍历像素点与相邻邻域内的像素点灰度值一致， 则判定该像素点不属于所述二 值图像的前 景轮廓， 否则属于所述 二值图像的前 景轮廓； 输出所述二值图像的前 景轮廓， 得到高空抛物体的实时位置预警框 。 6.根据权利要求1所述的基于图像识别的高空抛物预警方法， 其特征在于， 在所述发送 高空抛物预警信息， 并将当前高空抛物体的实时位置预警框在所述 RTSP图像流中实时动态 输出之后， 还 包括： 实时记录所述高空抛物事件的基本信 息以及实时位置预警框， 并生成高空抛物事件上 传云端服 务器。 7.一种基于图像识别的高空抛物预警装置， 其特 征在于， 所述高空抛物预警装置包括： 视频流获取模块， 用于通过网络摄 像机实时获取RTS P图像流； 数据处理模块， 用于将所述RTSP图像流中的相邻两帧图像进行图像归一化处理， 得到 三维监控数据； 模型推理模块， 用于将所述三维监控数据输入改进 的3DUNet模型进行推理， 输出与原 图像尺寸相同的单通道图像以及各像素 是否对应为高空抛物体的概 率值； 位置确定模块， 用于基于预置概率阈值， 确定所述单通道图像中是否包含高空抛物体权　利　要　求　书 2/3 页 3 CN 115205774 A 3