(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658836.7 (22)申请日 2021.12.3 0 (66)本国优先权数据 202110385022.4 2021.04.09 CN (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 胡碧昕　王琳　郑小超　 (74)专利代理 机构 深圳翼盛智成知识产权事务 所(普通合伙) 44300 专利代理师 李玉婷 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/16(2022.01)G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于异常行为的告警方法、 装置和电子 设备 (57)摘要 本申请实施例公开了一种基于异常行为的 告警方法、 装置和电子设备； 本申请实施例可 以 获取交通工具中对象的至少一种视频类型的监 测视频； 然后利用多个不同的异常行为检测模型 对至少一种视频类型的监测视频中的对象进行 异常行为检测， 得到每个异常行为检测模型输出 的异常行为检测结果； 获取交通工具当前的场景 信息， 根据场景信息对异常行为检测结果进行筛 选， 根据筛选后结果对异常行为检测结果进行信 息整合处理， 得到目标异常对象和目标异常对象 的异常行为集； 当异常行为集包括与预设告警行 为类型相同的目标异常行为类型时， 确定目标行 为类型对应的告警方式， 并基于告警方式进行告 警处理， 从而提高了对交通工具上对象的异常行 为识别的准确性。 权利要求书3页 说明书25页 附图7页 CN 115205724 A 2022.10.18 CN 115205724 A 1.一种基于异常行为的告警方法， 其特 征在于， 包括： 获取交通工具中对象的至少一个视频类型的监测视频； 利用多个不同的异常行为检测模型对所述至少一个视频类型的监测视频中的对象进 行异常行为检测， 得到每个异常行为检测模型输出的异常行为检测结果， 其中， 一个异常行 为检测模型对应一个类型的异常行为检测， 所述异常行为检测模型包括温度异常检测模 型、 推搡打架检测模型、 抢 夺方向盘 检测模型和对象分布密度异常检测模型； 获取交通工具当前的场景信 息， 根据所述场景信 息对异常行为检测模型的异常行为检 测结果进 行筛选， 根据筛选后结果对所述目标异常行为检测模型的异常行为检测结果进 行 信息整合处理， 得到目标异常对 象和所述 目标异常对 象的异常行为集， 所述异常行为集包 括检测到的所述目标异常对象的至少一个异常行为； 当所述异常行为集包括与 预设告警行为类型相同的目标异常行为类型时， 确定所述目 标行为类型对应的告警方式， 所述告警方式包括语音警告和联动报警； 基于所述告警方式进行告警处 理。 2.如权利要求1所述的基于异常行为的告警方法， 其特征在于， 利用多个不同的异常行 为检测模型对所述至少一个视频类型的监测视频中的对象进 行异常行为检测， 得到每个异 常行为检测模型输出的异常行为检测结果， 包括： 确定当前待检测监测视频的类型； 根据当前待检测监测视频的类型确定当前待检测监测视频对应的当前异常行为检测 模型； 利用当前异常行为检测模型对当前待检测监测视频中的对象进行异常行为检测， 得到 当前异常行为检测模型输出的异常行为检测结果， 从而得到每个异常行为检测模型输出的 异常行为检测结果。 3.如权利要求2所述的基于异常行为的告警方法， 其特征在于， 所述当前待检测监测视 频包括热成像监测视频， 所述当前异常行为检测模型包括温度异常检测模型； 所述利用当前异常行为检测模型对当前待检测监测视频中的对象进行异常行为检测， 得到当前异常行为检测模型输出的异常行为检测结果， 包括： 对所述热成像监测视频进行分帧处 理， 得到所述热成像监测视频的多个视频帧； 利用所述温度异常检测模型对每个视频帧中对象的区域进行识别， 得到每个视频帧的 目标检测区域； 利用所述温度异常检测模型对所述目标检测区域的对象进行温度异常检测， 得到所述 温度异常检测模型输出的温度异常检测结果。 4.如权利要求3所述的基于异常行为的告警方法， 其特征在于， 利用所述温度异常检测 模型对所述目标检测区域的对象进行温度异常检测， 得到所述基于热成像的检测模型输出 的温度异常检测结果， 包括： 利用所述温度异常检测模型对所述目标检测区域的图像进行特征提取， 得到所述目标 检测区域对应的热成像特 征信息； 利用所述温度异常检测模型对所述目标检测区域的热成像特征信 息进行融合处理， 得 到融合后特 征信息； 利用所述温度异常检测模型对所述融合后特征信 息进行判别处理， 并根据判别结果输权　利　要　求　书 1/3 页 2 CN 115205724 A 2出所述温度异常检测结果。 5.如权利要求2所述的基于异常行为的告警方法， 其特征在于， 所述当前待检测监测视 频包括常规 监测视频， 所述当前异常行为检测模型包括推搡打架检测模型； 所述利用当前异常行为检测模型对当前待检测监测视频中的对象进行异常行为检测， 得到当前异常行为检测模型输出的异常行为检测结果， 包括： 对所述常规 监测视频进行分帧处 理， 得到所述常规 监测视频的多个视频帧； 利用所述推搡打架检测模型对每个视频帧中对象的区域进行识别， 得到每个视频帧的 目标检测区域； 利用所述推搡打架检测模型对所述目标检测区域进行推搡打架检测， 得到所述推搡打 架检测模型输出的推搡打架检测结果。 6.如权利要求3或5所述的基于异常行为的告警方法， 其特 征在于， 所述方法还 包括： 当所述异常行为检测模型检测到所述目标检测区域中存在对象的行为属于异常行为 时， 确定目标异常对象； 利用预设人脸识别模型识别所述目标异常对象， 得到所述目标异常对象的属性信息； 利用监测视频和定位技术， 确定所述目标异常对象的运动轨迹和所述交通工具的位置 信息。 7.如权利要求1所述的基于异常行为的告警方法， 其特征在于， 所述基于所述告警方式 进行告警处 理， 包括： 向所述交通工具发送语音告警触发指令， 以使得所述交通工具向所述目标异常对象发 出语音警告； 获取目标异常对象的属性信息、 运动轨 迹和所述交通工具的位置信息； 将所述目标异常对象的属性信 息、 所述目标异常对象的运动轨迹和所述交通工具的位 置信息进行 上报告警。 8.一种基于异常行为的告警装置， 其特 征在于， 包括： 获取单元， 用于获取交通工具中对象的至少一种视频类型的监测视频； 检测单元， 用于利用多个不同的异常行为检测模型分别对所述监测视频中的对象进行 异常行为检测， 得到每个异常行为检测模型输出的异常行为检测结果， 其中， 一个异常行为 检测模型对应一种类型 的异常行为检测， 所述异常行为检测模型包括温度异常检测模型、 推搡打架检测模型、 抢 夺方向盘 检测模型和对象分布密度异常检测模型； 整合处理单元， 用于获取交通工具当前的场景信息， 根据场景信息对异常行为检测模 型的异常行为检测结果进 行筛选， 根据筛选后结果对目标异常行为检测模 型的异常行为检 测结果进行信息整合处理， 得到目标异常对 象和目标异常对 象的异常行为集， 异常行为集 包括检测到的目标异常对象的至少一个异常行为； 确定单元， 用于当所述异常行为集包括与 预设告警行为类型相同的目标异常行为类型 时， 确定所述目标 行为类型对应的告警方式， 所述告警方式包括语音警告和联动报警； 告警处理单元， 用于基于所述告警方式进行告警处 理。 9.一种电子设备， 其特征在于， 包括存储器和 处理器； 所述存储器存储有应用程序， 所 述处理器用于运行所述存储器内的应用程序， 以执行权利要求1至7任一项所述的基于异常 行为的告警方法中的操作。权　利　要　求　书 2/3 页 3 CN 115205724 A 3