(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210882783.5 (22)申请日 2022.07.26 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 金立左　屠实　马游　金星　肖瑶　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 薛雨妍 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 手机盗拍行为在线自动识别告警方法 (57)摘要 本发明公开了一种手机盗拍行为在线自动 识别告警方法， 以计算机显示屏上内嵌微型摄像 头拍摄视频为信息载体， 使用深度神经网络模 型、 模型轻量化和模型部署技术， 实现手机盗拍 行为智能化识别， 同时保证模型在边缘计算模块 上快速稳定运行； 本发明将先进人工智能算法用 于工作人员使用手机盗拍屏幕输出信息违规行 为的自动识别告警， 是人工智能技术在信息安全 领域的高价值落地应用， 对推动智慧监控技术发 展具有十分重要的现实指导 意义。 权利要求书3页 说明书6页 附图3页 CN 115205786 A 2022.10.18 CN 115205786 A 1.手机盗拍行为在线自动识别告警方法， 其特征在于： 以计算机显示屏上内嵌微型摄 像头拍摄视频为信息载体， 使用深度神经网络模型、 模型轻量化和模 型部署技术， 实现手机 盗拍行为智能化识别， 同时保证模型在边缘计算模块上快速稳定运行； 具体包括如下主要 步骤： 步骤1， 视频采集留档及送检； 步骤2， 手机检测模型模块 化设计； 步骤3， 无锚框正负 样本分配优化策略； 步骤4， 手机盗拍识别预警及模型部署； 步骤5， 监控中心推送告警并记录数据。 2.根据权利要求1所述的手机盗拍行为在线自动识别告警方法， 其特征在于： 步骤1中， 视频采集留档及送检， 该步骤分为两 部分： 步骤1.1： 屏上内嵌摄 像头采集视频并进行 预处理， 最终送检； 步骤1.2： 对处 理后的视频分段存 储。 3.根据权利要求1所述的手机盗拍行为在线自动识别告警方法， 其特征在于： 步骤2中， 手机检测模型模块 化设计， 该步骤分为 三部分： 步骤2.1： 主干网络采用深度卷积网络CSPdarknet53进行特征提取， 该网络泛化能力强 且计算复杂性 适中； 步骤2.2： 盗拍 者距离摄像机存在远近差异， 设计一种新颖的目标感知模块， 提高模型 对目标位置变化的适应力； 步骤2.3： 使用交叉聚合多尺度特征模块对第一部分输出特征进行融合， 增强模型对盗 拍姿态多变的适应力。 4.根据权利要求3所述的手机盗拍行为在线自动识别告警方法， 其特征在于： 步骤2.2： 目标感知模块， 提高模型对目标位置变化的适应力； 目标感知模块实现过程， 描述如下： 首先， 用不同尺度的卷积核提取 特征， 然后进行 特征加权， 描述如下： xsum＝α1f1(xin)+α2f2(xin)+α3f3(xin) 其中xin为输入特征， αi为权重因子， fi(·)表示用不同卷积核提取特征， 实际使用空洞 卷积， 膨胀率分别取1,2,3； 接着， 对加权特征分别进行通道注意力和空间注意力处理， 通道注意力处理， 描述如 下： 其中 表示逐点相乘， 采用平均池化AvgPool( ·)， δ为Relu函数， σ 为Sigmoid激活函 数。 空间注意力处 理， 描述如下： 其中 表示逐点相乘， 采用soft max(·)激活函数， 表示通道方向上求平均值，权　利　要　求　书 1/3 页 2 CN 115205786 A 2表示通道方向上 取最大值。 最后， 将通道 注意力和空间注意力加权融合， 描述如下： xout＝β1xCA+β2xSA+β3xsum 其中βi为加权因子； 上述目标感知模块融合了空间注意力和通道注意力， 实现了空间和通道注意力的互补 提升， 提高了模型对手机拍摄姿态变化的鲁棒 性。 5.根据权利要求3所述的手机盗拍行为在线自动识别告警方法， 其特征在于： 步骤2.3： 交叉聚合多尺度特 征融合结构设计； 首先， 将主干网络不同下采样特 征层定义 为X＝{x2,x4,x8,x16,x32}； 其次， 计算 其中φ(·)为 其中f(·)表示Conv  3×3， 步长为2， Cout＝2Cin, 表示重复f( ·)操作 次； h(2)表示Conv  1×1， Cout＝0.25Cin； g(·)表示2倍上采样,Conv  1×1,Cout＝ 0.5Cin, 表示重复g( ·)操作 次； 最后， 对每层特 征进行融合： 6.根据权利要求1所述的手机盗拍行为在线自动识别告警方法， 其特征在于： 步骤3 中， 无锚框正负 样本分配优化策略， 该步骤分为 三部分： 步骤3.1： 生成候选区域， 用无锚框目标检测方法， 特征图上每个位置只生成一个候选 区域； 步骤3.2： 确定正样本区域， 根据候选 框与真实框的I oU值确定正样本； 步骤3.3： 扩展正样本区域， 将第二部分选出的正样本周围3 ×3区域均选为正样本， 提 高正样本数量， 缓解 正负样本不平衡问题。 7.根据权利要求1所述的手机盗拍行为在线自动识别告警方法及装置， 其特征在于： 步 骤4中， 手机盗拍识别预警及模型部署， 该步骤分为四部分： 步骤4.1： 用解耦检测头完成盗拍手机检测， 将检测到手机的抓拍画面上传监控中心， 实现远程实时告警； 步骤4.2： 对训练好的模型进行剪枝处 理， 保证检测精度的前提下， 缩 减模型规模；权　利　要　求　书 2/3 页 3 CN 115205786 A 3