(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210966159.3 (22)申请日 2022.08.12 (65)同一申请的已公布的文献号 申请公布号 CN 115049968 A (43)申请公布日 2022.09.13 (73)专利权人 武汉东信同邦信息技 术有限公司 地址 430073 湖北省武汉市东湖新 技术开 发区光谷大道特1号国际企业中心三 期2栋2层0 3室 （自贸区武汉片区） (72)发明人 沈振冈　龙思敏　周斌　胡波　 李艳红　 (74)专利代理 机构 武汉智权专利代理事务所 (特殊普通 合伙) 42225 专利代理师 余浩 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01)G06V 10/56(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111767923 A,2020.10.13 CN 112561840 A,2021.0 3.26 CN 105959707 A,2016.09.21 CN 114387440 A,202 2.04.22 CN 112364168 A,2021.02.12 US 8194101 B1,2012.0 6.05 US 201404 4404 A1,2014.02.13 刘瑾.监控视频裁 剪方法研究. 《中国优秀硕 士学位论文全文数据库信息科技 辑》 .2010,(第 09期), 审查员 林浩 (54)发明名称 动态规划视频自动裁剪方法、 装置、 设备及 存储介质 (57)摘要 本发明公开了一种动态规划视频自动裁剪 方法、 装置、 设备及存储介质， 所述方法通过对源 视频进行检测， 获得每帧视频中的目标内容及对 应的图像特征、 颜色直方图和灰度图； 运用对数 线性模型将图像特征、 颜色直方图和灰度图进行 融合， 获得视频帧数据； 根据视频帧数据生成目 标视频序列， 运用动态规划中的最短关键路径寻 找目标视频序列中的最佳裁剪 路径； 根据最佳裁 剪路径对源视频进行裁剪， 获得视频裁剪结果， 能够避免裁剪内容丢失， 不需要频繁移动裁剪窗 口， 保证了裁剪后的视频平滑流畅， 保证了裁剪 视频内容的合理性， 避免了直接选取检测区域裁 剪而造成的轨迹不连续现象， 满足了观众视觉审 美要求， 提升了视频自动裁剪的速度和 效率， 提 升了用户体验。 权利要求书3页 说明书15页 附图6页 CN 115049968 B 2022.11.11 CN 115049968 B 1.一种动态规划视频自动裁剪方法， 其特征在于， 所述动态规划视频自动裁剪方法包 括： 对源视频进行检测， 获得每帧视频中的目标内容及对应的图像特征、 颜色直方图和灰 度图； 运用对数线性模型将所述图像特征、 所述颜色直方图和所述灰度图进行融合， 获得视 频帧数据； 根据所述视频帧数据生成 目标视频序列， 运用动态规划中的最短关键路径寻找所述目 标视频序列中的最佳裁 剪路径； 根据所述 最佳裁剪路径对所述源视频进行裁 剪， 获得视频裁 剪结果； 其中， 所述根据所述视频帧数据生成目标视频序列， 运用动态规划中的最短关键路径 寻找所述目标视频序列中的最佳裁 剪路径， 包括： 根据预设约束条件设置 裁剪窗口面积和帧窗口距离； 根据所述裁剪窗口面积和所述帧窗口距离对所述视频帧数据进行筛选， 获得符合条件 的目标视频序列； 运用动态规划中的最短 关键路径寻找所述目标视频序列中的最佳裁 剪路径； 其中， 所述运用动态规划中的最短关键路径寻找所述目标视频序列中的最佳裁剪路 径， 包括： 根据动态规划将所述目标视频序列的裁剪窗口从源位置到目标位置的动态过渡轨迹 重构为最短关键路径； 获取所述目标视频序列的裁剪窗口的有向边权重对应的有向加权图， 获取所述有向加 权图中各对应边的过渡因子； 根据所述过渡因子确定所述最短关键路径的视觉惩罚函数， 获取所述目标视频序列的 局部帧数据， 根据所述局部帧数据计算各目标位置的全局帧数据； 根据所述视 觉惩罚函数和所述全局帧数据确定所述目标视频序列中的最佳裁 剪路径； 所述视觉惩罚函数为： 其中， 为每帧中的显著信息丢失， 为相邻帧间裁剪窗口的过渡 偏移， 是每帧中左上角的节点位置， 是表示所有裁剪窗口的动态轨迹， 是显 著信息丢失和裁 剪窗口偏移之间的平衡参数， n表示总帧数。 2.如权利要求1所述的动态规划视频自动裁剪方法， 其特征在于， 所述对源视频进行检 测， 获得每帧视频中的目标内容及对应的图像特 征、 颜色直方图和灰度图， 包括： 对源视频进行语义处 理， 获得视频序列； 对所述视频序列进行边界框检测， 确定所述视频序列的边界框大小是否符合目标屏 幕； 在所述边界框大小不符合目标屏幕时， 从所述视频序列中获得用户感兴趣区域 位置； 根据所述用户感兴趣区域位置确定待裁剪范围， 从所述待裁剪范围中获得每帧视频中权　利　要　求　书 1/3 页 2 CN 115049968 B 2的目标内容及对应的图像特 征、 颜色直方图和灰度图。 3.如权利要求1所述的动态规划视频自动裁剪方法， 其特征在于， 所述运用对数线性模 型将所述图像特 征、 所述颜色直方图和所述灰度图进行融合， 获得视频帧数据， 包括： 运用对数线性模型获取所述颜色直方图对应的颜色直方图值和所述灰度图对应的灰 度值； 将所述图像特征、 所述颜色直方图值和所述灰度值通过下式进行融合， 获得视频帧数 据： 其中， 为每帧图像的颜色直方图值， 为每帧图像的灰度值， 为每帧图像的特征， 为 三者的均值， 为第t帧的局部综合理论值或期望频数值， 为视频 帧数据。 4.如权利要求1所述的动态规划视频自动裁剪方法， 其特征在于， 所述根据预设约束条 件设置裁剪窗口面积和帧窗口距离， 包括： 根据预设约束条件通过 下式设置 裁剪窗口面积和帧窗口距离： 其中d( , )是距离度量函数, 表示相邻两帧间的裁剪窗口的距离,S(W)用来 计算窗口W的面积大小， 表示相邻两帧间裁 剪窗口的面积差异。 5.如权利要求1所述的动态规划视频自动裁剪方法， 其特征在于， 所述根据所述最佳裁 剪路径对所述源视频进行裁 剪， 获得视频裁 剪结果， 包括： 获取所述最佳裁剪路径对应的预设平滑 因子， 根据 所述预设平滑 因子找到所述源视频 中的最佳平 滑序列； 根据所述 最佳平滑序列生成视频裁 剪结果。 6.一种动态规划视频自动裁剪装置， 其特征在于， 所述动态规划视频自动裁剪装置包 括： 检测模块， 用于对源视频进行检测， 获得每帧视频中的目标内容及对应的图像特征、 颜 色直方图和灰度图； 融合模块， 用于运用对数线性模型将所述图像特征、 所述颜色直方图和所述灰度图进 行融合， 获得视频帧数据； 路径生成模块， 用于根据所述视频帧数据生成目标视频序列， 运用动态规划中的最短 关键路径寻找所述目标视频序列中的最佳裁 剪路径； 裁剪模块， 用于根据所述 最佳裁剪路径对所述源视频进行裁 剪， 获得视频裁 剪结果； 所述路径生成模块， 还用于根据预设约束条件设置裁剪窗口面积和帧窗口距离； 根据 所述裁剪窗口面积和所述帧窗口距离对所述视频帧数据进 行筛选， 获得符合条件的目标视 频序列； 运用动态规划中的最短 关键路径寻找所述目标视频序列中的最佳裁 剪路径； 所述路径生成模块， 还用于根据动态规划将所述目标视频序列的裁剪窗口从源位置到权　利　要　求　书 2/3 页 3 CN 115049968 B 3