(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677490.5 (22)申请日 2021.12.31 (71)申请人 山东师范大学 地址 250014 山东省济南市历下区文化 东 路88号 (72)发明人 王强　张化祥　赵平　候红鸽　 王祝华　杨恒　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 朱忠范 (51)Int.Cl. G06V 20/56(2022.01) G06T 7/246(2017.01) G06T 7/277(2017.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于关键点和卡尔曼滤波的视频预测 方法及系统 (57)摘要 本发明属于自动驾驶中视频数据帧的预测 领域， 提供了一种基于关键点和卡尔曼滤波的视 频预测方法及系统， 首先， 通过训练一个神经网 络对搜集到的数据进行特征提取， 将提取到的特 征转化为 关键点； 其次， 将关键点进行特征重构， 并将重构出来的特征与初始 图像帧的特征一起 通过另一个神经网络进行图像重构， 通过优化损 失函数， 获得特征提取网络与图像重构网络。 最 后， 利用过程一种提取的 图像关键点， 结合RNN模 型获得的图像先验信息， 利用卡尔曼滤波对未来 数据帧进行预测， 并将预测图像与真实图像进行 比较， 优化相应损失函数训练RN N模型。 权利要求书2页 说明书5页 附图3页 CN 114495037 A 2022.05.13 CN 114495037 A 1.一种基于关键点和卡尔曼 滤波的视频 预测方法， 其特 征在于， 包括如下步骤： 获取原始自动驾驶过程中的多维数据； 根据多维数据和训练后的图像特征提取模型进行图像的特征提取， 根据提取到的特征 获取图像的多维度关键点信息； 根据多维度关键点信息， 结合预测模型估计获得的图像先验信息， 利用卡尔曼滤波对 当前数据帧预测， 得到下一个数据帧预测图像， 根据预测图像预测标识对象接下来的行为。 2.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法， 其特征在于， 在 提取到的特征获取图像的多维度关键点信息后， 将多维度关键点信息渲染为低 维数据， 并 结合原始数据对得到的低维数据通过图像重构模型进行图像重构。 3.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法， 其特征在于， 所 述特征提取模型包括多个卷积神经网络模块， 每个卷积神经网络模块包括： 批标准化、 卷积 层、 池化层以及非线性激活层。 4.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法， 其特征在于， 提 取多维度关键点信息进 行恢复图像 关键点， 所述恢复图像关键点的方法为:通过高斯映射， 将关键点进行渲染。 5.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法， 其特征在于， 图 像先验信息的获取 过程包括： 在观测到当前帧图像之前， 将历史信息融入到RN N模型中， 获取当前帧的先验信息； 结合当前帧图像信息与先验信息， 利用贝叶斯估计， 求得 预测模型的后验 估计； 由后验估计及当前帧关键点信息， 利用卡尔曼 滤波预测下一帧的关键点信息 。 6.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法， 其特征在于， 所 述预测模型的损失函数为： 其中λ1, λ2, λ3为超参， L oss_kl为相对熵损失， Lsep为分离损失， Lsparse为稀疏损失。 7.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法， 其特征在于， 在 获取原始数据后进行 数据的预处 理， 对数据进行随机打乱操作。 8.一种基于关键点和卡尔曼 滤波的视频 预测系统， 其特 征在于， 包括： 数据获取模块， 被 配置为： 获取原 始自动驾驶过程中的多维数据； 关键点信息提取模块， 被配置为： 根据多维数据和训练后的图像特征提取模型进行图 像的特征提取， 根据提取到的特 征获取图像的多维度关键点信息； 视频图像预测模块， 被配置为： 根据多维度关键点信息， 结合预测模型估计获得的图像 先验信息， 利用卡尔曼滤波对当前数据帧预测， 得到下一数据帧预测图像， 根据预测图像预 测标识对象接下来的行为。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的一种基于 关键点和卡尔曼滤波的视频预测方法中 的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的一权　利　要　求　书 1/2 页 2 CN 114495037 A 2种基于关键点和卡尔曼 滤波的视频 预测方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114495037 A 3