(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221048325 0.X (22)申请日 2022.05.05 (71)申请人 北京鉴智科技有限公司 地址 100086 北京市海淀区中关村东路1号 院8号楼十六层B1801A-2 (72)发明人 田鲲　叶云　黄冠　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/58(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/77(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 驾驶场景信息确定方法、 对象信息预测模 型 训练方法及装置 (57)摘要 本申请提供了一种驾驶场景信息确定方法、 对象信息预测模型训练方法及装置。 包括： 将目 标车辆的周视图像输入至目标对象信息预测模 型； 调用鸟瞰图特征获取层对周视图像进行处 理， 得到周视图像对应的鸟瞰图特征； 调用动态 信息预测层对鸟瞰图特征进行处理， 得到动态对 象的动态对象属性信息； 调用静态信息预测层对 鸟瞰图特征进行处理， 得到 静态对象的静态对象 属性信息； 调用对象轨迹预测层对鸟瞰图特征和 位于目标时刻之前的N个时刻的鸟瞰图特征进行 处理， 得到动态对象在未来时刻的偏移量信息； 根据动态对象属性信息、 静态对象属性信息和偏 移量信息， 确定目标车辆的驾驶场景信息。 本申 请可以减少模型推理成本， 提高模型的推理效 率。 权利要求书4页 说明书19页 附图4页 CN 114898315 A 2022.08.12 CN 114898315 A 1.一种驾驶场景信息确定方法， 其特 征在于， 包括： 将采集的目标车辆的周视图像输入至目标对象信 息预测模型； 所述目标对象信 息预测 模型包括： 鸟瞰图特 征获取层、 动态信息预测层、 静态信息预测层和对象轨 迹预测层； 调用所述鸟瞰图特征获取层对所述周视图像进行处理， 得到所述周视图像对应的鸟瞰 图特征； 调用所述动态信 息预测层对所述鸟瞰图特征进行处理， 预测得到所述周视图像 内的动 态对象的动态对象属性信息； 调用所述静态信 息预测层对所述鸟瞰图特征进行处理， 预测得到所述周视图像 内的静 态对象的静态对象属性信息； 调用所述对象轨迹预测层对所述鸟瞰图特征和位于目标时刻 之前的N个时刻的鸟瞰图 特征进行处理， 预测得到所述动态对象在未来时刻的偏移 量信息； 其中， N为正整 数， 所述目 标时刻为采集所述周视图像的时刻， 所述 N个时刻与所述目标时刻形成连续的多个时刻； 根据所述动态对象属性信息、 所述静态对象属性信息和所述偏移量信息， 确定所述目 标车辆对应的驾驶场景信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述鸟瞰图特征获取层包括： 图像编码模 块和视角变换模块， 所述调用所述鸟瞰图特征获取层对所述周视图像进行处理， 得到所述周视图像对应的 鸟瞰图特 征， 包括： 调用所述图像编码模块对所述周视图像进行编码处 理， 生成图像特 征向量； 调用所述视角变换模块对所述图像特征向量进行特征变换处理， 得到鸟瞰图视角下的 鸟瞰图特 征。 3.根据权利要求1所述的方法， 其特征在于， 所述动态信息预测层包括： 动态特征提取 模块和动态属性预测模块， 所述调用所述动态信 息预测层对所述鸟瞰图特征进行处理， 预测得到所述周视图像 内 的动态对象的动态对象属性信息， 包括： 调用所述动态特征提取模块对所述鸟瞰图特征进行特征提取处理， 得到所述动态对象 的动态对象特 征； 调用所述动态属性预测模块对所述动态对象特征进行处理， 得到所述动态对象属性信 息。 4.根据权利要求1所述的方法， 其特征在于， 所述静态信息预测层包括： 静态特征提取 模块和静态属性预测模块， 所述调用所述静态信 息预测层对所述鸟瞰图特征进行处理， 预测得到所述周视图像 内 的静态对象的静态对象属性信息， 包括： 调用所述静态特征提取模块对所述鸟瞰图特征进行特征提取处理， 得到所述静态对象 的静态对象特 征； 调用所述静态属性预测模块对所述静态对象特征进行处理， 得到所述静态对象属性信 息。 5.根据权利要求1所述的方法， 其特征在于， 所述对象轨迹预测层包括： 时序信息融合 模块、 时空状态预测模块和运动偏移预测模块，权　利　要　求　书 1/4 页 2 CN 114898315 A 2所述调用所述对象轨迹预测层对所述鸟瞰图特征和位于目标时刻 之前的N个时刻的鸟 瞰图特征进行处 理， 预测得到所述动态对象在未来时刻的偏移量信息， 包括： 调用所述 时序信息融合模块对所述鸟瞰图特征和所述N个时刻的鸟瞰图特征进行特征 融合处理， 生成融合特 征； 调用所述 时空状态预测模块对所述融合特征进行递归预测处理， 生成所述未来时刻的 目标鸟瞰图特 征； 调用所述运动偏移预测模块对所述目标鸟瞰图特征进行解码处理， 得到所述动态对象 在未来时刻的偏移量信息 。 6.一种对象信息预测模型训练方法， 其特 征在于， 包括： 获取样本图像； 所述样本图像为车辆在行驶过程中采集的所述车辆的周视图像； 将所述样本图像输入至待训练对象信息预测模型； 所述待训练对象信息预测模型包 括： 鸟瞰图特 征获取层、 动态信息预测层、 静态信息预测层和对象轨 迹预测层； 调用所述鸟瞰图特征获取层对所述样本图像进行处理， 得到所述样本图像对应的鸟瞰 图特征； 调用所述动态信 息预测层对所述鸟瞰图特征进行处理， 得到所述样本图像内的动态对 象的预测动态对象属性信息； 调用所述静态信 息预测层对所述鸟瞰图特征进行处理， 得到所述样本图像内的静态对 象的预测静态对象属性信息； 调用所述对象轨迹预测层对所述鸟瞰图特征和位于第 一时刻之前的N个第 二时刻的鸟 瞰图特征进 行处理， 得到所述动态对象在未来时刻的预测偏移 量信息； 其中， N为正整 数， 所 述第一时刻为采集所述样本图像的时刻， N个第二时刻与所述第一时刻形成连续的多个时 刻； 根据所述预测动态对象属性信息、 所述预测静态对象属性信息和所述预测偏移量信 息， 计算得到所述待训练对象信息预测模型的损失值； 在所述损失值处于预设范围内的情况下， 将训练后的待训练对象信 息预测模型作为目 标对象信息预测模型。 7.根据权利要求6所述的方法， 其特征在于， 所述样本图像标注有所述动态对象的标注 动态对象属性信息、 所述静态对象的标注静态对象属性信息和所述动态对象的标注偏移 量 信息， 所述根据 所述预测动态对象属性信 息、 所述预测静态对象属性信 息和所述预测偏移量 信息， 计算得到所述待训练对象信息预测模型的损失值， 包括： 根据所述标注动态对象属性信 息和所述预测动态对象属性信 息， 计算得到所述动态信 息预测层的第一损失值； 根据所述标注静态对象属性信 息和所述预测静态对象属性信 息， 计算得到所述静态信 息预测层的第二损失值； 根据所述标注偏移量信 息和所述预测偏移量信 息， 计算得到所述对象轨迹预测层的第 三损失值； 根据所述第一损 失值、 所述第二损 失值和所述第三损 失值， 计算得到所述待训练对象 信息预测模型的损失值。权　利　要　求　书 2/4 页 3 CN 114898315 A 3