(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111660057.0 (22)申请日 2021.12.3 0 (71)申请人 中原动力 智能机器人有限公司 地址 450018 河南省郑州市郑东 新区明理 路尚贤街河南企业联合大厦16层16 01 (72)发明人 刘娜　万里红　袁野　张赛　 吴国栋　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 颜希文 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/62(2022.01) G06V 20/40(2022.01) G06T 7/215(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种视频实例分割方法、 装置、 移动终端及 存储介质 (57)摘要 本发明公开了一种视频实例分割方法、 装 置、 移动终端及存储介质， 所述方法包括： 从待分 割视频中获取N个视频帧图像； 其中， N为正整数； 将N个视频帧图像按照预设顺序输入至实例分割 模型中， 以使实例分割模型提取N个视频帧图像 的特征序列后， 根据特征序列对N个视频帧图像 中的实例进行跟踪， 并根据跟踪结果对N个视频 帧图像中的实例进行实例分割。 采用本发明实施 例能提高视频实例分割的精度。 权利要求书2页 说明书6页 附图1页 CN 114445628 A 2022.05.06 CN 114445628 A 1.一种视频实例分割方法， 其特 征在于， 包括： 从待分割视频中获取N个视频帧图像； 其中， N 为正整数； 将N个所述视频帧图像按照预设顺序输入至实例分割模型中， 以使所述实例分割模型 提取N个所述视频帧图像的特征序列后， 根据所述特征序列对N个所述视频帧图像中的实例 进行跟踪， 并根据跟踪结果对N个所述视频帧图像中的实例进行实例分割。 2.根据权利要求1所述的一种视频实例分割方法， 其特征在于， 所述实例分割 模型提取 N个所述视频帧图像的特 征序列， 具体为： 所述实例分割模型提取N个所述视频帧图像的图像特征， 并将所述图像特征按照所述 预设顺序依次排列组合后形成所述特 征序列。 3.根据权利要求1所述的一种视频实例分割方法， 其特征在于， 所述根据 所述特征序列 对N个所述视频帧图像中的实例进行跟踪， 具体为： 根据所述特 征序列， 依次进行编码 操作和解码 操作后生成实例序列； 根据匈牙利算法计算得到所述实例序列对应的跟踪信息； 根据所述跟踪信息对所述 N个所述视频帧图像中的实例进行分割， 得到实例分割结果； 对实例分割结果进行id匹配， 完成匹配跟踪， 得到所述实例分割结果及其相应的实例 id信息。 4.根据权利要求1所述的一种视频实例分割方法， 其特征在于， 所述实例分割 模型的生 成过程具体为： 初始化卷积模型中的特征提取网络后， 根据 所述卷积模型获取第 一视频帧图像的第 一 图像特征以及第一位置编码信息； 其中， 所述第一视频帧图像为用于训练所述卷积模型 的 样本图像； 将所述第一图像特征和所述第 一位置编码信 息输入至编码器后得到第 一输出结果； 将 所述第一输出结果输入至解码器中， 以使 所述编码器输出得到第一视频帧图像的第一实例 分割结果； 对所述第一实例分割结果进行id匹配后， 得到第二实例分割结果； 计算第二实例分割结果与原始标注图像之间的第 一损失值， 通过所述卷积模型反向传 递所述第一损失值， 并根据所述第一损失值更新所述卷积模型的网络权重， 直至所述卷积 模型收敛， 形成所述实例分割模型。 5.一种视频实例分割装置， 其特 征在于， 包括： 获取模块和分割模块； 其中， 所述获取模块用于从待分割视频中获取N个视频帧图像； 其中， N 为正整数； 所述分割模块用于将N个所述视频帧图像按照预设顺序输入至实例分割模型中， 以使 所述实例分割模型提取N个所述视频帧图像的特征序列后， 根据所述特征序列对N个所述视 频帧图像中的实例进行跟踪， 并根据跟踪结果对N个所述视频帧图像中的实例进行实例分 割。 6.根据权利要求5所述的一种视频实例分割 装置， 其特征在于， 所述实例分割 模型提取 N个所述视频帧图像的特 征序列， 具体为： 所述实例分割模型提取N个所述视频帧图像的图像特征， 并将所述图像特征按照所述 预设顺序依次排列组合后形成所述特 征序列。 7.根据权利要求5所述的一种视频实例分割 装置， 其特征在于， 所述根据 所述特征序列权　利　要　求　书 1/2 页 2 CN 114445628 A 2对N个所述视频帧图像中的实例进行跟踪， 具体为： 根据所述特 征序列， 依次进行编码 操作和解码 操作后生成实例序列； 根据匈牙利算法计算得到所述实例序列对应的跟踪信息； 根据所述跟踪信息对所述 N个所述视频帧图像中的实例进行分割， 得到实例分割结果； 对实例分割结果进行id匹配， 完成匹配跟踪， 得到所述实例分割结果及其相应的实例 id信息。 8.根据权利要求5所述的一种视频实例分割 装置， 其特征在于， 所述实例分割 模型的生 成过程具体为： 初始化卷积模型中的特征提取网络后， 根据 所述卷积模型获取第 一视频帧图像的第 一 图像特征以及第一位置编码信息； 其中， 所述第一视频帧图像为用于训练所述卷积模型 的 样本图像； 将所述第一图像特征和所述第 一位置编码信 息输入至编码器后得到第 一输出结果； 将 所述第一输出结果输入至解码器中， 以使 所述编码器输出得到第一视频帧图像的第一实例 分割结果； 对所述第一实例分割结果进行id匹配后， 得到第二实例分割结果； 计算第二实例分割结果与原始标注图像之间的第 一损失值， 通过所述卷积模型反向传 递所述第一损失值， 并根据所述第一损失值更新所述卷积模型的网络权重， 直至所述卷积 模型收敛， 形成所述实例分割模型。 9.一种移动终端， 其特征在于， 包括处理器和存储器， 所述存储器存储有计算机可读程 序代码， 所述处理器执行所述计算机可读程序代码时实现权利要求 1至4中任一项 所述的一 种视频实例分割方法的步骤。 10.一种存储介质， 其特征在于， 所述存储介质存储计算机可读程序代码， 当所述计算 机可读程序代码被执行时实现权利要求1至4中任一项所述的一种视频实例分割 方法的步 骤。权　利　要　求　书 2/2 页 3 CN 114445628 A 3