(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211114552.6 (22)申请日 2022.09.14 (71)申请人 清华大学 地址 100084 北京市海淀区10 0084信箱82 分箱清华大学专利办公室 (72)发明人 胡坚明　石运达　李力　裴欣　 张毅　 (74)专利代理 机构 北京纪凯知识产权代理有限 公司 11245 专利代理师 孙楠 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 图像目标检测和实例分割方法、 系统、 计算 设备及介质 (57)摘要 本发明涉及一种图像目标检测和实例分割 方法、 系统、 计算设备及介质， 其包括： 将图像输 入包含可切换空洞卷积的骨干残差网络中进行 不同阶段特征提取， 得到不同深度下的多尺度的 特征图； 将多尺度的特征图输入颈部网络， 进行 递归特征金字塔的递归融合， 得到新的特征图， 并进行候选区域的生成， 得到感兴趣区域； 将感 兴趣区域输入头部网络， 进行实例类别、 类别置 信度、 实例边界框和实例掩膜的预测。 本发明能 有效提升性能及有效性， 并在更广泛的领域上获 得潜在应用价值。 本发明可以在图像数据处理领 域中应用。 权利要求书2页 说明书8页 附图3页 CN 115375901 A 2022.11.22 CN 115375901 A 1.一种图像目标检测 和实例分割方法， 其特 征在于， 包括： 将图像输入包含可切换空洞卷积的骨干残差网络中进行不同阶段特征提取， 得到不同 深度下的多尺度的特 征图； 将多尺度的特征图输入颈部网络， 进行递归特征金字塔的递归融合， 得到新的特征图， 并进行候选区域的生成， 得到感兴趣区域； 将感兴趣区域输入头部网络， 进行实例类别、 类别置信度、 实例边界框和实例掩膜的预 测。 2.如权利要求1所述图像目标检测和实例分割方法， 其特征在于， 所述递归特征金字塔 的递归融合， 包括： 最高层特征不变， 其他每层特征都是由当前层的输入和其更高一层的输入通过插值尺 寸缩放及对应位置相加方式进行融合， 得到自上而下的特 征融合的结果； 将自上而下融合后的特 征再次进行自下而上的特 征提取， 得到特 征再提取的特 征图； 将特征再提取的特征图再次进行自上而下的特征融合， 得到经过进一步特征提取和融 合的新的特 征图。 3.如权利要求1所述图像目标检测和实例分割方法， 其特征在于， 所述进行候选区域的 生成， 包括： 以新的特征图为输入， 在不同阶段特征图的不同位置生成不同大小和不同尺寸的锚 框； 提取特征， 对每个锚框进 行前景背 景分类并计算类别置信度， 根据置信度阈值筛选掉 非 前景锚框， 对保留下来的前景锚框进行目标类别预测和边界框预测， 得到锚框的目标类别 信息以及边界框位置信息 。 4.如权利要求1所述图像目标检测和实例分割方法， 其特征在于， 所述感兴趣区域的获 取， 包括： 采用感兴趣区域对齐策略ROIAlign将候选区域对齐到新的特征图上， 减小量化误差， 得到感兴趣区域。 5.如权利要求1所述图像目标检测和实例分割方法， 其特征在于， 所述头部网络包括目 标检测分支和掩膜预测分支； 目标检测分支对新的特 征图进行实例类别以及实例边界框的预测； 掩膜分支对新的特 征图进行实例掩膜的精细预测。 6.如权利要求5所述图像目标检测和实例分割方法， 其特征在于， 在进行所述实例类别 和实例掩膜的预测中采用的损失函数为Cr oss Entropy Loss； 在进行实例边界框的预测中 采用的损失函数为 L1 Loss。 7.如权利要求1所述图像目标检测和实例分割方法， 其特征在于， 在所述将图像输入包 含可切换空洞卷积的骨干残差网络中进行不同阶段特征提取之前， 还包括： 加载网络预训 练权重参数的步骤。 8.一种图像目标检测 和实例分割 系统， 其特 征在于， 包括： 第一处理模块， 将图像输入包含可切换空洞卷积的骨干残差网络 中进行不同阶段特征 提取， 得到不同深度下的多尺度的特 征图； 第二处理模块， 将多尺度的特征图输入颈部网络， 进行递归特征金字塔的递归融合， 得 到新的特 征图， 并进行候选区域的生成， 得到感兴趣区域；权　利　要　求　书 1/2 页 2 CN 115375901 A 2预测模块， 将感兴趣区域输入头部网络， 进行实例类别、 类别置信度、 实例边界框和实 例掩膜的预测。 9.一种存储一个或多个程序的计算机可读存储介质， 其特征在于， 所述一个或多个程 序包括指令， 所述指令当由计算设备执行时， 使得所述计算设备执行如权利要求1至7所述 方法中的任一方法。 10.一种计算设备， 其特征在于， 包括： 一个或多个处理器、 存储器及一个或多个程序， 其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行， 所述一 个或多个程序包括用于执 行如权利要求1至7 所述方法中的任一方法的指令 。权　利　要　求　书 2/2 页 3 CN 115375901 A 3