(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210590951.3 (22)申请日 2022.05.27 (71)申请人 吉林大学 地址 130012 吉林省长 春市前进大街269 9 号 (72)发明人 卢奕南　徐博文　 (74)专利代理 机构 长春市恒誉 专利代理事务所 (普通合伙) 22212 专利代理师 鞠传龙 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的图像实例分割方法 (57)摘要 本发明公开了一种基于深度学习的图像实 例分割方法， 其方法为： 第一步、 获取图像样本， 构建训练集； 第二步、 图像实例分割模型的构建， 具体过程为： 步骤1、 将待训练的 图像集中每个图 像划分为S*S小网格， 根据实际应用进行选取； 步 骤2、 通过ResNet ‑101网络提取图像 特征； 步骤3、 通过基于加权BiFPN构建的特征网络层， 将图像 特征进行多尺度融合提取； 步骤4、 构建联合注意 力筛选模块； 步骤5、 得到实例的掩码信息； 步骤 6、 得到图像实例分割模型； 第三步、 将待分割的 图像， 利用上述第二步中得到的图像实例分割模 型实现实例分割。 有益效果： 使模型在处理多尺 度特征融合方面表现更好； 提高模 型对细节信息 的把握能力， 保证模型的高效性能。 权利要求书2页 说明书5页 附图6页 CN 115131556 A 2022.09.30 CN 115131556 A 1.一种基于深度学习的图像实例分割方法， 其特 征在于： 其方法包括如下步骤： 第一步、 获取图像样本， 构建训练集； 第二步、 图像实例分割模型的构建， 具体过程如下： 步骤1、 将待训练的图像集中每 个图像划分为S*S小网格， 根据实际应用进行选取； 步骤2、 通过ResNet ‑101网络提取图像特征， 其中ResNet ‑101网络作为主干网络由卷积 层、 池化层和激活层组成， 提取图像特 征； 步骤3、 通过基于加权BiFPN构建的特征网络层， 将图像特征进行多尺度融合提取， 具体 实现过程如下： (1)在FPN的基础上取不同尺度的特征层， 将第3层至第7层作为输入， 通过增加相同层 次的横向路径， 删除掉只接受单一输入的层次节点， 构造自顶向下和自底向上路径的 BiFPN； (2)计算不同层次输出节点的融合特征， 用简单的注意力机制来学习不同尺度的输入 特征对于输出特征的贡献， 针对每 个层次输出节点对应的输入节点特 征的权重计算如下： 每个权重wi使用ReLU激活函数， ε设置为0.0001， 用来防止 数值不稳定， 使每个归 一化权 重的值落在0到1之间； (3)重复加权BiFPN  3次得到多尺度融合特 征网络层； (4)将多尺度融合特 征网络层处 理图像特 征提取多尺度融合特 征F； 步骤4、 通过基于联合注意力机制和动态卷积构建联合注意力 筛选模块， 作为掩码子网 络中掩码特征分支的头部筛选多尺度融合特征， 包括串联分支和并联分支， 再分别经过动 态卷积后把两者结合 起来得到筛选特征， 构建联合注意力筛 选模块具体过程如下： (1)联合注意力筛选模块中的串联分支是以串行模式对多尺度提取特征F进行特征提 取， 先通过基于通道注意力模块计算通注意力特征， 首先分别用全局平均池化和全局 最大 池化处理特征， 对池化后的特征再分别使用2次1 ×1的卷积， 第1次的卷积用于缩放通道维 度， 在这之后使用ReLU激活函数， 第2次卷积还原通道数， 最后进行求和， 并使用sigmoid激 活函数， 得到通道注意力系数， 将特征与通道注意力系数相乘得到通道注意力特征FC； 再让 FC通过空间注意力模块计算空间注意力特征， 分别用平均池化和最大池化处理特征， 将处 理后的结果按通道维度进 行拼接， 使用一个3 ×3的卷积， 使用sigmoid激活函数得到空间注 意力系数， 将特征FC与空间注意力系数相乘得到空间注意力特征FS； 并用残差结构将原始 特征F与空间注意力特 征FS串联相加得到串联的特 征F’； (2)联合注意力筛选模块中的并联分支是以并行模式对多尺度提取特征F进行特征提 取， 分别经过上述的基于通道注意力的特征提取模块得到通道注意力特征FC和上述的基于 空间注意力的特征提取模块得到空间注意力特征FS， 并利用残差结构与特征F相加得到并 联的特征F”； (3)对串联的特征和并联的特征分别使用动态卷积， 通过自适应调整卷积核参数， 增强 特征的表达能力； 动态卷积的生成过程： 对特征使用全局平均池化， 用两次1 ×1的卷积， 压 缩通道维度至N， N表示设定的组成动态卷积的卷积核的个数， 在第一次卷积后使用ReLU激权　利　要　求　书 1/2 页 2 CN 115131556 A 2活函数， 最后使用softmax函数得到N个和为1的权重参数， 然后使用分组卷积对N个卷积核 分配权重， 群组大小与批量大小对应， 最后进行线性 求和， 得到动态卷积； (4)对经过动态卷积处理后的串联特征与并联特征求和， 采用逐元素加法求和方式得 到筛选特征； 步骤5、 通过预测网络的掩码子网络处理筛选特征得到掩码特征图， 将掩码核分支与掩 码特征分支的预测结果进行一次卷积， 得到实例的掩码信息； 步骤6、 采用基于Dice和Focal的损失函数的网络训练方法， 得到图像实例分割模型； 第三步、 将待分割的图像， 利用上述第二步中得到的图像实例分割模型实现实例分割， 具体如下： 将待分割的图像进行网络划分， 通过ResNet ‑101网络提取特征； 通过基于加权双向FPN 即加权BiFPN构造的特征网络层将提取的特征进行处理得到多尺度融合特征； 通过预测网 络的分类子网络处理多尺度融合特征预测出实例的类别； 通过联合注意力机制和 动态卷积 构成联合注意力筛选模块， 作为掩码子网络中掩码特征分支的头部处理多尺度融合特征得 到筛选特征； 经预测网络的掩码子网络处理筛选特征得到掩码特征图， 将掩码核分支与掩 码特征分支的预测结果进行一次卷积， 预测出实例的掩码信息， 由预测出来的实例类别和 实例掩码信息获得图像的实例分割效果。权　利　要　求　书 2/2 页 3 CN 115131556 A 3