(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210633162.3 (22)申请日 2022.06.07 (71)申请人 中南大学 地址 410000 湖南省长 沙市岳麓区麓山 南 路2号 (72)发明人 胡泊　王勇　邹逸群　 (74)专利代理 机构 长沙麓创时代 专利代理事务 所(普通合伙) 43249 专利代理师 张丽 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06T 3/40(2006.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种透明物体图像分割方法及系统 (57)摘要 本发明公开了一种透明物体图像 分割方法， 包括以下步骤： S1： 建立含有高分辨率分支和低 分辨率分支的双分辨率特征提取模块， 得到高分 辨率特征图和多尺度融合的低分辨特征图； S2： 利用差分边界注意力模块对S1中提取到的不同 维度的特征图分别进行差分卷积和空间注意力 操作， 提取多尺度的边缘特征图并进行融合； S3： 利用区域注意力模块对高分辨率特征图和多尺 度融合的低分辨特征图进行类别层面的上下文 关系建模， 得到像素 ‑区域增强特征图； 融合高分 辨率特征图、 多尺度的边缘特征图和像素 ‑区域 增强特征图， 经过特征降维后得到最终的透明物 体分割结果， 有效解决透明物体因环境、 遮挡等 因素造成语义信息缺失的情况。 权利要求书3页 说明书7页 附图3页 CN 115082675 A 2022.09.20 CN 115082675 A 1.一种透明物体图像分割方法， 其特 征在于， 包括以下步骤： S1： 建立含有高分辨率分支和低分辨率分支的双分辨率特征提取模块， 将输入图像输 入所述双分辨率特征提取模块， 高分辨率分支 通过连接并行的不同分辨率特征图和重复进 行多尺度交叉融合来 维持精确的空间位置信息， 得到1/8原图大小的高分辨率特征图； 低分 辨率分支通过连续的下采样以及与高分辨特征图进行 交叉融合来提取高维的语义信息， 得 到1/64原图大小的低分辨率特征图； 在低分辨率分支末端加上深度金字塔池化模块， 深度 金字塔池化模块用于扩大有效的感受野并且融合多尺度的上下文信息， 得到多尺度融合的 低分辨特 征图； 所述双分辨率特征提取网络由conv1、 conv2、 conv3_x、 conv4_x、 conv5_x、 DPPM共六个 层级构成， 其中x＝1或2， x＝1代 表高分辨 率分支， x＝2 代表低分辨 率分支； conv1包含步长为2且卷积核为3*3的卷积层、 BatchNorm层和ReLU层， conv 1层用于改变 输入图像的维度； conv2是由级联的残差块Basic  Block组成； 用于得到1/8原图大小的特 征图feature2； conv3_x开始分成并行的高低分辨率两个分支conv3_1和conv3_2； conv3_1采用与 conv2相同的残差块， 得到1/8原图大小的高分辨率分支特征图feature3_1； conv3_2将 conv2的输出进行 下采样， 得到1/16原图大小的低分辨 率分支特 征图feature3_2； conv4_x分为 并行的高低分辨率两个分支conv4_1和conv4_2， conv4_1用于不断融入低 分辨信息并维持1/8原图大小的高分辨率分支特征图feature4_1； conv4_2用于得到1/32原 图大小的低分辨 率分支特 征图feature4_2； conv5_x分为 并行的高低分辨率两个分支conv5_1和conv5_2， conv5_1用于不断融入低 分辨信息并维持1/8原图大小的高分辨率分支特征图feature5_1； conv5_2用于得到1/64原 图大小的低分辨 率分支特 征图feature5_2； DPPM用于扩大感受野并且融合多尺度的上 下文信息； S2： 利用差分边界注意力模块对S1中提取到的1/8原图大小的特征图feature2、 1/16原 图大小的低分辨率分支特征图feature3_2、 1/32原图大小的低分辨率分支特征图 feature4_2和1/64原图大小的低分辨率分支特征图feature5_2分别进行差分卷积和空间 注意力操作， 提取多尺度的边缘特征图并进行融合， 经过特征降维后得到透明物体的边缘 预测图像； S3： 利用区域注意力模块对S1中得到的高分辨率特征图和多尺度融合的低分辨特征图 进行类别层面的上下文关系建模， 增强来自于同一类物体的像素的特征， 得到像素 ‑区域增 强特征图； 融合所述高分辨率特征图、 多尺度的边缘特征图和像素 ‑区域增强特征图， 经过 特征降维后得到最终的透明物体分割结果。 2.根据权利要求1所述的一种透明物体图像分割方法， 其特征在于， 所述conv2的Basic   Block包含两个卷积核大小为3*3的卷积层和Identity  Block， 其中3*3的卷积层是为了提 取输入的不同特征， 降低模 型的运算量， Identity  Block复制了浅层的特征， 避免随着网络 加深出现梯度消失的情况。 3.根据权利要求1所述的一种透明物体图像分割方法， 其特征在于， 所述特征图 feature3_1进行conv4_1操作得到特征图hfeature3_1， 特征图feature3_2进行1*1卷积实 现操作通道压缩然后通过双线性插值进行上采样得到特征图hfeature3_2,融合特征图权　利　要　求　书 1/3 页 2 CN 115082675 A 2hfeature3_1和hfeature3_2得到1/8原图大小的高分辨率分支特征图feature4_1； 对特征 图feature3_2进行conv4_2操作得到 特征图lfeature3_2,对特征图feature3_1进行步长为 2的3*3卷积 实现下采样得到特征图l feature3_1,融合特征图l feature3_1和lfeature3_2 得到1/32原图大小的低分辨率分支特征图feature4_2； 所述conv5_x由级联的残差块 BottleneckBlock组成， Bottleneck  Block包含两个卷积核大小为1*1的卷积层、 一个卷积 核大小3*3的卷积层和Identity  Block， 在深层的网络中减少消耗； 对特征图feature4_1进 行conv5_1操作得到特征图hfeature4_1,对特征图feature4_2进行1*1卷积 实现操作通道 压缩然后通过双线性插值进行上采样得到特征图hfeature4_2,融合特征图hfeature4_1和 hfeature4_2得到1/8原图大小的高分辨率 分支特征图feature5_1， 对特征图feature4_2进 行conv5_2操作得到特征图lfeature4_2,对特征图feature4_1进行步长为2的3*3卷积实现 下采样得到特征图l feature4_1,融合特征图lfeature4_1和l feature4_2得到1/64原图大 小的低分辨 率分支特 征图feature5_2。 4.根据权利要求3所述的一种透 明物体图像分割方法， 其特征在于， 所述DPPM包含五个 并行的分支： 特征图feature5_2经过1*1卷积得到特征图y1； 特征图feature5_2通过 kernel_size＝3， stride＝2的池化层、 1*1卷积和上采样后得到的特征图与特征图y1进行 融合， 融合后的特征图经过3*3卷积得到特征图y2； 特征图feature5_通过kernel_siz e＝5， stride＝4的池化层、 1*1卷积和上采样后得到的特征图与特征图y2进行融合， 融合后的特 征图经过3*3卷积得到特征图y3； 特征图feature5_2通过kernel_size＝9， stride＝8的池 化层、 1*1卷积和上采样后得到的特征图与特征图y3进行融合， 融合后的特征图经过3*3卷 积得到特征图y4； 特征图feature5_2通过全局平均池化、 1*1卷积和上采样后得到的特征图 与特征图y4进行融合， 融合后的特征图经过3*3卷积得到特征图y5； 对特征图y1、 y2、 y3、 y4、 y5进行拼接操作后再进 行1*1卷积操作来改变通道数得到最 终的多尺度融合的低分辨特征 图feature6 。 5.根据权利要求1所述的一种透 明物体图像分割方法， 其特征在于， 所述差分边界注意 力模块由四个并行的像素差 分卷积模块和空间注意力模块组成， 所述像素差分卷积模块包 含卷积核大小3*3的差分卷积层、 ReLU层、 卷积核 大小1*1卷积层； 所述空间注 意力模块包含 两个卷积核大小为1*1 的卷积层、 一个卷积核为3*3的卷积层、 ReLU层和Sigmoi d函数； 从S1 中选取的每一个特征图先通过像素差 分卷积模块(PDCM)再通过空间注 意力模块(SAM)得到 对应的边界特 征图。 6.根据权利要求1所述的一种透明物体图像分割方法， 其特征在于， 所述S3中得到像 素‑区域增强特 征图的具体步骤为： S3‑1： 对多尺度融合的低分辨特征图进行Softmax操作， 得到K个粗分割区域{R1, R2,...,RK}， 其中K代表分割的类别数， RK是一个二维向量， RK里面的每个元素代表着对应像 素属于类别K的概 率； S3