(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210401019.1 (22)申请日 2022.04.18 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 周瑜　蔡雨萱　罗东亮　周欢　 白翔　郑增强　刘荣华　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 向彬 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 基于自监督异构网络的工业场景未知类型 缺陷分割方法 (57)摘要 本发明公开一种基于自监督异构网络的工 业场景未知类型缺陷分割方法： 准备大型预训练 网络并固定参数， 作为教师网络； 构建异构学生 网络， 由异构特征编码模块、 特征融合模块和分 割模块组成； 训练异构学生网络， 将合成异常图 像输入至教师和异构学生网络中， 一方面， 约束 学生网络在合成图像的正常区域提取的多尺度 特征与教师网络相应尺度特征相似， 另 一方面， 约束分割模块产生的分割概率图准确回归合成 的异常区域； 测试阶段通过教师和异构学生网络 提取的相应尺度的特征图的差异和分割概率图 得到异常得分图， 设置合适的阈值二值化得到异 常分割图。 本发 明通过对特征编码模块的相关设 计和自监督的引入， 实现了对图像异常区域的精 确分割。 权利要求书3页 说明书7页 附图1页 CN 114742799 A 2022.07.12 CN 114742799 A 1.一种基于自监督异构网络的工业场景未知类型缺陷分割方法， 其特征在于， 包括以 下步骤： 步骤S1， 准备一个在ImageNet预训练完成的大型预训练网络作为教师网络， 在后续步 骤中教师网络的参数都被固定； 步骤S2， 构建异构学生网络， 异构学生网络由异构特征编码模块、 特征融合模块和分割 模块组成， 其中异构特征编码模块由三个独立的特征提取器组成， 用于提取图像的三种不 同尺度的特征， 三个特征提取器分别命名为底层特征提取学生网络， 中层特征提取学生网 络和高层特征提取学生网络， 特征融合模块用于将异构特征编 码模块产生的三种不同尺度 特征进行融合， 然后将融合后的特 征输入分割模块中， 分割模块输出分割概 率图； 步骤S3， 训练异构学生网络， 首先合成一些异常区域粘贴到训练集中的正常图像上， 得 到合成图像， 然后将其同时输入到教师网络和异构学生网络中， 一方面， 约束异构学生网络 在合成图像的正常区域提取 的多尺度特征与教师网络的相应尺度特征相似； 另一方面， 约 束由分割模块产生的分割概率图可以准确回归合成的异常区域， 使其对异常区域边缘敏 感； 步骤S4， 测试阶段， 将含有异常区域的测试图像同时输入教师网络和异构学生网络中， 一方面， 通过异常得分函数计算两者提取 的相应尺度的特征图在特征空间的距离， 得到异 常差异图； 另一方面， 通过分割模块预测得到 分割概率图， 通过融合异常差异图和分割概率 图得到最终的异常得分图， 最后通过设置合适的阈值对异常得分图进行二值化， 得到异常 分割图。 2.如权利要求1所述的基于自监督异构网络的工业场景未知类型缺陷分割方法， 其特 征在于， 异构学生网络的异构特征编码模块中的特征提取器为： 在现有通用特征提取模型 中的池化下采样操作， 并对特征提取模型中卷积层的步长进行设计， 以降低特征提取学生 网络的感受野， 保证底层、 中层及高层特征提取学生网络输出特征图尺寸均为输入图像的 1/2。 3.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法， 其 特征在于， 异构学生网络的特征融合模块用于平滑和融合异构特征编码模块提取 的特征， 具体包括： 步骤S2‑1， 使用1×1卷积对高层特征提取学生网络输出的1/2分辨率的特征图进行平 滑 其中C为预设值； 步骤S2‑2， 使用1×1卷积对中层特征提取学生网络输出的1/2分辨率的特征图进行平 滑 并将它与步骤S2 ‑1得到的特 征图逐像素相加。 步骤S2‑3， 使用1×1卷积对底层特征提取学生网络输出的1/2分辨率的特征图进行平 滑 并将它与步骤S2 ‑2得到的特 征图逐像素相加； 步骤S2‑4， 将步骤S2 ‑1， 步骤S2 ‑2， 步骤S2 ‑3得到的特征图在通道维度上进行堆叠R(C +C+C)→R3C。 4.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法， 其 特征在于， 异构学生网络的分割模块用于预测得到分割概 率图， 具体包括： 步骤S2‑5， 使用卷积核为3 ×3， 步长为1的卷积层将步骤S2 ‑4得到的融合特征进行降维权　利　要　求　书 1/3 页 2 CN 114742799 A 2并使用BatchNorm层进行归一化， ReLu进行激活， 得到分辨率为原图大小 1/2， 通道数为C4的特征； 步骤S2‑6， 使用卷积核为2 ×2， 步长为2的反卷积层将步骤S2 ‑5得到的特征图进行上采 样， 并使用BatchNorm层进行归一化， ReLu进行激活， 得到分辨率为原图大小， 通道数为C4的 特征； 步骤S2‑7， 使用1×1卷积对步骤S2 ‑6得到的特征进行逐像素的预测 并使用 Sigmoid函数激活， 得到预测的分割概 率图。 5.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法， 其 特征在于， 在异构学生网络的训练阶段， 输入的训练图像是合成的异常图像， 合成数据的步 骤可分为三步， 首先生成两种类型的基本异常模式， 一种是随机生成的形状， 另一种是从正 常图像中随机裁剪的补丁， 并使用两种操作来增加异常的多样性： 1)使用弹性形变对基本 异常进行形状变换， 增加异常的形状多样性， 2)通过颜色转换调整异常的亮度、 对比度、 饱 和度和清晰度， 增 加异常的颜色多样性， 最后， 将这些异常粘贴到正常图像上。 6.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法， 其 特征在于， 在异构学生网络的训练阶段， 为了约束异构特征编码模块提取 的不同尺度的特 征与教师网络相应尺度的特 征在正常区域保持一 致， 优化的目标函数为： 其中 分别表示高层、 中层和底层特征提取学生网络提取的合成的异常图像 在正常区域 的特征， 表示教师网络的相应尺度特征， up表示上采样操作， L1表示 所比较的两个特征图之间的平均绝对误差， SSIM表 示所比较的两个特征图之间的结构相似 性， SSIM取值越趋 近于1表示两个特 征图之间越相似。 7.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法， 其 特征在于， 在异构学生网络的训练阶段， 使用交叉熵损失约束分割概率图和像素级异常标 签之间的距离， 并使用难样本挖掘策略， 交叉熵损失定义 为： 其中S为从分割概率图中采样的子集， 采样的正常像素数量与异常像素数量的比例为 3:1， xi为分割概率图在位置索引i处预测的异常概率值， yi为对应的异常标签， 异常像素的 标签设置为1。 8.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法， 其 特征在于， 在测试阶段， 通过得分函数计算教师网络提取 的不同尺度特征图与异构学生网 络特征编码模块 提取的相应尺度的特 征图之间的距离， 得到异常差异图， 得分函数为： 权　利　要　求　书 2/3 页 3 CN 114742799 A 3