(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210659966.0 (22)申请日 2022.06.12 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 潘细朋　卢英华　刘振丙　秦祖军　 蓝如师　杨辉华　汪华登　李灵巧　 王子民　程纪钧　王志臻　冯拯云　 宋世龙　 (74)专利代理 机构 北京智行 阳光知识产权代理 事务所(普通 合伙) 11738 专利代理师 范斌 (51)Int.Cl. G06V 20/69(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06T 7/00(2017.01) (54)发明名称 一种乳腺癌H&E染色病理图像有丝分裂自动 识别系统和方法 (57)摘要 本发明公开了一种乳 腺癌H&E染色病理图像 有丝分裂自动识别系统和方法， 属于数字图像处 理技术技术领域， 包括： 输入图像预处理模块： 对 原始图片进行按照预定的patch尺寸切割， 并通 过图片翻转、 旋转等方式进行数据增强； 分割模 块： 通过在训练集中裁剪patches训练一个分割 网络， 将测试集数据按相应尺 寸切割并送入分割 网络， 得到pat ch级的分割结果， 然后将分割后结 果按照其在预处理阶段截取的pat ch坐标信息来 重建出属于原始尺寸的图像。 该乳腺癌H&E染色 病理图像有丝分裂自动识别系统和方法， 对于准 确地分割和分类乳腺癌有丝分裂的细胞， 特别是 样本细胞数量稀少， 特 征复杂的， 具有重要意 义。 权利要求书2页 说明书5页 附图2页 CN 114973244 A 2022.08.30 CN 114973244 A 1.一种乳腺癌H &E染色病理图像有丝分裂自动识别系统， 其特 征在于： 包括： 输入图像预处理模块： 对原始图片进行按照预定的patch尺寸切割， 并通过图片翻转、 旋转等方式进行 数据增强； 分割模块： 通过在训练集中裁剪patches训练一个分割网络， 将测试集数据按相应尺寸 切割并送入分割网络， 得到patch级的分割结果， 然后将分割后结果按照其在预 处理阶段截 取的patc h坐标信息来重建出属于原 始尺寸的图像； 分类模块： 分别训练三个分类网络用于分类并对三个网络的结果进行决策层面融合， 使用投票法得出最后输出结果， 再将最终的结果进行还原、 标记， 就可以得到最终检测结 果。 2.根据权利要求1所述的一种乳腺癌H&E染色病理图像有丝分裂自动识别系统， 其特征 在于： 所述分割模块包括： 注意力分割网络模块： 用于通过在训练集中裁剪patches训练一个分割网络， 将测试集 数据按相应尺寸切割并送入分割网络， 得到patc h级的分割结果； 候选细胞选取方法模块： 用于将分割后结果按照其在预处理阶段截取的patch坐标信 息来重建出属于原 始尺寸的图像。 3.根据权利要求1所述的一种乳腺癌H&E染色病理图像有丝分裂自动识别系统， 其特征 在于： 所述分类模块包括： 三分支分类网络模块： 用于分别训练三个分类网络用于分类； 决策融合算法模块： 用于对三个网络的结果进行决策层面融合， 使用投票法得出最后 输出结果； 分类结果标记模块： 用于将最终的结果进行还原、 标记， 就可以得到最终检测结果。 4.根据权利要求1 ‑3任意一项所述的一种乳腺癌H&E染色病理图像有丝分裂自动识别 系统的方法， 其特 征在于： 具体步骤如下： S1： 数据预处理： 对数据进行裁剪操作， 裁剪后的边长为64， 由于原HPF的尺寸并不能保 证无重叠完整切割， 我们采 取了先填补后裁剪的方式， 在HPF边缘外圈根据需要进 行填补相 应的尺寸， 在切割之前， 根据原HPF边长a和切割后patch的边长b计算得到需要填补的尺寸 大小c， 在边缘区域将长 ×宽为a×c的长条块复制并填补到边缘区域， 右下角的小正方形区 域的填补块， 选择在原HPF右下角c ×c同样大小区域进 行复制， 经过上述操作就可以得到一 个可不重叠完全切割的HPF图像， 之后， 将所有测试集从左 上角按照顺序切割， 就能得到所 有的用于测试的patc h。 S2： 分割阶段： 构建一个基于Attention  U‑Net的分割网络， 结合注意力机制实现对空 间和通道中不同特征的加权提取， 针对研究目标有丝分裂细胞的形态学特征， 对SE模块中 的squeeze操作进行改进， 同时兼顾纹理信息和背景信息。 综合以上特点， 分割网络 SEAttUnet能够实现对不同的通道及特征图的空间位置中的注意力重新分布， 提升模型的 分割效果； 通过分割网络得到分割后以patch为单位的二值mask分割结果。 将所有分割结果patch 级图片， 根据之前记录的坐标信息还原到HPF级别， 再经过连通域筛选、 腐蚀膨胀的操作， 过 滤掉一些噪声， 得到 了HPF级别的分割二 值图； 上一步骤中得到的HPF图中， 可以获取到所有有丝分裂候选细胞的轮廓、 位置等信息，权　利　要　求　书 1/2 页 2 CN 114973244 A 2根据以上信息计算出候选细胞所在的patch的中心坐标， 并在原始图像中截取相应patch， 作为候选细胞进行分类； S3： 分类阶段： 在分类阶段， 训练分类网络， 分别训练三个分类网络用于分类， 使用 VGG11、 VGG19以及ResNet ‑50分别训练， 在测试时， 各个网络会各自输出一个测试结果， 不同 的分类器对于相同的数据集中的预测结果并不完全相同， 同一个待分类patch， 在网络1的 判定下类别为0类， 在经过网络2的判定时， 结果可能为 1类， 所以在第二阶段的分类时， 采用 了3个不同的分类网络， 综合所有结果后进 行输出， 通过对每个网络的预测结果分配不同的 权值， 不同的分类器能够学习到的特征不同， 同时在反复训练、 测试 的过程中， 可以看到不 同分类器对于同一个细胞 的判断是不同的， 根据不同网络的分类精度， 分配不同的权值来 调整各个网络在输出最终分类结果时所做的贡献； 针对分类结果进行融合， 即上一步 已经输出分类的类别， 在结果的层面， 进行综合考 虑， 分类模块中对三个网络的结果进行决策层面融合， 使用投票法得 出最后输出 结果； 通过分类网络之后， 能够筛选去大部分的错误检测的patches， 剩下的patches就是最 终的结果。 将最终的结果进行还原、 标记， 就可以得到最终检测结果。权　利　要　求　书 2/2 页 3 CN 114973244 A 3