(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210326583.1 (22)申请日 2022.03.30 (65)同一申请的已公布的文献号 申请公布号 CN 114495176 A (43)申请公布日 2022.05.13 (73)专利权人 北京字节跳动网络技 术有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层B-0035房间 (72)发明人 边成　李永会　张志诚　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 贺晓蕾 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112633384 A,2021.04.09 CN 112801169 A,2021.0 5.14 WO 2021151313 A1,2021.08.0 5 审查员 苏玉兰 (54)发明名称 组织图像的识别方法、 装置、 可读介质和电 子设备 (57)摘要 本公开涉及一种组织图像的识别方法、 装 置、 可读介质和电子设备， 涉及图像处理技术领 域， 该方法包括： 获取内窥镜采集的组织图像， 分 别提取组织图像的显著 图像特征以及伪装图像 特征， 根据显著图像特征确定组织图像的显著置 信度， 并根据伪装图像特征确定组织图像的伪装 置信度， 根据显著图像特征、 伪装图像特征、 显著 置信度和伪装置信度， 对组织图像进行识别， 以 确定目标识别结果， 目标识别结果用于标识组织 图像中目标对象所在的区域。 本公开分别提取组 织图像的显著图像特征和伪装图像特征， 进一步 确定显著置信度和 伪装置信 度， 以此确定组织图 像中目标对象所在的区域， 能够提高图像识别的 准确度和泛化能力。 权利要求书3页 说明书17页 附图8页 CN 114495176 B 2022.12.06 CN 114495176 B 1.一种组织图像的识别方法， 其特 征在于， 所述方法包括： 获取内窥镜采集的组织图像； 分别提取 所述组织图像的显著图像特 征以及伪装图像特 征； 根据所述显著图像特征确定所述组织图像的显著置信度， 并根据 所述伪装图像特征确 定所述组织图像的伪装置信度； 所述显著置信度用于表征组织图像中目标对象是显著类型 的概率， 所述伪装置信度用于表征组织图像中目标对象是伪装类型的概 率； 根据所述显著图像特征、 所述伪装图像特征、 所述显著置信度和所述伪装置信度， 对所 述组织图像进行识别， 以确定目标识别结果， 所述 目标识别结果用于标识所述组织图像中 目标对象所在的区域； 所述根据所述显著图像特征、 所述伪装图像特征、 所述显著置信度和所述伪装置信度， 对所述组织图像进行识别， 以确定目标识别结果， 包括： 若所述显著置信度大于第一阈值， 且所述伪装置信度小于或等于第二阈值， 根据所述 显著图像特 征对所述组织图像进行识别， 以确定所述目标识别结果； 若所述伪装置信度大于所述第二阈值， 且所述显著置信度小于或等于所述第一阈值， 根据所述伪装图像特 征对所述组织图像进行识别， 以确定所述目标识别结果； 若所述显著置信度小于或等于所述第一阈值， 且所述伪装置信度小于或等于第二阈 值， 根据所述显著图像特征对所述组织图像进行识别， 以确定显著识别结果； 根据所述伪装 图像特征对所述组织图像进行识别， 以确定伪装识别结果； 根据所述显著置信度和所述伪 装置信度， 对所述显著 识别结果和所述伪装识别结果进行融合， 以确定所述目标识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述显著图像特征、 所述伪装图 像特征、 所述显著置信度和所述伪装置信度， 对所述组织图像进 行识别， 以确定目标识别结 果， 包括： 根据所述显著图像特 征对所述组织图像进行识别， 以确定 显著识别结果； 根据所述伪装图像特 征对所述组织图像进行识别， 以确定伪装识别结果； 根据所述显著置信度和所述伪装置信度， 对所述显著识别结果和所述伪装识别结果进 行融合， 以确定所述目标识别结果。 3.根据权利要求1所述的方法， 其特征在于， 所述分别提取所述组织图像的显著图像特 征以及伪装图像特 征， 包括： 利用预先训练的显著编码器对所述组织图像进行特征提取， 得到所述显著图像特征， 利用预先训练的伪装编码器对所述组织图像进行 特征提取， 得到所述伪装图像特 征； 所述根据 所述显著图像特征确定所述组织图像的显著置信度， 并根据 所述伪装图像特 征确定所述组织图像的伪装置信度， 包括： 将所述显著图像特征输入预先训练 的显著分类器， 得到所述显著分类器输出的所述显 著置信度， 将所述伪装图像特征输入预先训练的伪装分类器， 得到所述伪装分类器输出 的 所述伪装置信度； 所述根据所述显著图像特征、 所述伪装图像特征、 所述显著置信度和所述伪装置信度， 对所述组织图像进行识别， 以确定目标识别结果， 包括： 利用预先训练的解码器， 根据 所述显著图像特征、 所述伪装图像特征、 所述显著置信度 和所述伪装置信度， 对所述组织图像进行识别， 以确定所述目标识别结果；权　利　要　求　书 1/3 页 2 CN 114495176 B 2所述显著编码器、 所述伪装编码器、 所述显著分类器、 所述伪装分类器和所述解码器， 根据预设的样本图像集联合训练得到， 所述样本图像集包括多个显著样本图像和多个伪装 样本图像， 所述显著样本图像中所述 目标对象为显著类型， 所述伪装样本图像中所述 目标 对象为伪装类型。 4.根据权利要求3所述的方法， 其特征在于， 所述显著编码器、 所述伪装编码器、 所述显 著分类器、 所述伪装分类 器和所述 解码器是通过以下 方式联合训练得到的： 获取样本输入集和 样本输出集， 所述样本输入集包括： 多个样本输入， 每个所述样本输 入包括所述样本图像集中的一个样本图像， 所述样本图像为所述显著样本图像或所述伪装 样本图像； 所述样本输出集中包括与每个所述样本输入对应的样本输出， 所述样本输出为 对应的所述样本图像的真实识别结果， 所述真实识别结果用于标识对应的所述样本图像中 目标对象所在的区域； 将每个所述样本输入作为所述显著编码器的输入， 得到显著样本 图像特征， 并将该样 本输入作为所述伪装编码器的输入， 得到伪装样本图像特 征； 将所述显著样本 图像特征输入所述显著分类器， 得到第一置信度， 并将所述伪装样本 图像特征输入所述伪装分类 器， 得到第二置信度； 将目标样本 图像特征输入所述解码器， 以得到所述解码器输出的样本识别结果， 若该 样本输入为所述显著样本图像， 所述 目标样本图像特征为所述显著样本图像特征， 若该样 本输入为所述伪装样本图像， 所述目标样本图像特 征为所述伪装样本图像特 征； 将所述样本识别结果和该样本输入对应的样本输出作为判别器的输入， 以得到所述判 别器输出的判别结果； 根据所述显著样本图像特征、 所述伪装样本图像特征、 所述第一置信度、 所述第 二置信 度、 所述样本识别结果、 所述判别结果确定总损失； 根据所述总损失联合训练所述显著编码器、 所述伪装编码器、 所述显著分类器、 所述伪 装分类器、 所述解码器和所述判别器。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述显著样本 图像特征、 所述伪 装样本图像特征、 所述第一置信度、 所述第二置信度、 所述样本识别结果、 所述判别结果确 定总损失， 包括： 根据所述显著样本图像特 征和所述伪装样本图像特 征， 确定相似度损失； 根据所述第一置信度和所述第二置信度确定 置信度损失； 根据所述样本识别结果和每 个所述样本 输入对应的样本 输出， 确定识别损失； 根据所述判别结果和每 个所述样本 输入对应的样本 输出， 确定对抗损失； 根据所述相似度损失、 所述置信度损失、 所述识别损失、 所述对抗损失， 确定所述总损 失。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述显著样本图像特征和所述伪 装样本图像特 征， 确定相似度损失， 包括： 根据所述显著样本图像特征和所述伪装样本图像特征的余弦相似度确定所述相似度 损失； 所述根据所述第一置信度和所述第二置信度确定 置信度损失， 包括： 将所述第一置信度和第 一目标真值的交叉熵损失， 与 所述第二置信度和第 二目标真值权　利　要　求　书 2/3 页 3 CN 114495176 B 3