(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210618590.9 (22)申请日 2022.06.02 (65)同一申请的已公布的文献号 申请公布号 CN 114724041 A (43)申请公布日 2022.07.08 (73)专利权人 浙江天铂云科光电股份有限公司 地址 311113 浙江省杭州市余杭区良渚街 道纳贤街2号 （8幢） 4层 (72)发明人 梁川　沈林祥　李红艳　陈灵紫　 (74)专利代理 机构 无锡风创知识产权代理事务 所(特殊普通 合伙) 32461 专利代理师 毛维薇 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) (56)对比文件 CN 113989618 A,202 2.01.28 CN 109271847 A,2019.01.25 US 2020372285 A1,2020.1 1.26 芦佳硕 等.基 于VR技术的电力系统异常情 况巡检系统设计. 《计算 技术与自动化》 .2021,第 169-173页. Shaowen Lu 等.De ep Learn ing Based Fusion of RGB and I nfrared Ima ges for the Detection of Abn ormal Co ndition of Fused Magnesium Furnace. 《2019 IE EE 15th Internati onal Conference o n Control and Automati on (ICCA)》 .2019,第987-9 93页. 审查员 张杨 (54)发明名称 基于深度学习的电力设备红外热图的识别 方法及系统 (57)摘要 本发明涉及人工智能技术领域， 具体涉及一 种基于深度学习的电力设备红外热图的识别方 法及系统。 采集电力设备的红外图像和RGB图像， 根据RGB图像中的真实工作区和能量辐射区对红 外图像中的真实工作区和能量辐射区进行标注； 利用标注的红外图像对图像异常检测网络进行 训练； 通过训练好的图像异常检测网络对红外图 像进行异常检测， 根据检测结果进行电力设备的 异常预警。 结合RGB图像和红外图像中像素点的 灰度差异能够对不同的电力设备的红外图像的 标注， 解决了网络泛化能力不足的问题， 且提高 了网络训练的速度和网络异常检测的精度。 权利要求书2页 说明书6页 附图1页 CN 114724041 B 2022.09.06 CN 114724041 B 1.一种基于深度学习的电力设备红外热图的识别方法， 其特 征在于， 该 方法包括： 采集电力设备的红外图像和RGB图像， 根据所述RGB图像 中的真实工作区和能量辐射区 对所述红外图像中的真实工作区和能量辐射区进行 标注； 利用标注的所述红外图像对图像异常检测网络进行训练； 通过训练好的所述图像异常 检测网络对所述红外图像进行异常检测， 根据检测结果进行 所述电力设备的异常预警； 所述根据所述RGB图像 中的真实工作区和能量辐射区对所述红外图像 中的真实工作区 和能量辐射区进行 标注的方法， 包括： 利用语义分割网络获取 所述RGB图像中的真实工作区和能量辐射区； 将所述真实工作区和所述能量辐射区映射在所述红外图像中得到其初始真实工作区 和初始能量辐射区； 基于所述红外图像中所述初始真实工作区的边缘像素点获取所述红外图像的分割边 缘辐射区； 根据所述分割边缘辐射区对所述红外图像的实际真实工作区和实际能量辐射区进行 重新标注； 所述基于所述红外图像中所述初始真实工作区的边缘像素点获取所述红外图像的分 割边缘辐射区的方法， 包括： 以所述初始真实工作区边缘上的像素点作为初始生长种子点， 计算所述初始生长  种 子点分别与其八邻域内的像素点之间的灰度差异； 当所有灰度差异都小于灰度差异阈值 时， 则将其八邻域内像素点中在所述初始真实工 作区之外的像素点作为下一次生长种子点； 当部分灰度差异小于灰度差异阈值时， 则获取 八邻域中小于灰度异常阈值的像素点， 选择这些像素点中灰度差异 最大的像素点作为下一 次生长种子点， 直到生长种子点与其八邻域内所有像素点之间的灰度差异都大于灰度差异 阈值， 以停止种子生长； 将参与种子生长所对应的像素点构成分割边 缘辐射区； 所述根据所述分割边缘辐射区对所述红外图像的实际真实工作区和实 际能量辐射区 进行重新标注的方法， 包括： 将所述分割边缘辐射 区以内的区域作为所述红外图像中的所述实际真实工作区、 所述 分割边缘辐 射区与所述初始 能量辐射区之间的区域作为所述红外图像中的所述实际能量 辐射区； 所述利用标注的所述红外图像对图像异常检测网络进行训练的方法， 包括： 将标注后的所述红外 图像作为训练集， 输入所述图像异常检测网络， 输出对应所述红 外图像的异常置信度； 在所述图像异常检测网络的训练过程中， 根据所述分割边缘辐射 区的标注位置对卷积 核滑窗过程中的特 征权重进行调节， 根据调节后的特 征权重获取图像的特 征向量； 所述图像异常检测网络的损失函数为交叉熵损失函数； 所述调节后的特征权重与所述卷积核滑窗到所述标注位置之间的最小距离呈负相关 关系、 所述调节后的特 征权重与卷积层数 呈正相关 关系。 2.一种基于深度学习的电力设备红外热图的识别系统， 其特 征在于， 该系统包括： 图像标注单元， 用于采集电力设备的红外图像和RGB图像， 根据所述RGB图像中的真实权　利　要　求　书 1/2 页 2 CN 114724041 B 2工作区和能量辐射区对所述红外图像中的真实工作区和能量辐射区进行 标注； 图像检测单元， 用于利用标注的所述红外 图像对图像异常检测网络进行训练； 通过训 练好的所述图像异常检测网络对所述红外图像进 行异常检测， 根据检测结果进行所述电力 设备的异常预警； 所述图像标注单元中根据 所述RGB图像中的真实工作区和能量辐射区对所述红外图像 中的真实工作区和能量辐射区进行 标注的方法， 包括： 利用语义分割网络获取 所述RGB图像中的真实工作区和能量辐射区； 将所述真实工作区和所述能量辐射区映射在所述红外图像中得到其初始真实工作区 和初始能量辐射区； 基于所述红外图像中所述初始真实工作区的边缘像素点获取所述红外图像的分割边 缘辐射区； 根据所述分割边缘辐射区对所述红外图像的实际真实工作区和实际能量辐射区进行 重新标注； 所述图像标注单元中基于所述红外图像中所述初始真实工作区的边缘像素点获取所 述红外图像的分割边 缘辐射区的方法， 包括： 以所述初始真实工作区边缘上的像素点作为初始生长种子点， 计算所述初始生长  种 子点分别与其八邻域内的像素点之间的灰度差异； 当所有灰度差异都小于灰度差异阈值 时， 则将其八邻域内像素点中在所述初始真实工 作区之外的像素点作为下一次生长种子点； 当部分灰度差异小于灰度差异阈值时， 则获取 八邻域中小于灰度异常阈值的像素点， 选择这些像素点中灰度差异 最大的像素点作为下一 次生长种子点， 直到生长种子点与其八邻域内所有像素点之间的灰度差异都大于灰度差异 阈值， 以停止种子生长； 将参与种子生长所对应的像素点构成分割边 缘辐射区； 所述图像标注单元中根据所述分割边缘辐射区对所述红外图像的实际真实工作区和 实际能量辐射区进行重新标注的方法， 包括： 将所述分割边缘辐射 区以内的区域作为所述红外图像中的所述实际真实工作区、 所述 分割边缘辐 射区与所述初始 能量辐射区之间的区域作为所述红外图像中的所述实际能量 辐射区； 所述利用标注的所述红外图像对图像异常检测网络进行训练的方法， 包括： 将标注后的所述红外 图像作为训练集， 输入所述图像异常检测网络， 输出对应所述红 外图像的异常置信度； 在所述图像异常检测网络的训练过程中， 根据所述分割边缘辐射 区的标注位置对卷积 核滑窗过程中的特 征权重进行调节， 根据调节后的特 征权重获取图像的特 征向量； 所述图像异常检测网络的损失函数为交叉熵损失函数； 所述调节后的特征权重与所述卷积核滑窗到所述标注位置之间的最小距离呈负相关 关系、 所述调节后的特 征权重与卷积层数 呈正相关 关系。权　利　要　求　书 2/2 页 3 CN 114724041 B 3