(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210371787.7 (22)申请日 2022.04.11 (71)申请人 武汉汉宁轨道交通 技术有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区大学园路以南国家 地球空间信息 产业基地五期- -武大慧园1#幢7层6号 (72)发明人 夏洪峰　汤舒柳　邹阳　高育文　 来德辉　熊永钢　李夏亮　李杨　 朱旭波　刘天　王丽　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张文娥 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01N 21/88(2006.01) (54)发明名称 隧道病害检测方法、 装置和电子设备 (57)摘要 本发明提供了一种隧道病害检测方法、 装置 和电子设备， 将三维点云数据对应的待检测灰度 图输入残差神经网络， 得到多个特征层； 再通过 特征金字塔网络进行特征融合处理， 将得到的处 理后的多个融合特征层输入区域候选网络中， 输 出各自对应的多个第一锚框； 进而确定病害检测 结果。 该方式将三维点云数据转换为待检测灰度 图， 通过提取待检测灰度图的特征层， 并采用残 差神经网络、 特征金字塔网络和区域候选网络进 行待检测隧道的病害区域识别检测， 相较于传统 影像图， 灰度图中的信息特征更为明显， 更便于 对病害区域进行识别， 另外， 通过多种不同的神 经网络实现对待检测隧道的病害区域的自动检 测和自动识别， 可以进一步提高对病害区域的检 测效率和精度。 权利要求书3页 说明书17页 附图8页 CN 114723709 A 2022.07.08 CN 114723709 A 1.一种隧道病害检测方法， 其特 征在于， 所述方法包括： 采集待检测隧道的三维点云数据； 基于所述 三维点云数据， 生成所述 三维点云数据对应的待检测灰度图； 将所述待检测灰度图输入至预先训练好的残差神经网络， 以通过预先训练好的残差神 经网络， 提取 所述待检测灰度图的特 征， 得到多个特 征层； 通过预先训练好的特征金字塔网络， 对所述多个特征层进行特征融合处理， 得到处理 后的多个融合特 征层； 针对处理后的每个融合特征层， 将该融合特征层输入至预先训练好的区域候选网络 中， 输出该融合特 征层对应的多个第一锚框； 基于多个所述第一锚框， 确定所述待检测隧道的病害检测结果。 2.根据权利要求1所述的方法， 其特征在于， 通过预先训练好的特征金字塔网络， 对所 述多个特 征层进行 特征融合处 理， 得到处 理后的多个融合特 征层的步骤 包括： 将多个特征层中的最后 一层特征层作为当前特征层， 基于预先训练好的特征金字塔网 络， 对所述当前特征层进行上采样处理， 得到与相邻的前一层特征层大小相同的采样后特 征层； 将所述采样后特征层与所述前一层特征层进行像素间相加， 得到相加后的特征层， 将 所述相加后的特 征层确定为 新的前一层特 征层； 将所述新的前一层特征层作为新的当前特征层， 重复执行基于预先训练好的特征金字 塔网络， 对所述当前 特征层进行 上采样处 理的步骤， 得到处 理后的多个融合特 征层。 3.根据权利要求1所述的方法， 其特征在于， 基于多个所述第一锚框， 确定所述待检测 隧道的病害检测结果的步骤 包括： 对多个所述第一锚框进行筛 选处理， 得到筛选后的多个第二锚框； 对多个所述第二锚框， 按区域特征聚集方式进行处理， 生成与每个所述第二锚框对应 的掩膜结果； 对多个所述第 二锚框进行分类和边框回归处理， 得到所述待检测隧道的病 害初始检测 结果； 基于所述掩膜结果和所述病害初始检测结果， 确定所述待检测隧道的病害检测结果。 4.根据权利要求1所述的方法， 其特征在于， 所述残差神经网络、 所述特征金字塔网络 和所述区域 候选网络通过 下述方式训练得到： 获取包含隧道的样本图像； 其中， 所述样本图像为灰度图， 所述样本图像 中标记有用于 指示所述隧道的病害区域的真实框和真实分类信息； 将所述样本图像输入至初始 残差神经网络中， 输出多个初始特 征层； 通过初始特征金字塔网络， 对多个所述初始特征层进行特征融合处理， 得到处理后的 多个初始融合特 征层； 针对每个所述初始融合特征层， 将该初始融合特征层输入至初始区域候选网络中， 输 出该初始融合特 征层对应的多个初始建议框； 针对每个所述初始建议框， 计算该初始建议框与对应的所述真实框之间的交并比， 得 到交并比值； 将所述交并比值大于第 一预设阈值的初始建议框确定为正样本图像， 将所述交并比值权　利　要　求　书 1/3 页 2 CN 114723709 A 2小于第二预设阈值的初始建议框确定负 样本图像； 对所述正样本图像和所述真实框之间进行边框回归计算， 得到建议框的修 正参数； 基于所述建议框的修正参数， 训练所述初始残差神经网络、 所述初始特征金字塔网络 和所述初始区域候选网络， 得到训练好的所述残差神经网络、 所述特征金字塔网络和所述 区域候选网络 。 5.根据权利要求4所述的方法， 其特征在于， 基于所述建议框的修正参数， 训练所述初 始残差神经网络、 所述初始特征金字塔网络和所述初始区域候选网络， 得到训练好的所述 残差神经网络、 所述特 征金字塔网络和所述区域 候选网络的步骤 包括： 对每个所述初始建议框进行分类处 理， 得到各自对应的类别分数； 基于所述类别分数， 确定目标建议框； 对所述目标建议框按区域特 征聚集方式进行处 理， 生成对应的掩膜结果； 根据所述真实框， 调整每个所述目标建议框的尺寸， 得到调整后的所述目标建议框； 基 于所述真实框和所述建议框的修正参数， 确定调整后的所述目标建议框对应的目标修正参 数和目标建议框偏差的损失函数； 对调整后的所述目标建议框进行分类和边框回归处理， 得到预测分类结果和目标修正 参数； 根据所述真实分类信息、 所述预测分类结果和所述目标修正参数， 确定目标分类损 失 函数； 基于所述掩膜结果和所述预测分类结果， 确定掩膜与 所述预测分类结果的平均二值交 叉熵损失函数； 训练所述残差神经网络、 所述特征金字塔网络和所述区域候选网络， 直至所述目标建 议框偏差的损失函数、 目标分类损失函数和所述平均二值交叉熵损失函数收敛， 得到训练 完成的所述残差神经网络、 所述特 征金字塔网络和所述区域 候选网络 。 6.根据权利要求5所述的方法， 其特征在于， 基于所述类别分数， 确定目标建议框的步 骤包括： 按照所述类别分数从高到低的顺序， 选取预设数量的分数较高的第一建议框、 预设数 量的分数较低的第二建议框； 从所述建议框的修正参数中选取所述第一建议框对应的修正参数和所述第二建议框 对应的修 正参数； 按预设比例对所述第一建议框和所述第二建议框进行采样， 得到目标建议框； 所述基于所述真实框和所述建议框的修正参数， 确定调整后的所述目标建议框对应的 目标修正参数和目标建议框偏差的损失函数的步骤 包括： 基于所述真实框、 所述第一建议框对应的修正参数和所述第二建议框对应的修正参 数， 确定调整后的所述目标建议框对应的目标修 正参数和目标建议框偏差的损失函数。 7.根据权利要求1所述的方法， 其特征在于， 所述三维点云数据包括多帧； 基于所述三 维点云数据， 生成所述 三维点云数据对应的待检测灰度图的步骤 包括： 针对每帧三维点云数据， 对当前帧三维点云数据进行过滤， 得到过滤后的三维点云数 据； 根据所述待检测隧道的中心位置和预设图片宽度， 获取过滤后的所述三维点云数据落权　利　要　求　书 2/3 页 3 CN 114723709 A 3