(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210378027.9 (22)申请日 2022.04.12 (71)申请人 西南交通大 学 地址 610000 四川省成 都市二环路北一段 (72)发明人 崔闯　张登科　张清华　劳武略　 邱师津　宋松科　李镇　王强　 沈孔健　 (74)专利代理 机构 成都行之专利代理事务所 (普通合伙) 51220 专利代理师 林菲菲 (51)Int.Cl. B25J 5/00(2006.01) B25J 9/16(2006.01) B25J 11/00(2006.01) (54)发明名称 基于双目视觉的钢结构损伤智能巡检方法、 系统及机 器人 (57)摘要 本发明公开了基于双目视觉的钢结构损伤 智能巡检方法、 系统及机器人， 所述方法包括： 获 取待测钢结构图像数据， 进行滤波、 降噪、 图像增 强和三维重构， 获得钢结构图像三维重构数据； 搭建卷积神经网络模型对钢结构图像三维重构 数据进行多次迭代训练， 获得钢结构损伤识别模 型； 判断待测钢结构损伤类型， 并采用实例分割 和二值化计算获得识别的损伤图像； 将识别的损 伤图像进行骨架提取和像素映射到三维表面， 并 进行形态特征计算， 获得损伤的几何尺寸与空间 位置信息； 根据所述损伤的几何尺 寸与空间位置 信息进行可视化成像， 获得可视化钢结构损伤图 像。 本发明通过双目视觉技术获取更多的损伤特 征信息， 结合机器学习算法， 实现了对损伤的快 速高效检测。 权利要求书3页 说明书11页 附图4页 CN 114454137 A 2022.05.10 CN 114454137 A 1.一种基于双目视 觉的钢结构损伤智能巡检方法， 其特 征在于， 包括如下步骤： S1： 获取待测钢结构图像数据， 并对待测钢结构图像数据进行滤波、 降噪和图像增 强， 获得增强后的钢结构图像数据； S2： 基于增强后的钢结构图像数据获得钢结构图像的三维空间信息， 并对钢结构图像 的三维空间信息进行图像三维重构， 获得钢结构图像三维重构数据； S3： 搭建卷积神经网络模型对钢结构图像三维重构数据进行多次迭代训练， 获得钢结 构损伤识别模型； S4： 基于钢结构损伤识别模型判断待测钢结构损伤类型， 并采用实例分割和二值化计 算获得识别的损伤图像； S5： 将识别的损伤图像进行骨架提取和像素映射到三维表面， 并进行形态特征计算， 获 得损伤的几何尺寸与空间位置信息； S6： 根据所述损伤的几何尺寸与空间位置信息进行可视化成像， 获得可视化钢结构损 伤图像。 2.根据权利要求1所述的一种基于双目视觉的钢结构损伤智能巡检方法， 其特征在于， 步骤S1中， 所述获取待测钢结构图像数据， 包括： 通过主摄像头和副摄像头进行图像采集， 在运动过程中记录主摄像头和 副摄像头的转动角度和运动距离， 通过相机坐标位置变化完 成图像像素坐标到世界坐标的转换。 3.根据权利要求1所述的一种基于双目视觉的钢结构损伤智能巡检方法， 其特征在于， 步骤S2中， 所述对钢结构图像的三 维空间信息进 行图像三 维重构， 包括： 通过主摄像头和 副 摄像头的图像匹配和坐标计算， 判断主副摄像头图像在场景中物体的远近差异获得图像的 三维空间信息， 并采用逆向工程思维对空间信息进行图像三维重构。 4.一种基于双目视觉的钢结构损伤智能巡检系统， 其特征在于， 包括图采模块、 图像预 处理模块、 双目视觉重构模块、 钢结构损伤识别模块、 检测分割模块、 形态特征计算模块、 可 视化成像模块； 所述图采模块用于获取待测钢结构图像数据， 并将待测钢结构图像数据传输给图像预 处理模块； 所述图像预处理模块用于对待测钢结构图像数据进行滤波、 降噪和图像增强， 获得增 强后的钢结构图像数据； 所述双目视觉重构模块用于根据增强后的钢结构图像数据获得钢结构图像的三维空 间信息， 并对钢结构图像的三维空间信息进行图像三维重构， 获得钢 结构图像三维重构数 据； 所述钢结构损伤识别模块用于根据钢结构图像三维重构数据判断待测钢结构损伤类 型； 所述检测分割模块用于基于损伤类型采用实例分割和二值化计算获得识别的损伤图 像； 所述形态特征计算模块用于将识别的损伤图像进行骨架提取和像素映射到三维表面， 并进行形态特征计算， 获得损伤的几何尺寸与空间位置信息； 所述可视化成像模块用于根据 所述损伤的几何尺寸与空间位置信 息进行可视化成像， 获得可视化钢结构损伤图像。权　利　要　求　书 1/3 页 2 CN 114454137 A 25.一种基于双目视觉的钢结构损伤智能巡检机器人， 其特征在于， 包括： 机器人本体、 视觉子系统、 控制子系统和监控子系统， 所述视 觉子系统设置在所述机器人本体上； 所述机器人本体用于执行控制子系统发送的控制 指令， 还用于将视觉子系统处理后得 到的损伤信息传输 至控制子系统和监控子系统； 所述视觉子系统用于采集待测钢结构图像数据， 并对采集的待测钢结构图像数据进行 处理， 得到待测钢结构的损伤信息， 包括： 图像采集器， 用于获取待测钢结构图像数据； 图像预处理器， 用于对待测钢结构图像数据进行滤波、 降噪和图像增强， 获得增强后的 钢结构图像数据； 双目视觉重构处理器， 用于根据增强后的钢结构图像数据获得钢结构图像的三维空间 信息， 并对钢结构图像的三维空间信息进行图像三维重构， 获得钢结构图像三维重构数据； 钢结构损伤 识别器， 用于根据钢结构图像三维重构数据判断待测钢结构损伤类型； 检测分割器， 用于基于损伤类型采用实例分割和二 值化计算获得识别的损伤图像； 形态特征计算器， 用于将识别的损伤图像进行骨架提取和像素映射到三维表面， 并进 行形态特征计算， 获得损伤的几何尺寸与空间位置信息； 图像显示器， 用于根据损伤的几何尺寸与空间位置信息进行可视化成像， 获得可视化 钢结构损伤图像； 数据处理器， 用于将待测钢结构的损伤类型、 损伤图像、 损伤的几何尺寸及空间位置信 息进行汇总， 得到待测钢结构的损伤信息， 并将损伤信息发送给机器人本体； 所述控制子系统用于发出控制机器人本体行动和转动的指令， 还用于根据视觉子系统 传输的损伤信息来调整图像预处 理器的姿态和灯光； 所述监控子系统用于实时监控、 计算处理和储存来自视觉子系统的损伤信息， 当损伤 信息达到预设阀值时进行 预警。 6.根据权利要求5所述的一种基于双目视觉的钢结构损伤智能巡检机器人， 其特征在 于， 所述图像采集器包括主摄像头和副摄像头； 所述主摄像头和副摄像头分别通过高清图 像传输线将采集的待测钢结构图像数据传递至图像预处 理器。 7.根据权利要求5所述的一种基于双目视觉的钢结构损伤智能巡检机器人， 其特征在 于， 所述机器人本体包括： 主控模块： 用于处理由控制子系统发出的运动指令， 根据处理后的运动指令控制机器 人本体的行动和转动行为， 还用于控制图像采集器的摄 像头的姿态和灯光亮度； 运动模块： 用于执行由主控模块发出的行动和转动指令， 同时记录机器人本体在待测 钢结构表面的平面 运动位置信息； 通讯模块： 用于接收控制子系统 的运动指令， 并将指令信号传递至主控模块， 还用于将 经过数据处理器处理后的损伤信息实时传输 至控制子系统和监控子系统。 8.根据权利要求5所述的一种基于双目视觉的钢结构损伤智能巡检机器人， 其特征在 于， 所述机器人本体还包括电源模块， 所述电源模块用于为机器人本体供电； 所述电源模块 包括USB电源线和电池组； 所述USB电源线作为第一供电方式， 所述USB电源线直接连接于主 板供电插口且可通过主板对电池组充电； 所述电池组作为第二供电方式， 在无USB电源线 供权　利　要　求　书 2/3 页 3 CN 114454137 A 3