(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210609490.X (22)申请日 2022.05.31 (71)申请人 深圳了然视 觉科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新社区豪威科技大厦210 5 (72)发明人 王琪　杨海伟　张观洲　 (74)专利代理 机构 广东中禾共赢知识产权代理 事务所(普通 合伙) 44699 专利代理师 赵浩 (51)Int.Cl. B23K 37/02(2006.01) B23K 37/00(2006.01) B25J 9/16(2006.01) (54)发明名称 一种基于3D视觉引导的钢筋焊接自动化系 统 (57)摘要 本发明公开了一种基于3D视觉引导的钢筋 焊接自动化系统， 本发明中， 自动化系统的硬件 组成包括视觉模块、 焊接机械臂、 工作平台， 其 中， 视觉模块由3D相机、 工控机组成； 焊接机械臂 由机械臂、 焊枪组成， 两台机械臂倒装在龙门架 上； 该系统能够评估出待焊接钢筋交点位置相对 于标准位置在空间三维坐标的偏移量， 并且可以 将这些偏移量传送给相应的机械焊接设备， 引导 焊接设备实现精确焊接， 同时利用视觉评估系统 对焊接质量及进行评估。 本发明可以解决钢筋网 由于存在折弯、 变形以及放置一致性差而导致的 自动焊接失败的问题， 通过视觉算法定位焊接 点， 计算焊接轨迹， 从而减少机械臂焊接示教， 实 现基于视觉引导的焊接自动化， 提升钢筋网的焊 接效率。 权利要求书2页 说明书5页 附图2页 CN 114749848 A 2022.07.15 CN 114749848 A 1.一种基于3D视觉引导的钢筋焊接自动化系统， 其特征在于： 所述自动化系统的硬件 组成包括视觉模块、 焊接机械臂、 工作平台， 其中： 视觉模块由3D相机、 工控机组成； 焊接机 械臂由机械臂、 焊枪组成， 其中两台机械臂倒装在龙门架上； 作业平台由作业平 面、 龙门架、 龙门架移动轨道组成； 所述基于3D视觉引导的钢筋焊接自动化系统在运行时包括以下步 骤： S1:进行普通标定板手眼标定时， 将标定板放置在焊接有效区域中心， 通过控制示教器 移动， 机械臂携带3D相机移动到不同位置对标定板进 行拍摄， 进 行手眼标定， 计算出手眼标 定的结果； S2:进行基于3D视觉的标定时， 先使用3D相机拍摄钢筋待焊接区域， 工控机直接返回所 有待焊接点， 然后通过示教器控制 焊枪走轨迹逐步到每个待焊接点， 工控机通过记录到算 法输出点和焊枪到焊接位置的机 械臂坐标， 计算出手眼标定的结果； S3:之后将龙门架移动到预设位置A,B,C,D..N处， 在 龙门架固定在某点时， 预设机械臂 拍照位R1,R2,R3…Rn， 以覆盖尽可能多的焊接点； S4:龙门架移动 到A位置， 机械臂移动 到拍照位R1； 机械臂 发送信号给3D相机启动拍摄， 将采集到待焊接钢筋的3D点云， 传送给工控机 S5:工控机的视 觉软件根据3D点云通过算法分析 出待焊接点； S6:焊接机械臂收到焊接 轨迹， 并执行焊接； 完成所有焊接后， 机 械臂移动到拍照位R 1； S7:焊接完成后， 进行焊接质量检测； 从多个维度评估钢筋焊接的质量， 包括图像层面 和点云层面 S8:对采集到的图像数据， 先定位焊接ROI区域， 提取图片数据特征， 送入已训练的深度 学习网络模型中进行推理， 分析异常焊接数据和正常数据的差异， 输出置信度X； S9:对点云数据进行特征提取， 包括统计焊接交界处的点云分布密度， 分析是否存在大 面积的空洞， 计算 点云的平 滑程度； 输出焊接质量置信度Y； S10:最终融合输出的图像置信度X和点云置信度Y进行不同权重的叠加； 使得两者协作 的结果与预设目标一 致， 输出对应的OK/NG信息 。 2.如权利要求1所述的一种基于3D视觉引导的钢筋焊接自动 化系统， 其特征在于： 所述 步骤S1中， 使用工控机上的视觉软件通过使用不同机械臂 位置下的坐标值与对应的图像进 行手眼标定 。 3.如权利要求1所述的一种基于3D视觉引导的钢筋焊接自动 化系统， 其特征在于： 所述 步骤S3中， 覆盖尽可能多的焊接点之后启动正式进入焊接流 程。 4.如权利要求1所述的一种基于3D视觉引导的钢筋焊接自动 化系统， 其特征在于： 所述 步骤S4中， 所用3D相机视野范围大且成像速度快， 单次拍照可以获取到多达8 ‑64个钢筋交 叉点的坐标。 5.如权利要求1所述的一种基于3D视觉引导的钢筋焊接自动 化系统， 其特征在于： 所述 步骤S4中， 通过算法分析 出待焊接点； 具体流 程如下： S51:首先对采集到的点云数据进行预处理， 包括降采样， 离群点过滤和直通滤波等， 有 效减少点云数量， 方便后续 点云计算； S52:将得到的点云数据， 向xoy平面进行投影， 得到投影图,使得三维点云数据映射至 二维图像数据， 进一 步简化后续交点定位难度；权　利　要　求　书 1/2 页 2 CN 114749848 A 2S53:对上一步得到的二维图像数据进行预处理， 包括形态学处理、 连通域归并， 强化钢 筋交点的图像特 征， 方便后续的交点检测； S54:对预处理后的钢筋交点 图像进行十字交点检测， 先利用角点检测， 初步定位到十 字交叉点的位置， 然后利用交叉点上下左右的四个端点值， 进行准确 地钢筋的交点中心定 位； S55:将二维的图像上的钢筋交点位置进行映射， 得到空间上的钢筋交点位置； 从而得 到待焊接点的3D坐标点； S56:根据手眼标定结果转换到机械臂坐标系下的3D坐标点， 并生成焊接路径规划轨 迹， 发给焊接 机械臂。 6.如权利要求1所述的一种基于3D视觉引导的钢筋焊接自动 化系统， 其特征在于： 所述 步骤S6中， 启动3D相机拍摄采集到焊接后钢筋的3D点云， 并将3D点云数据传送到 工控机。 7.如权利要求1所述的一种基于3D视觉引导的钢筋焊接自动 化系统， 其特征在于： 所述 步骤S9中， 还 会对点云数据进行 人为的特 征提取。 8.如权利要求1所述的一种基于3D视觉引导的钢筋焊接自动 化系统， 其特征在于： 所述 步骤S9中， 还会判断焊接交界处的点云分布密度， 是否存在大面积的空洞， 点云的平滑程 度、 输出焊接质量置信度Y 。 9.如权利要求1所述的一种基于3D视觉引导的钢筋焊接自动 化系统， 其特征在于： 所述 步骤S9中， 通过网络训练得到一个 检测模型， 利用检测模型输出焊接质量置信度X。权　利　要　求　书 2/2 页 3 CN 114749848 A 3