(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210382808.5 (22)申请日 2022.04.12 (71)申请人 南京工程学院 地址 211167 江苏省南京市江宁区弘景 大 道1号 (72)发明人 黄家才　邢磊　袁畅　包光旋　 周楷文　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 苏一帜 (51)Int.Cl. B25J 9/16(2006.01) B25J 13/06(2006.01) (54)发明名称 一种基于模型及图像识别的机器人控制系 统与方法 (57)摘要 本发明实施例公开了一种基于模型及图像 识别的机器人控制系统与方法， 涉及机器人控制 技术领域， 能够优化机器人控制系统的基础架 构， 简化开发的难度。 本发明包括： 相机1通过串 口或者网口与上位机2相连， 上位机2通过数据线 与总线控制模块3相连， 总线控制模块3通过总线 网络组网的方式与运动控制柜4相连， 运动控制 柜4通过编码器线和动力线与机器人本体5相连； 在上位机2中加载并运行机器人控制模型； 运动 控制柜4， 用于采集机器人本体5的运行状态信息 并向总线控制模块3传输； 运动控制柜4， 还用于 解析上位机2通过总线控制模块3发送的驱动数 据。 权利要求书3页 说明书9页 附图4页 CN 114700945 A 2022.07.05 CN 114700945 A 1.一种基于模型及图像识别的机器人控制系统， 其特征在于， 所述系统的组成部分至 少包括： 相机(1)、 上位机(2)、 总线控制模块(3)、 运动控制柜(4)和机器人本体(5)， 其中， 相 机(1)通过串口或者网口与上位机(2)相连， 上位机(2)通过数据线与总线控制模块(3)相 连， 总线控制模块(3)通过总线网络组网的方式与运动控制柜(4)相连， 运动控制柜(4)通过 编码器线和动力线与机器人本体(5)相连； 在上位机(2)中加载并运行机器人控制模型； 运动控制柜(4)， 用于采集机器人本体(5)的运行状态信息 并向总线控制模块(3)传输； 运动控制柜(4)， 还用于解析 上位机(2)通过总线控制模块(3)发送的驱动数据。 2.根据权利要求1所述的系统， 其特征在于， 所述机器人控制模型， 包括： 图像处理单元 (2‑1)、 总线通信单 元(2‑2)、 正解单元(2‑3)、 逆解单 元(2‑4)和轨迹规划单 元(2‑5)； 所述图像处理单元(2 ‑1)， 用于读取相机(1)拍摄的图像， 在图像中识别具有特征颜色 和形状的目标物体， 并计算所述目标物体在图像中的坐标， 其中， 所述目标物体在图像中的 二维坐标转 化为在机器人基坐标系下的三维坐标； 正解单元(2 ‑3)， 用于处理输入的机器人各关节角度的角度数据， 并输出机器人的末端 位置信息和姿态信息； 逆解单元(2 ‑4)， 用于处理输入的机器人末端位置信息和姿态信息， 并输出机器人各关 节的角度值； 轨迹规划单元(2 ‑5)， 用于根据两点坐标， 进行直线插补运算， 计算出直线轨迹中的插 补点； 总线通信单元(2 ‑2)， 用于将机器人各关节角度值转化成符合总线通信规范的数据 帧， 并通过 数据线将数据帧传输给总线控制模块(3)。 3.根据权利要求1所述的系统， 其特征在于， 运动控制柜(4)， 的组成部分至少包括： 控 制器(4‑1)、 数据采集电路(4 ‑2)、 总线通信电路(4 ‑3)和伺服驱动器(4 ‑4)； 其中， 通过数据采集电路(4 ‑2)采集机器人本体(5)的运行状态信息并传给控制器(4 ‑ 1)， 所述运行状态信息 至少包括： 机器人本体(5)的位置信息、 速度信息和电流信息； 总线通信电路(4 ‑3)与总线控制模块(3)连接， 接收并解析上位机(2)通过总线控制模 块(3)， 并将解析后的驱动数据发送给控制器(4 ‑1)； 控制器(4 ‑1)中加载并运行电机控制算法， 控制器(4 ‑1)输出PWM或者SVPWM波。 4.根据权利要求2所述的系统， 其特征在于， 所述机器人控制模型， 还包括图形显示单 元(2‑6)， 用于通过 上位机(2)的显示屏展示显示机器人的物理实体的状态。 5.一种基于模型及图像识别的机器人控制方法， 其特征在于， 包括： 图像处理环节、 运 动控制环 节和反馈监测环 节； 在图像处理环节中， 拍摄机器人本体(5)的图像， 并从图像中识别机器人本体(5)的坐 标， 以及机器人本体(5)中的各个关节电机的位置， 并进一 步得到机器人各关节的角度值； 在运动控制环节中， 实时采集伺服驱动器的电压信息， 以及 关节电机的位置， 速度和电 流信息， 并利用所采集的信息和上位机(2)通过总线控制模块(3)发出的数据帧生成控制 信 号； 在反馈监测环节中， 利用生成的控制信号控制机器人本体(5)的运行， 并通过机器人本 体(5)的各关节电机的位置， 检测机器人本体(5)是否运动到给定位姿。 6.根据权利要求5所述的方法， 其特 征在于， 在图像处 理环节中， 包括：权　利　要　求　书 1/3 页 2 CN 114700945 A 2S1、 运动控制柜(4)启动， 并检测运动控制柜(4)的初始状态是否异常； S2、 上位机(2 )读取相机(1)拍摄的图像， 其中， 相机(1)的拍摄视野覆盖机器人本体 (5)； S3、 上位机(2)在读取到的图像中， 识别具有特征颜色和形状的目标物体， 并计算所述 目标物体在图像中的坐标； S4、 上位机(2)所述目标物体在图像中的二维坐标转化为在机器人基坐标系下的三维 坐标； S5、 上位机(2)获取机器人本体(5)的关节电机位置， 并计算机器人末端位置， 其中， 所 述机器人末端位置包括： 当前机器人本体(5)的最后一轴末端在所述机器人基坐标系中的 位置； S6、 上位机(2)计算所述目标物体的位置与所述机器人末端位置的距离； S7、 S6中计算出的距离大于所设定的阈值， 则将上位机(2)所述机器人末端位置和所述 目标物体的位置输入轨迹规划单元得到机器人本体(5)的最后一轴末端在直线运行轨迹中 的插补点； S8、 上位机(2)对所 得达的插补点进行运动学逆解， 得到 机器人各关节的角度值； S9、 上位机(2)将机器人各关节角度值转化成符合总线通信规范的数据帧， 并通过数据 线将数据帧传输给总线控制模块(3)； S10、 由总线控制模块(3)将数据帧发送到总线网络 。 7.根据权利要求5所述的方法， 其特 征在于， 在运动控制环 节中， 包括： S11、 运动控制柜(4)中的控制器通过总线通信电路， 从所述总线网络接收总线控制模 块(3)发送的数据帧； S12、 运动控制柜(4)采集伺服驱动器的电压信息信息， 同时还采集机器人本体(5)中的 关节电机的位置， 速度和电流信息； S13、 运动控制柜(4)将采集到 的信息通过总线控制模块(3)上传到上位机(2)， 并同时 利用采集到的信息和上位机(2)给定的角度值进行计算并生成控制信号； S14、 运动控制柜(4)的伺服驱动器接收所述控制信号， 并根据所述控制信号驱动机器 人关节电机运动； 在反馈监测环 节中， 包括： S15、 当机器人本体(5)的各关节开始运动后， 上位机(2)对机器人本体(5)的各关节进 行监控； S16、 当上位机(2)检测到各关节电机到达给定位置时， 判定机器人本体(5)运动 到给定 位姿。 8.根据权利要求6所述的方法， 其特 征在于， 在S3中， 包括： S31： 对读取到的图像进行 滤波； S32： 将滤波后的图像的RGB颜色空间， 转 化为HSV颜色空间； S33： 遍历图像中的每一个 像素点， 并通过HSV色彩空间判断像素点颜色； S34： 如果像素点颜色不符合特 征颜色， 则将像素点颜色 设置成白色； S35： 将经过S34处理后的图像进行二 值化处理； S36： 对图像进行Blob分析， 识别出所述目标物体的形状， 并提取所述目标物体的中心权　利　要　求　书 2/3 页 3 CN 114700945 A 3