(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210582400.2 (22)申请日 2022.05.26 (71)申请人 青岛科技大 学 地址 266000 山东省青岛市崂山区松岭路 99号 (72)发明人 张明月　马浴东　李庆党　罗莎　 (74)专利代理 机构 山东重诺律师事务所 372 28 专利代理师 林婷 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 基于体感控制器的机 械臂控制系统及方法 (57)摘要 本发明涉及基于体感控制器的机械臂控制 系统及方法， 其包括机械臂、 计算机、 体感控制器 与车体； 车体搭载机械臂； 体感控制器， 采用手部 数据传感器， 用于采集、 识别并提取操作者的手 部信息； 手部信息包括操作者的手部位置和手势 类别， 并将手部信息转换为控制指令， 传输给计 算机； 手势类别， 输入给计算机并控制机械臂和 车体， 手势类别包括静态手势及动态手势； 手部 位置包括右 手手掌位置信息， 手势 类别信息包括 右手手势信息及左手手势信息； 本发明设计合 理、 结构紧凑 且使用方便 。 权利要求书2页 说明书5页 附图2页 CN 114952837 A 2022.08.30 CN 114952837 A 1.一种基于体感控制器的机械臂控制系统  ， 其特征在于： 包括机械臂、 计算机、 体感控 制器与车体； 车体搭 载机械臂； 体感控制器， 采用手部数据传感器，  用于采集、 识别并提取操作者的手部信息； 手部信息包括操作者的手部位置和手势类别， 并将手部信息转换为控制指令， 传输给 计算机； 手势类别， 输入给计算机并控制机 械臂和车体， 手势类别包括静态手势及动态手势； 手部位置包括右手 手掌位置信息， 手势类别 信息包括右手 手势信息及左手 手势信息； 机械臂， 采用四自由度机械臂， 具有夹爪、 单片机、 通讯模块； 单片机操控夹爪执行动 作， 单片机连接通讯模块， 单片机通过通讯模块连接计算机； 计算机， 采用Unity3D作 为系统开发平台， 计算机接收并处理手部数据传感器采集的手 部信息， 对机械臂进行逆运动学的计算以及虚拟模型的仿真， 处理数据的传输集成在 Unity3D内； 逆运动学采用FABRIK的逆运动学算法  。 2.根据权利要求1所述的基于体感控制器的机械臂控制系统， 其特征在于： 手部位置信 息， 首先， 通过计算机直接转换为机械臂末端执行器位置； 其次， 通过FABRIK逆运动学算法 计算出每个自由度应该偏转的角度实现机械臂的运动； 然后在 采集到操作者手部中心点位 置信息后， 对其进 行百分位形态滤波和高斯滤波相结合的滤波方式进 行处理； 最后， 将处理 后的手部中心点 位置信息 输入到计算机中； 计算机， 在Unity3D中建立了机械臂和车体的模型， 计算机集成有视频采集模块、 UI界 面及示教模块； 在示教模块中采用了三次贝 塞尔曲线 进行运动轨 迹的拟合， 用以平 滑示教路径。 3.根据权利要求1所述的基于体感控制器的机械臂控制系统， 其特征在于： 右手位置信 息， 用来控制机械臂的移动， 机械臂的末端 执行器与 右手手部中心点建立映射， 经过在计算 机中进行坐标转换后， 机械臂的末端执行器跟随右手手掌中心点进行移动， 计算机的 Unity3D根据逆运动学算法求解出机械臂各个自由度的偏转角度， 最后将各个自由度的偏 转角度实时的通过无线串口模块 发送给真实的机械臂来驱动舵机的转动， 从而实现整个机 械臂的移动； 右手手势信息， 用来控制机械臂末端执行器的打开和闭合， 右手手势 的张开和握拳对 应末端执 行器的开 合； 左手手势信息， 用来控制承载机械臂 的车体的移动， 左手的动态和静态手势对应控制 车体的前进、 后退、 左转和右转。 4.一种基于体感控制器的机械臂控制方法， 其特征在于： 借助于权利要求1 ‑3任一项所 述的系统， 控制方法包括以下步骤； S1， 首先， 操作者的手部动作和手势作为输入信号； 然后， 手部动作和手势信息经过体 感控制器采集后进入到Unity3D中进行处理； 其次， Unity3D接收到体感控制器传来的手部 动作和手势信息后将其分为三组数据， 三组数据包括右手位置信息、 右手手势信息及左手 手势信息； S2， 首先， 通过Unity， 右手手掌位置信息通过位置转换使得计算机中的机械臂模型的 末端点跟随右手手掌位置信息移动； 然后， 通过逆运动学算法计算出机械臂各个 自由度需 要偏转的角度并发送给真实机械臂的舵机， 使得真实机械臂也可以跟随手掌位置移动， 另权　利　要　求　书 1/2 页 2 CN 114952837 A 2外， Unity3D根据已经设定好的手势识别程序 识别出操作者的手势信息， 通过手势 来控制机 械臂末端夹爪的张开与闭合来实现夹取以及控制车体前进与后退， 从而操作者使用手部来 控制系统进行物体的搬运和抓取工作。权　利　要　求　书 2/2 页 3 CN 114952837 A 3