(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210680349.9 (22)申请日 2022.06.15 (71)申请人 谙迈科技 （宁波） 有限公司 地址 315043 浙江省宁波市 鄞州区潘火街 道宁创科技中心1号2 901-1室 (72)发明人 徐涛　雷超　韩军功　范振坤　 黄焯旭　程王婧　 (74)专利代理 机构 嘉兴启帆专利代理事务所 (普通合伙) 33253 专利代理师 林鸳 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于跟踪视觉识别算法的机械臂智能 控制方法 (57)摘要 本发明公开了一种基于跟踪视觉识别算法 的机械臂智能控制方法， 包括机械臂及控制机械 臂运动的控制系统， 所述机械臂上设有图像获取 单元和距离检测单元， 控制系统包括图像识别单 元； 图像获取单元用于实时获取喂食对象的状态 图像， 将状态图像发送至图像识别单元， 图像识 别单元基于跟踪视觉识别算法来判断状态 图像 中喂食对象的状态与遮挡情况， 跟踪视觉识别算 法可捕捉用户的面部与特定动作来判定是否喂 食。 本发明可有效解决多对象遮挡问题， 避免在 遮挡情况下进行喂食， 利用机器视觉来控制机械 臂运动， 大大增强了喂食的灵活性， 能跟踪判定 被用户的状态从而合理 投喂。 权利要求书2页 说明书5页 附图2页 CN 115056223 A 2022.09.16 CN 115056223 A 1.一种基于跟踪视觉识别算法的机械臂智能控制方法， 包括机械臂、 控制机械臂运动 的控制系统以及操作界面， 其特征在于： 所述机械臂上设有图像获取单元和距离检测单元， 控制系统包括图像识别单元； 图像获取单元用于实时获取 喂食对象的状态图像， 将状态图 像发送至图像识别单元， 图像识别单元基于跟踪视觉识别算法来判断状态图像中喂食对象 的状态与遮挡情况， 跟踪视 觉识别算法可捕捉用户的面部与特定动作来判定是否喂食； 具体包括以下步骤： 1)事先将用户面部特征信息录入数据库中， 将 获取到的图像信 息与数据库中的用户面 部特征信息进行比对， 确认获取的图像信息中的用户身份； 2)利用卡尔曼滤波器对图像 中的用户动作进行预测分析， 通过两组相似度不同的动作 数据融合为一个确定靠谱的动作预测值， 即分配问题将卡尔曼滤波器的预测映射到新到达 的测量值Z1， 利用匈 牙利算法来关联 逐个图像数据； 3)利用距离检测单 元来检测用户所在检测点与机 械臂之间的距离值； 4)构建神经网络模型来训练分析用户的特定动作， 张嘴或摇头； 5)控制系统的控制逻辑 为： ①检测点与机械臂之间的距离值小于等于预设距离值， 未捕捉到用户的特定动作， 判 断用户被遮挡， 机 械臂不工作； ②检测点与机械臂之间的距离值小于等于预设距离值， 捕捉到用户的特定动作， 张嘴 或摇头， 判断用户需要喂食或停止喂食， 机 械臂正常工作或停止 工作； ③检测点与机 械臂之间的距离值大于预设距离值， 机 械臂不工作。 2.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法， 其特征在于： 当 捕获到图像信息后， 比对处理动作指令是否与预测值Z1吻合， 即置信区间在90％以上且动 作延迟信号1.5s以上； 同时处理 图像数据关联信息得到扫描值Z2， 即扫描脸部五官轮廓边 界是否重叠来判断面部是否遮挡， 获取到的图像信息与数据库中已有的人脸进行比对， 相 似性大于90％， 则判定为正常识别无遮挡， 若发现与数据库中的人脸信息轮廓相似比低于 90％或扫描不到轮廓信息， 则判定有遮挡， 此时不进 行喂食操作； 通过匈牙利算法将预测值 Z1与图像信息扫描值Z2进行比对， 即Z1≈Z2时判定为 正常， 误差区间3％以内。 3.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法， 其特征在于： 步 骤4)中， 神经网络模 型为深层信念网络DBN， 构建分类器， 将识别到的动作信息分为两类， 张 嘴和摇头； 不断训练提高在不同距离下 的识别精度与速度， 其中张嘴数据集中的参数设置 为A， {A1,A2,A3， …， An}； 摇头数据集中的参数设置为B， {B1,B2,B3， …， Bn}， 参数A与B结合 输出一个 返回值Z， 即A+B＝>Z， 不断优化训练Z； 其中A与B的数据集是在不同距离下搜集的， 通过深层信念网络DBN进行迭代， 选出最优距离值。 4.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法， 其特征在于： 所 述图像获取 单元为摄像头， 距离检测单 元为距离传感器。 5.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法， 其特征在于： 步 骤1)中， 当获取的图像信息中存在单个用户时， 比对数据库中的信息判断， 该用户是否与提 前录入数据库的用户面部特征信息相符， 并作出响应； 当获取的图像信息存在多个对象时， 逐一判断是否与数据库内的用户面部特征信息相符， 若获取的图像中存在与数据库内信息 不相符的用户， 则进 行特殊标定， 同时自主确认是否添加该用户的面部特征信息， 继续根据权　利　要　求　书 1/2 页 2 CN 115056223 A 2设定值依次喂食多个用户， 并进行多对象的跟踪喂食。 6.如权利要求5所述的基于跟踪视觉识别算法的机械臂智能控制方法， 其特征在于： 当 数据库中已有用户面部特征信息， 并识别到新增用户时， 在控制系统的操作界面上确认是 否新增成员并录入用户面部特征信息； 当获取 的图像信息存在多个对 象时， 则默认根据添 加顺序进 行喂食， 或者通过手动设置优 先级进行喂食； 当获取的图像信息存在多个对象时， 可设置单对象跟踪模式， 对指定用户进行喂食操作。 7.如权利要求1所述的基于跟踪视觉识别算法的机械臂智能控制方法， 其特征在于： 步 骤5)中， 当用户做出张嘴这一动作指 令时， 摄像头识别判定为需要喂食， 将自动跟踪用户的 嘴部， 机械臂进行投喂； 摄像头继续拍摄， 识别出用户再次做出张嘴这一动作指令时， 进行 第二次喂食， 重复以上动作； 当用户发出摇头指令时， 摄像头识别为停止进食指令， 机械臂 停止一切动作并归位 为初始状态。权　利　要　求　书 2/2 页 3 CN 115056223 A 3