(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210450174.2 (22)申请日 2022.04.26 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 刘倩　吴兵　张强　魏小鹏　 (74)专利代理 机构 北京方圆嘉 禾知识产权代理 有限公司 1 1385 专利代理师 程华 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/08(2006.01) B25J 9/16(2006.01) B25J 19/02(2006.01) (54)发明名称 一种触觉图像超分辨率重建方法及采集系 统 (57)摘要 本发明涉及一种触觉图像超分辨率重建方 法及采集系统， 属于触觉感知领域， 首先利用低 分辨率触觉传感器获取高分辨率触觉图像样本， 然后利用触觉超分辨率数据集训练基于深度学 习的触觉超分辨模型， 最后利用触觉超分辨模型 将待测接触面的触觉数据重建为超分辨率触觉 图像。 本发 明仅使用现有的基于触觉感应单元的 低分辨触觉传感器， 采用基于深度学习的触觉超 分辨率重建技术， 能够有效的恢复出接触面形 状， 在提高触觉传感器分辨率的同时， 依然保持 传感器轻巧， 柔性， 易于集成到机器人等设备上 的特性。 权利要求书3页 说明书8页 附图5页 CN 115018700 A 2022.09.06 CN 115018700 A 1.一种触觉图像超分辨 率重建方法， 其特 征在于， 包括： 使用触觉传感器对每个接触面进行多次采样， 获得每个接触面每次采样时的触觉数据 和触觉传感器的中心点 坐标； 根据每次采样时触觉传感器的中心点坐标， 对每个接触面所有采样的触觉数据进行配 准， 获得对应接触面的一个高分辨 率触觉图像样本； 选取接触面中心区域内每次采样的触觉数据和对应接触面的高分辨率触觉图像样本 构成数据对， 构建触觉超分辨 率数据集； 根据所述触觉超分辨率数据集， 采用有监督的机器学习方法训练深度学习 网络模型， 获得触觉超分辨 率模型； 将触觉传感器采集的待测接触面的触觉数据输入触觉超分辨率模型， 输出待测接触面 的高分辨 率触觉图像。 2.根据权利要求1所述的触觉图像超分辨率重建方法， 其特征在于， 所述使用触觉传感 器对每个接触面进行多次采样， 获得每个接触面每次采样时的触觉数据和触觉传感器的中 心点坐标， 具体包括： 设置机械臂沿X轴的采集次数I和沿Y轴的采集次数J； 根据触觉传感器的分辨率、 采集 次数I和采集 次数J， 分别确定沿X轴移动一次的预设距 离Δx和沿Y轴移动一次的预设距离 Δy； 将触觉传感器安装在机 械臂末端； 预设采样位置(x,y,hinit)＝(0,0,hinit)； 其中， hinit为触觉传感器到接触面的垂直距 离； 使机械臂带动触觉传感器运动到接触面上方的采样位置(x,y,hinit)， 同时调节机械臂 末端的Z轴垂直水平面， 记录触觉传感器的中心点 坐标； 控制机械臂向下运动至触觉传感器和接触面接触， 采集多组触觉数据； 机械臂向上运动返回至采样位置(x,y,hinit)， 完成第 次采样； 令x增加Δx， 并将(x+Δx,y,hinit)替换(x,y,hinit)， 返回步骤 “使机械臂带动触觉传感 器运动到接触面上方 的采样位置(x,y,hinit)， 同时调节机械臂末端的Z轴垂直水平面 ”， 直 至 控制机械臂返回至采样位置(x,y,hinit)； 令y增加Δy， 并将(x,y+Δy,hinit)替换(x,y,hinit)， 返回步骤 “使机械臂带动触觉传感 器运动到接触面上方 的采样位置(x,y,hinit)， 同时调节机械臂末端的Z轴垂直水平面 ”， 直 至 停止采样， 获得接 触面每次采样时的触 觉数据和触 觉传感器的中心点 坐标。 3.根据权利要求2所述的触觉图像超分辨率重建方法， 其特征在于， 所述根据触觉传感 器的分辨率、 采集次数I和采集次数J， 分别确定沿X轴移动一次的预设距离Δx和沿Y轴移动 一次的预设距离 Δy， 具体包括： 根据触觉传感器的分辨率和采集次数I， 利用公式d＝Δx ×I， 确定沿X轴移动一次的预 设距离Δx； 其中， d表示触觉传感器上相邻触觉感应单 元的距离； 根据触觉传感器的分辨率和采集次数J， 利用公式d＝Δy ×J， 确定沿Y轴移动一次的预权　利　要　求　书 1/3 页 2 CN 115018700 A 2设距离Δy。 4.根据权利要求2所述的触觉图像超分辨率重建方法， 其特征在于， 根据每次采样时触 觉传感器的中心点坐标， 对每个接触面所有采样的触觉数据进行配准， 获得对应接触面的 一个高分辨 率触觉图像样本， 具体包括： 将每次采样采集的多组触觉数据经过高通滤波后求平均， 并将平均值作为每次采样的 触觉数据； 根据每个接触面每次采样的触觉数据和触觉传感器的中心点坐标， 利用公式THR[I×m+ i,J×n+j]＝Ti,j[m,n]进行配准， 获得初始高分辨率触觉图像样本； 其中， [m,n]表示触觉传 感器第[m,n]个触觉感应单元， THR[I×m+i,J×n+j]表示高分辨率触觉图像第[I ×m+i， J×n +j]个像素点对应的x、 y、 z轴数据， Ti， j[m， n]表示触觉传感器沿X轴采集第i次、 沿Y轴采集第 j次时， 第[m,n]个 触觉感应单 元对应的x、 y、 z轴触觉数据； 对所述初始高分辨率触觉图像样本进行平滑 处理， 获得接触面的高分辨率触觉图像样 本。 5.根据权利要求4所述的触觉图像超分辨率重建方法， 其特征在于， 所述选取接触面中 心区域内每次采样的触觉数据和对应接触面的高分辨率触觉图像样本构成数据对， 构建触 觉超分辨 率数据集， 具体包括： 选取每个接触面在 且 范围内采集的触觉数据 作为输入， 每 个接触面的高分辨 率触觉图像样本为标签构建触觉超分辨 率数据集； 其中， 表示向下 取整， K表示 误差系数。 6.根据权利要求5所述的触觉图像超分辨率重建方法， 其特征在于， 所述深度 学习网络 模型为基于卷积神经网络的深度学习模型或基于生成对抗网络的深度学习模型； 所述基于卷积神经网络的深度学习模型和所述基于生成对抗网络的深度学习模型均 包括依次连接的上采样层、 特 征提取层和输出层； 所述基于卷积神经网络的深度学习模型的损失函数为 其中， (M,N)表示触觉传感器 的分辨率， 表示基于卷积神经网络的深度学习模型的损失， 表示均方差， 表示模型 预测的高分辨 率触觉图像， THR表示真实的高分辨 率触觉图像； 所述基于生成对抗网络的深度学习模型的损失函数为 其中， 表示基 于生成对抗网络的深度 学习模型的损失， 表示对抗损失项， 表示触觉传感器采集 的原始低分辨x,y,z轴的触觉数据， 表示生成网络生成的高分辨率触觉图像， 表示判别网络判断预测的高分辨率触觉 图像和真实的高分辨率触觉 图像 之间的差距。 7.一种触觉 图像超分辨率采集系统， 其特征在于， 所述采集系统包括： 机械臂、 触觉传 感器和上位机；权　利　要　求　书 2/3 页 3 CN 115018700 A 3