(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210601589.5 (22)申请日 2022.05.30 (71)申请人 北京建筑大学 地址 100044 北京市西城区展览馆路1号 (72)发明人 张雷　董国梁　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 7/80(2017.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种钢筋绑扎点定位方法、 装置、 设备及存 储介质 (57)摘要 本申请提供一种钢筋绑扎点定位方法、 装 置、 设备及存储介质， 涉及建筑领域。 该方法通过 获取双目相机中预设相机针对钢筋框架的采集 图像， 从采集图像中提取至少一个未绑扎点的目 标图像， 采用预先的轮廓提取算法， 对每个未绑 扎点的目标图像进行轮廓提取， 得到每个未绑扎 点的钢筋交叉轮廓， 根据钢筋交叉轮廓的平面像 素坐标， 计算每个未绑扎点的平面像素坐标， 根 据采集图像， 采用预先训练的双目相机的深度估 计模型进行处理， 得到采集图像对应的视差图， 根据每个未绑扎点的平面像素坐标以及采集图 像对应的视差图， 计算未绑扎点的空间坐标， 使 得钢筋绑扎机器人可根据未绑扎点的空间坐标 进行钢筋绑扎， 通过机器自动化代替人力， 有效 提高钢筋 绑扎的效率。 权利要求书3页 说明书17页 附图10页 CN 114862829 A 2022.08.05 CN 114862829 A 1.一种钢筋绑扎点定位方法， 其特 征在于， 包括： 获取双目相机中预设相机针对钢筋框架 的采集图像， 其中， 所述钢筋框架为预先采用 多根钢筋搭建的结构； 从所述采集图像中提取至少一个未绑扎 点的目标图像； 采用预先的轮廓提取算法， 对每个未绑扎点的目标图像进行轮廓提取， 得到所述每个 未绑扎点的钢筋交叉轮廓； 根据所述钢筋交叉轮廓的平面像素坐标， 计算所述每 个未绑扎 点的平面像素坐标； 根据所述采集图像， 采用预先训练的所述双目相机的深度估计模型进行处理， 得到所 述采集图像对应的视差图， 其中， 所述视差图包括： 所述采集图像中各个像素点的视差值， 每个像素点的视差值用于表征采用所述双目相机中两个相机采集所述每个像素点的像素 偏差； 根据所述每个未绑扎点的平面像素坐标以及所述采集图像对应的视差图， 计算所述未 绑扎点的空间坐标。 2.根据权利要求1所述的钢筋绑扎点定位方法， 其特征在于， 所述采用预先的轮廓 提取 算法， 对每个未绑扎点的目标图像进行轮廓提取， 得到所述每个未绑扎点的钢筋交叉轮廓 之前， 所述方法还 包括： 对所述目标图像进行 灰度化处 理， 得到灰度图像； 对所述灰度图像进行中值滤波， 得到滤波图像； 对所述滤波图像进行二 值化处理， 得到二 值化图像； 对所述二值化图像进行开 运算， 得到预处 理图像； 所述轮廓提取算法为二值图像轮廓提取算法， 所述采用预先的轮廓提取算法， 对每个 未绑扎点的目标图像进行轮廓提取， 得到所述每 个未绑扎 点的钢筋交叉轮廓， 包括： 采用所述二值图像轮廓提取算法， 对所述预处理图像进行轮廓提取， 得到所述每个未 绑扎点的钢筋交叉轮廓。 3.根据权利要求1所述的钢筋绑扎点定位方法， 其特征在于， 所述根据 所述钢筋交叉轮 廓的平面像素坐标， 计算所述每 个未绑扎 点的平面像素坐标， 包括： 根据所述钢筋交叉轮廓的平面像素坐标， 采用预设的区域阈值， 确定所述钢筋交叉轮 廓中多个区域轮廓的角点像素坐标； 根据所述多个区域轮廓的角点像素坐标， 确定所述每 个未绑扎 点的平面像素坐标。 4.根据权利要求1所述的钢筋绑扎点定位方法， 其特征在于， 所述深度估计模型包括： 编码器、 解码器； 所述根据所述采集图像， 采用预先训练的所述双目相机的深度估计模型进 行处理， 得到所述采集图像对应的视 差图之前， 所述方法还 包括： 获取所述双目相机的多个样本 图像对， 每个样本 图像对包括： 所述双目相机中两个相 机针对同一目标对象采集的两个图像； 采用所述编码器对所述每个样本图像中所述预设相机采集的图像进行编码处理， 得到 两组样本图像特 征； 采用所述 解码器对所述两组样本图像特 征进行解码处 理， 得到两组样本 视差图； 根据所述两组样本视差 图， 对所述每个样本 图像对进行重构， 得到重构后的样本 图像 对；权　利　要　求　书 1/3 页 2 CN 114862829 A 2根据所述重构后的样本图像对， 以及所述每 个样本图像对， 计算损失函数值； 根据所述损 失函数值， 调整所述深度估计模型的模型参数， 并重新基于所述多个样本 图像对进行模型训练， 直至 达到预设的停止迭代条件。 5.根据权利要求4所述的钢筋绑扎点定位方法， 其特征在于， 所述采用所述编码器对所 述每个样本图像中所述预设相机采集的图像进行编码处 理， 得到两组样本图像特 征， 包括： 采用所述编码器对所述每个样本图像中所述预设相机采集的图像进行多个尺度的编 码处理， 得到所述两组样本图像特征， 其中， 每组样本图像特征包括： 所述多个尺度的样本 图像特征； 所述采用所述解码器对所述两组样本 图像特征进行解码处理， 得到两组样本视差 图， 包括： 采用所述解码器对所述多个尺度的样本图像特征进行解码处理， 得到所述两组样本视 差图， 每组样本 视差图包括： 所述多个尺度的样本 视差图。 6.根据权利要求5所述的钢筋绑扎点定位方法， 其特征在于， 所述深度估计模型还包 括： 路径增强网络， 所述根据所述两组样本视差图， 对所述每个样本图像对进行重构， 得到 重构后的样本图像对之前， 所述方法还 包括： 采用所述路径增强网络对所述多个尺度的样本视差 图对应的特征图进行所述多个尺 度的下采样处理， 并将 每个尺度的下采样结果、 相同尺度的特征图， 与相同尺度的样本视差 图进行融合， 得到更新后的所述每 个尺度的样本 视差图； 所述根据所述两组样本视差 图， 对所述每个样本 图像对进行重构， 得到重构后的样本 图像对， 包括： 根据所述更新后的所述每个尺度的样本视差 图， 对所述每个样本 图像对进行重构， 得 到重构后的样本图像对。 7.根据权利要求5所述的钢筋绑扎点定位方法， 其特征在于， 所述编码器包括： 所述多 个尺度的残差卷积层， 每个尺度的残差卷积层 包括多个残差结构， 每个残差结构包括： 卷积 层和轻量级注意力机制； 采用所述编码器对所述每个样本图像中所述预设相机采集的图像进行多个尺度的编 码处理， 得到所述两组样本图像特 征， 包括： 根据所述多个尺度的残差卷积层， 对所述预设相机采集的图像进行特征提取， 得到所 述两组样本图像特 征。 8.一种钢筋绑扎点定位装置， 其特 征在于， 包括： 获取模块， 获取双目相机中预设相机针对钢筋框架的采集图像， 其中， 所述钢筋框架为 预先采用多根钢筋搭建的结构； 第一提取模块， 从所述采集图像中提取至少一个未绑扎 点的目标图像； 第二提取模块， 采用预先的轮廓 提取算法， 对每个未绑扎点的目标图像进行轮廓 提取， 得到所述每 个未绑扎 点的钢筋交叉轮廓； 第一计算模块， 根据所述钢筋交叉轮廓的平面像素坐标， 计算所述每个未绑扎点的平 面像素坐标； 处理模块， 根据所述采集图像， 采用预先训练的所述双目相机的深度估计模型进行处 理， 得到所述采集图像对应的视差图， 其中， 所述视差图包括： 所述采集图像中各个像素点权　利　要　求　书 2/3 页 3 CN 114862829 A 3