(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211027427.1 (22)申请日 2022.08.25 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 王海宽　徐中平　费子翔　周文举　 杜大军　 (74)专利代理 机构 上海上大专利事务所(普通 合伙) 3120 5 专利代理师 何文欣 (51)Int.Cl. G01B 11/03(2006.01) G06V 10/22(2022.01) G06V 10/50(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06N 5/00(2006.01) G06N 20/00(2019.01) G06T 5/20(2006.01) G06T 5/00(2006.01) G06T 7/136(2017.01) G06T 7/73(2017.01) (54)发明名称 一种基于视觉的柔性线束的测量方法及系 统 (57)摘要 本发明公开了一种基于视觉的柔性线束的 测量方法及系统， 能够实现对线束的快速准确测 量。 本发明所述基于视觉的柔性线束测量方法通 过线束图像预处理对线束图像区域进行提取。 采 用图像细化算法以及基于交叉点的分支去除方 法提取了线束的主曲线。 然后对主曲线进行扫 描， 通过卡扣的粗定位获取卡扣的大致位置， 卡 扣的细定位精确确定卡扣位置， 利用卡扣精确定 位结果对卡扣进行了分割与识别。 最后采用分段 曲线拟合结合放大系数校正的方法计算得到每 两个相邻卡扣之间实际线长度。 本发 明所述基于 视觉的柔性线束测量系统通过相机获取线束图 像， 图像处理算法对线束进行测量的方式， 提过 了一种便捷准确的柔 性线束测量方式。 权利要求书4页 说明书8页 附图5页 CN 115388785 A 2022.11.25 CN 115388785 A 1.一种基于 视觉的柔性线束的测量方法， 其特 征在于， 包 含以下步骤： S1： 线束图像预处理； 光源置于线束下方向上照射， 相机置于线束上方， 将线束放置于 相机视野中间， 通过相机获取线束图像； 对获取的线束图像进 行预处理， 提取线束图像的区 域； S2： 线束主曲线提取； 获取了线束区域之后， 对图像进行细化处理， 由于卡扣的存在使 得提取的线束骨架上存在分支， 采用基于交叉点的分支去除方法将细化图像上的分支去 除， 得到线 束的主曲线； S3： 线束卡扣的分割识别； 获取了线束的主曲线后， 根据线束的主曲线对卡扣的位置进 行粗定位和细定位实现对卡扣的精确定位， 进 而根据定位结果对卡扣进行分割与识别； S4： 线束卡扣间线长测量； 根据卡扣精确定位结果， 利用曲线拟合结合放大系数校正的 方法对相邻卡扣间的曲线长度进行计算， 获得卡扣间的线长 。 2.根据权利要求1所述的基于视觉的柔性线束的测量方法， 其特征在于， 所述步骤S1包 括以下几个步骤： S11： 对线束图像进行 滤波处理， 去除噪声， 提高图像质量； S12： 对图像进行阈值化处理； 利用阈值化后的图像寻找图像中物体的轮廓， 根据轮廓 的大小确定线 束所在区域， 所有轮廓中点的个数最多的轮廓即为线 束的轮廓， 如下 所示： Cl＝max{C1,C2,…,Cn} 其中Cl表示线束的轮廓， Cn表示第n个 轮廓， n表示所有轮廓的个数； S13： 根据线束的轮廓获取线束的最小正矩形， 通过最小正矩形每条边向外扩展数个像 素提取出线束所在区域， 减小后续处 理范围。 3.根据权利要求1所述的基于视觉的柔性线束的测量方法， 其特征在于， 所述步骤S2包 括以下几个步骤： S21： 利用细化 算法对提取的线 束区域图像中的线 束进行细化， 得到线 束的骨架； S22： 对线束骨架上的多余点进行去除， 即经过处理后的骨架上的点， 除了端点以及交 叉点外， 每个点的八邻域内只存在两个像素值不为零的点， 端点的八邻域内只有一个像素 值不为零的点， 交叉点的八邻域内存在三个或三个以上像素值 不为零的点； S23： 根据点八邻域内的像素值不为零的点的个数寻找到所有的交叉点， 判断方法如下 所示： num(N8(xi,yi)＞0)≥3,i ＝0,1,…,7 其中N8(xi,yi)表示点(x,y)八邻域中的点(xi,yi)处的像素值， num()表示个数； S24： 依次从每个寻找到的交叉点开始， 其八邻域内像素值不为零的点为一条路径的起 始点， 根据点八邻域信息更新中心 点， 实现沿不同的路径进 行扫描， 根据以下条件判断是否 停止扫描： (1)若扫描的点为端点， 并且扫描过的点的个数小于阈值， 则将此路径上扫描过 的点的像素值全部设置为零； (2)若扫描的点为其他交叉点， 则停止对此路径的扫描； (3)若 一条路径上扫描过的点的个数超过阈值， 则停止对此路径的扫描； (4)在将一条路径上的点 设置为零后或者完成对所有路径的扫描后， 开始对其 他交叉点进行 上述操作； S25： 使用迭代的方法对线束骨架进行分支去除， 若前后两次交叉点的个数不变， 则说 明已经将所有分支去除， 得到了线束的主曲线， 将主曲线上 的点从一端开始依 次保存下来 直至主曲线的另一端。权　利　要　求　书 1/4 页 2 CN 115388785 A 24.根据权利要求1所述的基于视觉的柔性线束的测量方法， 其特征在于， 所述步骤S3包 括以下几个步骤： S31： 对线束上的卡扣进行粗定位， 从主曲线的一端开始进行扫描直至主曲线的另一 端； 卡扣的粗定位由主曲线上 的每一点到线束轮廓的距离判断； 主曲线上 的点在此点处的 法向上逐步增加距离判断是否 到达线束轮廓， 如下 所示： x＝x0±n×cosθ y＝y0±n×sinθ 其中x0， y0为主曲线上某一点的坐标， θ为此点处的法向量角度， ±表示不同侧， x， y表示 法向上与(x0,y0)距离为n的坐标； 根据点(x,y)处的像素值和阈值图像判断是否到达线束轮 廓边界， 从而得到距离值； 根据主曲线 上每一点的距离值大小实现对线束卡扣的粗分割， 判 断方法如下 所示： d1＞th1,or d2＞th1 其中， d1， d2为主曲线上的点到线 束轮廓不同侧的距离， th1为阈值； S32： 对线束上的卡扣进行细定位， 由步骤S31得到的粗定位位置， 获取远离卡扣方向离 粗定位位置一定距离的主曲线 上的点作为细定位起始点； 在细定位起始 点法向上寻找线束 轮廓上的点， 并将其作为细定位开始搜索点； 从开始搜索点开始， 沿线束轮廓， 根据点八邻 域信息朝卡扣方向进行搜索， 精确定位 点的判断方式所 下所示： Δa＝|a‑ao| Δa＞th2 其中ao为初始法向角度， ai为初始第i个点法向的角度， a为搜索点 处法向的角度， Δa为 两个法向角度的差值， th2为阈值； S33： 将同一 卡扣的对应精确定位 点相连， 并且利用卡扣的轮廓实现对卡扣的分割； S34： 利用特 征融合的方法对卡扣进行识别， 特 征F如下所示： F＝{FHOG,FHu,FLength} 其中FHOG为卡扣的方向梯度直方图特征， FHu为卡扣的Hu矩特征， FLength为卡扣与主曲线 一致方向上的长度特 征； 通过随机森林对不同类型卡扣的特 征进行训练和识别。 5.根据权利要求1所述的基于视觉的柔性线束的测量方法， 其特征在于， 所述步骤S4包 括以下几个步骤： S41： 利用相邻卡扣间主曲线上的点和两个提取端点作为拟合数据； 相邻卡扣间主曲线 上的点去除了部分距离卡扣较近的点， 提取端点由卡扣距离线部分较近的精确定位点获 得， 计算方式如下： 权　利　要　求　书 2/4 页 3 CN 115388785 A 3