(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211211112.2 (22)申请日 2022.09.30 (71)申请人 哈尔滨市科佳通用机电股份有限公 司 地址 150060 黑龙江省哈尔滨市经开区哈 平路集中区潍 坊路2号 (72)发明人 闫学慧　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 张月航 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/30(2022.01)G06V 10/54(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种货车转向架下拉杆故障图像检测方法 及系统 (57)摘要 本发明的一种货车转向架下拉杆故障图像 检测方法及系统涉及图像检测领域， 目的是为了 克服人为检查转向架下拉杆容造成漏检、 错检问 题， 其中方法具体包括如下步骤： 步骤一、 采集货 车底部图像； 货车底部图像包括下拉杆部位； 步 骤二、 通过 故障检测网络对货车底部图像进行逐 个识别， 直至所有货车底部图像识别完成； 且当 货车底部图像中存在转向架下拉杆 故障特征时， 执行步骤三； 步骤三、 确定货车底部图像对应的 货车转向架下拉杆发生故障， 并存储货车底部图 像。 权利要求书2页 说明书8页 附图1页 CN 115424128 A 2022.12.02 CN 115424128 A 1.一种货车转向架下拉杆故障图像 检测方法， 其特 征在于， 具体包括如下步骤： 步骤一、 采集货车底部图像； 所述货车底部图像包括下拉杆部位； 步骤二、 通过故障检测网络对货车底部 图像进行逐个识别， 直至所有货车底部 图像识 别完成； 且当货车底部图像中存在转向架下拉杆故障特 征时， 执行步骤三； 所述转向架下拉杆故障情况为下拉杆圆销折断、 下拉杆安全吊脱落、 下拉杆安全吊丢 失、 下拉杆安全索脱落和下拉杆安全索丢失中的至少一种情况； 所述故障检测网络采用Faster  R‑CNN， 并且采用VGG16网络作为Faster  R‑CNN中的特 征提取网络， 该VGG16网络中的3*3卷积核均由一组3*1串联1*3的卷积核进行替代； 并删除 该VGG16网络中的一层全连接层； 步骤三、 确定所述货车底部 图像对应的货车转向架下拉杆发生故障， 并存储所述货车 底部图像。 2.根据权利要求1所述的一种货车转向架下拉杆故障图像检测方法， 其特征在于， 得到 步骤二中的故障检测网络的步骤如下： 步骤二一、 采集包括下拉杆部位的原始图像， 并对原始图像进行预处理得到下拉杆子 图； 步骤二二、 对下拉杆子图进行故障模拟修改； 所述故障模拟修改是在下拉杆子图中模拟不同位置、 不同形态的下拉杆故障； 步骤二三、 对修改后的下拉杆子图进行图像融合增强； 步骤二四、 对增强后的下拉杆子图进行故障标记， 得到训练样本集； 步骤二五、 采用训练样本集对故障检测网络进行训练和验证， 得到训练好的故障检测 网络和模型权 重。 3.根据权利要求2所述的一种货车转向架下拉杆故障图像检测方法， 其特征在于， 步骤 二一中对原 始图像进行 预处理包括： 利用卡尔曼 滤波器对原 始图像进行 滤波。 4.根据权利要求3所述的一种货车转向架下拉杆故障图像检测方法， 其特征在于， 步骤 二一中对原 始图像进行 预处理还包括： 对滤波后的原 始图像进行 特征匹配。 5.根据权利要求4所述的一种货车转向架下拉杆故障图像检测方法， 其特征在于， 步骤 二三中对修改后的下拉杆子图进行图像融合增强的具体步骤如下： 步骤二三一、 随机选取两张修改后的下拉杆子图， 作为两张待融合图像； 步骤二三二、 随机保留一张待融合图像的纹理特征； 并计算保留纹理特征的待融合图 像的第一梯度值， 以及另一张待融合图像的第二梯度值； 步骤二三三、 将第一梯度值减半后与第二梯度值减半后相加， 得到对应的融合图像。 6.一种货车转向架下拉杆故障图像 检测系统， 其特 征在于， 包括： 图像采集模块， 用于采集货车底部图像并发送至故障检测模块； 所述货车底部图像包括下拉杆部位； 故障检测模块， 用于通过故障检测网络对货车底部 图像进行逐个识别， 直至所有货车 底部图像识别完成； 且当货车底部图像中存在转向架下拉杆故障特征时， 将所述货车底部 图像发送至故障判断模块； 所述转向架下拉杆故障情况为下拉杆圆销折断、 下拉杆安全吊脱落、 下拉杆安全吊丢 失、 下拉杆安全索脱落和下拉杆安全索丢失中的至少一种情况；权　利　要　求　书 1/2 页 2 CN 115424128 A 2所述故障检测网络采用Faster  R‑CNN， 并且采用VGG16网络作为Faster  R‑CNN中的特 征提取网络， 该VGG16网络中的3*3卷积核均由一组3*1串联1*3的卷积核进行替代； 并删除 该VGG16网络中的一层全连接层； 故障判断模块， 用于确定所述货车底部 图像对应的货车转向架下拉杆发生故障， 并存 储所述货车底部图像。 7.根据权利要求6所述的一种货车转向架下拉杆故障图像检测系统， 其特征在于， 故障 检测模块包括故障检测网络生成模块， 所述故障检测网络训练生成包括： 图像预处理模块， 用于采集包括下拉杆部位的原始图像， 并对原始图像进行预处理得 到下拉杆子图， 并发送至； 故障模拟修改模块， 用于对下拉杆子 图进行故障模拟修改， 并将修改后的下拉杆子 图 发送至图像融合增强模块； 所述故障模拟修改是在下拉杆子图中模拟不同位置、 不同形态的下拉杆故障； 图像融合增强模块， 用于对修改后的下拉杆子 图进行图像融合增强， 并将增强后的下 拉杆子图发送至故障标记模块； 故障标记模块， 用于对增强后的下拉杆子图进行故障标记， 得到训练样本集， 并发送至 网络训练模块； 网络训练模块， 用于采用训练样本集对故障检测网络进行训练和验证， 得到训练好的 故障检测网络和模型权 重。 8.根据权利要求7所述的一种货车转向架下拉杆故障图像检测系统， 其特征在于， 图像 预处理模块包括 卡尔曼滤波器模块； 所述卡尔曼滤波器模块， 用于利用卡尔曼 滤波器对原 始图像进行 滤波。 9.根据权利要求8所述的一种货车转向架下拉杆故障图像检测系统， 其特征在于， 图像 预处理模块还 包括特征匹配模块； 所述特征匹配模块， 用于对滤波后的原 始图像进行 特征匹配。 10.根据权利要求9所述的一种货车转向架下拉杆故障图像检测系统， 其特征在于， 图 像融合增强模块包括： 选择模块， 用于随机选取两张修改后的下拉杆子图， 作为两张待融合图像， 并发送至图 像纹理梯度处 理模块； 纹理梯度处理模块， 用于随机保留一张待融合图像的纹理特征； 并计算保留纹理特征 的待融合图像的第一梯度值， 以及另一张待融合图像的第二梯度值； 并发送至融合模块； 融合模块， 用于将第一梯度值减半后与第二梯度值减半后相加， 得到对应的融合图像。权　利　要　求　书 2/2 页 3 CN 115424128 A 3