(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210520200.4 (22)申请日 2022.05.13 (71)申请人 中南大学 地址 410083 湖南省长 沙市麓山 南路932号 申请人 中国铁路兰州局集团有限公司兰州 工程建设指挥部 　 中国建筑股份有限公司 　 中建铁路投资 建设集团有限公司 (72)发明人 刘昊　马殷军　陈满　聂志红　 左君　张亮　徐军　董博峰　 张康银　 (74)专利代理 机构 长沙欧诺专利代理事务所 (普通合伙) 43234 专利代理师 欧颖　梁捷(51)Int.Cl. G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01N 15/00(2006.01) (54)发明名称 一种动态颗粒材料数值信息的测量方法及 实验装置 (57)摘要 本发明提供了一种动态颗粒材料数值信息 的测量方法， 包括采集动态颗粒材料视频、 创建 数据集、 端到端的多任务学习、 视频实例分割和 后处理步骤； 采集动态颗粒材料视频是将动态的 颗粒材料记录成视频； 创建数据集是将动态颗粒 材料视频逐帧转换成图片， 并使用标注工具对转 换得到的图片抽取一部分进行标记， 接着将标注 好的数据划分为训练集和验证集； 端到端的多任 务学习是利用标注好的数据， 对视频实例分割算 法模型进行训练； 视频 实例分割是使用训练好的 视频实例分割算法模型， 对采集到的动态颗粒材 料视频进行视频 实例分割； 后处理步骤包括： S1、 质心提取及等比例标定； S2、 等效椭圆拟合及长 轴角度提取。 权利要求书2页 说明书7页 附图2页 CN 114973073 A 2022.08.30 CN 114973073 A 1.一种动态颗粒材料数值信 息的测量方法， 其特征在于， 包括以下步骤， 采集动态颗粒 材料视频、 创建数据集、 端到端的多任务学习 、 视频实例分割和后处 理步骤； 采集动态颗粒材料视频： 对颗粒材料施加振动荷载或旋转荷载， 使颗粒材料发生振动 或转动， 并将动态的颗粒 材料记录成视频； 创建数据集： 将采集到的动态颗粒材料视频逐帧转换成图片， 然后使用标注工具对转 换得到的图片均匀抽取一部 分进行标记得到标注 好的数据， 接着将标注好的数据划分为训 练集和验证集； 端到端的多任务学习： 利用标注好的数据， 对视频实例分割算法模型进行训练； 视频实例分割： 使用训练好的视频实例分割算法模型， 对采集到的动态颗粒材料视频 进行视频实例分割； 后处理步骤包括： S1、 质心提取及等比例标定： 在视频实例分割的过程中， 将视频帧所处 的二维平面独立 地分成x方向和y方向， 然后将x方向左右两边的掩码像素等分， 将y方向上下两边的掩码像 素也等分， 提取出颗粒材料的质心； 使用质心 位移代表颗粒材料的平移 量， 并检测出颗粒材 料的平移量， 再对平 移量求一阶导数和二阶导数， 检测出颗粒 材料的速度和 加速度； S2、 等效椭圆拟合及长轴角度提取： 使用处理工具将颗粒材料的掩码等效成一个椭圆； 接着对于拟合后的椭圆， 使用椭圆长轴的变化角度代表颗粒材料 的转动量， 实现颗粒材料 的转动量的提取。 2.根据权利要求1所述的动态颗粒材料数值信 息的测量方法， 其特征在于， 所述视频实 例分割算法模型包括两阶段范式， 第一阶段包括残差网络模块、 时序特征融合模块、 特征金 字塔网络模块、 区域提议网络模块； 第二阶段包括感兴趣区域对齐模块、 分类分支模块、 盒 回归分支模块、 掩码分支模块和追踪分支模块。 3.根据权利要求2所述的动态颗粒材料数值信 息的测量方法， 其特征在于， 所述时序 特 征融合模块 为： 将来自残差网络模块的当前帧的特征A通过1*1的卷积和激活， 得到编码关键信息的特 征q； 然后， 将来自残差网络模块的支持帧的特征B通过两个平行的1*1的卷积和激活映射为 k和v； 接着， 对q和k计算点积得到注意力矩阵S， 并对v使用注意力矩阵S加权， 得到增强特 征， 增强特征聚合了来自支持帧的上下文信息； 最后， 将增强特征通过1*1的卷积和 激活转 换为特征W， 并将W和原 始特征相加， 得到最终的特 征Z； 时序特征融合模块增强特 征的表达式如下： S＝k⊙q； 式中，⊙表示内积计算符号， i， j分别为注意力矩阵和特 征中各位置的索引， Nall表示总位置数， F表示对应1*1卷积和非线性激活的变换函数，权　利　要　求　书 1/2 页 2 CN 114973073 A 2表示逐像素相加。 4.根据权利要求2所述的动态颗粒材料数值信 息的测量方法， 其特征在于， 所述追踪分 支模块为： 包括两个全连接层和一个长序列外部存储器， 全连接层用于映射候选目标的特征， 长 序列外部存储器用于存储L个序列的先前实例； 追踪分支模块首先分别计算候选目标特征 和所有先前实例的内积， 然后将 内积进行比较， 使用内积相似度最高的实例ID作为候选目 标的实例ID； L的取值大于等于2。 5.根据权利要求2所述的动态颗粒材料数值信 息的测量方法， 其特征在于， 所述残差网 络模块用于实现视频帧的特征提取， 包括多级卷积层和残差块； 残差块之间由短路连接的 机制构造， 每个残差块的内部通过残差连接来加深网络层数以及避免网络性能退化； 最后 经过池化、 全连接层和softmax激活函数得到视频帧的特征向量， 输出到时序特征融合模块 中。 6.根据权利要求2所述的动态颗粒材料数值信 息的测量方法， 其特征在于， 所述特征金 字塔网络模块用于对时序特征融合模块输出 的特征图进行多级传播， 得到多尺度特征图； 所述区域建议网络模块先对特征金字塔网络模块输出的多尺度特征图生成多个锚框， 然后 通过卷积对每 个锚框进行第一次分类和位置回归， 从而生成一系列的区域 提议。 7.根据权利要求2所述的动态颗粒材料数值信 息的测量方法， 其特征在于， 所述感兴趣 区域对齐模块是使用双线性插值操作， 对区域建议网络模块产生的一系列区域提议的尺寸 进行统一， 避免空间位置错位； 对于对齐后的感兴趣区域， 先通过全连接层处理， 再经过分 类分支模块与盒回归分支模块进行第二次分类和回归。 8.根据权利要求2所述的动态颗粒材料数值信 息的测量方法， 其特征在于， 所述掩码分 支模块使用 全卷积网络对感兴趣区域进行语义分割， 提取出感兴趣区域中每个实例的掩 码。 9.根据权利要求1所述的动态颗粒材料数值信 息的测量方法， 其特征在于， 创建数据集 时， 对转换得到的图片每隔5～120帧标记 一帧； 标注 好的数据按照4～10： 1的比例划分为训 练集和验证集。 10.一种动态颗粒材料数值信 息的实验装置， 其特征在于， 用于权利要求1～9中任意一 项所述的动态颗粒材料数值信息的测量方法进行采集动态颗粒材料视频， 包括颗粒材料 (1)、 实验台(2)、 电机(3)、 视觉传感器支架(4)和视觉传感器(5)， 采集动态颗粒材料视频 时， 颗粒材料(1)按照颗粒大小随机放置于实验台(2)上， 电机(3)位于实验台(2)的下方， 电 机(3)上设置有对实验台(2)加载振动荷载和加载旋转荷载的结构， 使实验台(2)和颗粒材 料(1)发生振动或转动， 视觉传感器支架(4)设置在实验台(2)的旁边， 视觉传感器支架(4) 上固定设置有视 觉传感器(5)用于记录动态颗粒 材料的视频。权　利　要　求　书 2/2 页 3 CN 114973073 A 3