(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211342910.9 (22)申请日 2022.10.31 (71)申请人 中科航迈数控软件 （深圳） 有限公司 地址 518000 广东省深圳市南 山区桃源街 道平山社区留仙大道 4168号众冠时代 广场A座2010 (72)发明人 吴承科　杨之乐　谭勇　郭媛君　 刘祥飞　胡天宇　谭家娟　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 李可 (51)Int.Cl. G06K 9/62(2022.01) G06K 9/00(2022.01) G10L 25/51(2013.01) (54)发明名称 基于跨模态数据融合的数控机床操作意图 识别方法及系统 (57)摘要 本发明公开了基于跨模态数据融合的数控 机床操作意图识别方法与系统， 方法包括： 获取 操作人员的音频数据以及操作人员在操作数控 机床时所产生的传感数据， 其中， 传感数据包括 握力方向矢量以及压力数据； 分别对音频数据与 传感数据进行编码处理， 得到音频数据所对应的 第一特征向量 以及传感数据所对应的第二特征 向量； 将第一特征向量与第二特征向量共同输入 至预设的意图识别模型中， 输出操作意图信息， 操作意图信息反映的是对数控机床的操作意图。 本发明可在操作人员对数控机床进行操作时， 采 集传感数据和音频数据， 然后基于传感数据和音 频数据确定出操作意图信息， 不但实现了对操作 意图信息的识别， 而且也方便操作人员对数据机 床的操作。 权利要求书2页 说明书9页 附图2页 CN 115409133 A 2022.11.29 CN 115409133 A 1.一种基于跨模态数据融合的数控机床操作意图识别方法， 其特征在于， 所述方法包 括： 获取操作人员的音频数据以及操作人员在操作数控机床时所产生的传感数据， 其中， 所述传感数据包括握力方向矢量以及压力数据； 分别对所述音频数据与所述传感数据进行编码处理， 得到所述音频数据 所对应的第 一 特征向量以及所述传感数据所对应的第二特 征向量； 将所述第一特征向量与所述第 二特征向量共同输入至预设的意图识别模型中， 输出操 作意图信息， 所述操作意图信息反映的是对数控机床的操作意图。 2.根据权利要求1所述的基于跨模态数据融合的数控机床操作意图识别方法， 其特征 在于， 所述获取操作人员的音频数据以及操作人员 在操作数控机床时所产生的传感数据， 包括： 唤醒预设的语音交互功能， 并基于预设的语音采集装置实时采集所述操作 人员的所述 音频数据； 基于预设的传感器对操作人员对于数控机床操作手柄的握力方向矢量与压力数据进 行采集， 得到所述传感数据。 3.根据权利要求2所述的基于跨模态数据融合的数控机床操作意图识别方法， 其特征 在于， 所述基于预设的传感器对操作人员对于数控机床操作手柄的握力方向矢量与压力数 据进行采集， 得到所述传感数据， 包括： 基于所述传感器对操作人员手部握住 数控机床操作手柄的握力位置进行获取， 并基于 所述握力位置， 获取 所述握力位置处的握力数据； 基于所述握力数据分析出所述握力方向矢量与 所述压力数据， 所述压力数据反映的是 操作人员手部对数控机床 操作手柄的压力。 4.根据权利要求1所述的基于跨模态数据融合的数控机床操作意图识别方法， 其特征 在于， 所述分别对所述音频数据与所述传感数据进行编码处理， 得到所述音频数据所对应 的第一特 征向量以及所述传感数据所对应的第二特 征向量， 包括： 对所述音频数据进行分段处理， 得到若干音频片段， 并基于若干所述音频片段对所述 音频数据进行去 噪处理， 得到待编码音频数据， 所述待编码音频数据为若干所述音频片段 组成； 对所述待编码音频数据进行拼接， 并进行编码处理， 得到所述第一特征向量， 所述第一 特征向量用于反映所述待编码音频 数据中的语音特 征； 对所述传感数据进行编码处理， 得到所述第二特征向量数， 所述第二特征向量用于反 映所述传感数据的力学 特征。 5.根据权利要求4所述的基于跨模态数据融合的数控机床操作意图识别方法， 其特征 在于， 所述基于若干所述音频片段对所述音频数据进 行去噪处理， 得到待编 码音频数据， 包 括： 获取每个音频片段的频率数据， 获取存在频率数据高于第 一预设频率或者存在频率数 据低于第二预设频率的音频片段； 获取频率数据高于第一预设频率或者频率数据低于第二预设频率的音频片段的时间 信息， 并将所述时间信息所对应的片段删除， 得到所述待编码音频 数据。权　利　要　求　书 1/2 页 2 CN 115409133 A 26.根据权利要求4所述的基于跨模态数据融合的数控机床操作意图识别方法， 其特征 在于， 所述基于若干所述音频片段对所述音频数据进 行去噪处理， 得到待编 码音频数据， 包 括： 获取若干所述音频片段中无语音内容的音频片段， 并将所述无语音内容的音频片段删 除， 得到所述待编码音频 数据。 7.根据权利要求1所述的基于跨模态数据融合的数控机床操作意图识别方法， 其特征 在于， 所述将所述第一特征向量与所述第二特征向量共同输入至预设的意图识别模型中， 输出操作意图信息， 包括： 将所述第一特征向量与所述第二特征向量共 同输入至预设的意图识别模型中， 其中， 所述意图识别模型用于基于输入的所述第一特征向量与所述第二特征向量分别输出对应 的典型操作词语与操作动作； 基于所述意图识别模型， 确定所述第一特征向量所对应的典型操作词语， 并确定所述 典型操作词语对应的类别 信息； 基于所述 意图识别模型， 确定所述第二特 征向量所对应的操作动作； 获取所述典型操作词语所对应的第一权 重， 以及所述操作动作所对应的第二权 重； 基于所述典型操作词语、 所述操作动作、 所述第 一权重以及所述第二权重， 输出操作意 图的概率； 若所述操作意图的概率超过预设概率， 则将所述操作意图与所述类别信息进行匹配， 若匹配成功， 则将所述操作意图作为所述操作意图信息 输出。 8.一种基于跨模态数据融合的数控机床操作意图识别系统， 其特征在于， 所述系统包 括： 数据获取模块， 用于获取操作人员的音频数据以及操作 人员在操作 数控机床时所产生 的传感数据， 其中， 所述传感数据包括握力方向矢量以及压力数据； 编码处理模块， 用于分别对所述音频数据与所述传感数据进行编码处理， 得到所述音 频数据所对应的第一特 征向量以及所述传感数据所对应的第二特 征向量； 意图分析模块， 用于将所述第 一特征向量与所述第 二特征向量共同输入至预设的意图 识别模型中， 输出操作意图信息， 所述操作意图信息反映的是对数控机床的操作意图。 9.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器及存储在存储器 中并 可在处理器上运行的基于跨模态数据融合的数控机床操作意图识别程序， 所述处理器执行 所述基于跨模态数据融合的数控机床操作意图识别程序时， 实现如权利要求1 ‑7任一项所 述的基于跨模态数据融合的数控机床 操作意图识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有基于跨 模态数据融合的数控机床操作意图识别程序， 所述基于跨模态数据融合的数控机床操作意 图识别程序被处理器执行时， 实现如权利要求1 ‑7任一项所述的基于跨模态数据融合的数 控机床操作意图识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115409133 A 3