(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111676331.3 (22)申请日 2021.12.31 (71)申请人 中原动力 智能机器人有限公司 地址 450018 河南省郑州市郑东 新区明理 路尚贤街河南企业联合大厦16层16 01 (72)发明人 袁野　朱永同　万里红　刘娜　 张赛　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 许羽冬 (51)Int.Cl. G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) (54)发明名称 一种应用 于智能机器人的增量学习方法及 装置 (57)摘要 本发明公开了一种应用于智能机器人的增 量学习及装置。 该方法在模型初始化阶段， 将所 述混合数据集输入至第一深度学习神经网络模 型， 并完成第一深度学习神经网络模型的初始 化， 得到第一深度学习神经网络模 型的初始权重 参数； 在知识蒸馏阶段， 根据交叉熵损失函数和 蒸馏损失函数继续对所述第一深度学习神经网 络模型进行训练， 得到第二深度学习神经网络模 型及其第二权重参数； 在权重对齐阶段， 根据第 一深度学习神经网络模型的初始权重参数对第 二深度学习神经网络模型的第二权重参数进行 对齐调整， 得到第三深度学习神经网络模型及其 第三权重参数。 本发明技术方案大大减轻了增量 学习中的灾难性遗忘问题， 提高了智能机器人对 旧任务的记 忆力和执 行力。 权利要求书2页 说明书7页 附图2页 CN 114511081 A 2022.05.17 CN 114511081 A 1.一种应用于智能机器人的增量学习方法， 其特 征在于， 包括以下步骤： 在模型初始化阶段， 将混合数据集输入至第一深度学习神经网络模型， 并完成所述第 一深度学习神经网络模型的初始化， 得到所述第一深度学习神经网络模型的初始权重参 数； 所述混合数据集包括预留的旧样本数据和 增加的新样本数据； 在知识蒸馏阶段， 根据交叉熵损失函数和蒸馏损失函数继续对所述第 一深度学习神经 网络模型进行训练， 得到第二深度学习神经网络模型及其第二权 重参数； 在权重对齐阶段， 根据 所述第一深度学习神经网络模型的初始权重参数对所述第 二深 度学习神经网络模型的第二权重参数进行对齐调整， 得到第三深度学习神经网络模型及其 第三权重参数。 2.根据权利要求1所述的应用于智能机器人的增量学习方法， 其特征在于， 所述交叉熵 损失函数为LCE(X,y)＝∑‑δc＝y*log(pc(X))， 式中X为所述混合样本数据集的样本数据， y为所 述样本数据对应的标签， δc＝y为指示函数， pc(X)为所述第二深度学习神经网络模型的概率 输出函数。 3.根据权利要求2所述的应用于智能机器人的增量学习方法， 其特征在于， 所述蒸馏损 失函数为 式中X为所述混合样本数据集的样本数据， δc＝y为指示函数， qc(X)为所述第一深度学习神经网络模 型完成初始化后输出的第一概率分 布， 为所述第二深度学习神经网络模型输出的第二概率分布； 式 中T为预设常数， 为所述第一深度学习神 经网络模型完成初始化后的初始权重参数； 式中T为预设常数， oc(x)为所述第二深度学习神经网络模型的第二权 重参数。 4.根据权利要求3所述的应用于智能机器人的增量学习方法， 其特征在于， 根据 所述第 一深度学习神经网络模型的初始权重参数对所述第二深度学习神经网络模型的第二权重 参数进行对齐调整， 得到所述第二深度学习神经网络模型的第三权 重参数， 具体为： 根据所述第二权重参数计算所述第二深度学习神经网络模型对应的第二权重向量之 和 根据所述初始权重参数计算所述第一 深度学习神经网络模型的初始权重向量之和 将所述第 二权重向量之和Wnew的二范数和初始权重向量之和Wold的二范数对齐得到所述第三深度学 习神经网络模 型的第三权重向量 根据所 述第三权重向量 得到所述第三深度学习神经网络模型的第三权重参数； 其中， 至 为所述第二深度学习神 经网络模型的第二权重参数， w1至 为所 述第一深度学习神经网络模型的初始权 重参数。 5.根据权利要求4所述的应用于智能机器人的增量学习方法， 其特征在于， 所述混合数权　利　要　求　书 1/2 页 2 CN 114511081 A 2据集通过数据采集标注系统而获取。 6.根据权利要求1至 5任一项所述的应用于智能机器人的增量学习方法， 其特 征在于， 所述数据采集标注系统包括数据采集模块、 通信模块、 数据存储模块、 中央控制模块和 数据标注模块； 所述数据采集模块用于获取图像数据， 并且将所述图像数据传输到所述数据存储模 块， 并向所述中央控制模块反馈当前的工作状态信息； 所述通信模块用于与 所述中央控制模块进行双向通信、 接收外界的控制 指令和向外界 反馈机器人当前的工作状态信息； 所述数据存储模块用于接收所述中央控制模块的指令和向所述中央控制模块反馈当 前的工作状态信息， 以及接收和存 储来自所述数据采集模块的图像数据； 所述中央控制模块用于作为系统的决策中心、 获取其余模块的工作状态信息， 向其他 模块发送指令和协调各个模块的工作； 所述数据标注模块用于对 采集的图像数据进行 标注。 7.一种应用于智能机器人的增量学习 装置， 其特征在于， 包括模型初始化模块、 知识蒸 馏模块和权 重对齐模块； 所述模型初始化模块用于将所述混合数据集输入至所述第 一深度学习神经网络模型， 并完成所述第一深度学习神经网络模型的初始 化， 得到所述第一深度学习神经网络模型的 初始权重参数； 所述混合数据集包括预留的旧样本数据和 增加的新样本数据； 所述知识蒸馏模块用于根据交叉熵损失函数和蒸馏损失函数继续对所述第一深度学 习神经网络模型进行训练， 得到第二深度学习神经网络模型及其第二权 重参数； 所述权重对齐模块用于根据所述第一深度学习神经网络模型的初始权重参数对所述 第二深度学习神经网络模型的第二权重参数进行对齐调整， 得到所述第三深度学习神经网 络模型及其第三权 重参数。权　利　要　求　书 2/2 页 3 CN 114511081 A 3