(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658084.4 (22)申请日 2021.12.3 0 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 李铎　程战战　钮毅　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 代理人 王剑 (51)Int.Cl. G06N 3/04(2006.01) G06N 5/02(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01) (54)发明名称 增量学习方法、 装置、 电子设备及机器可读 存储介质 (57)摘要 本申请提供一种增量学习方法、 装置、 电子 设备及机器可读存储介质， 该方法包括： 依据增 量学习模型中的域判别分支网络对输入特征进 行域判别， 得到域判别结果； 依据所述域判别结 果， 对所述主干网络的输出特征与所述新知 识学 习分支网络的输出特征进行融合处理， 得到融合 输出特征； 依据所述融合输出特征进行预测处 理。 该方法可以优化增量学习模型的性能。 权利要求书3页 说明书11页 附图3页 CN 114330665 A 2022.04.12 CN 114330665 A 1.一种增量学习方法， 其特 征在于， 包括： 依据增量学习模型中的域判别分支网络对输入特征进行域判别， 得到域判别结果； 所 述增量学习模型包括主干网络、 新知识学习分支网络以及所述域判别 分支网络， 对于所述 主干网络的每一层卷积层， 所述新知识学习分支网络包括与所述主干网络的该卷积层 对应 的新知识学习分支， 所述域判别分支网络包括与所述主干网络的该卷积层 对应的域判别分 支； 依据所述域判别结果， 对所述主干网络的输出特征与 所述新知识学习分支网络的输出 特征进行融合处 理， 得到融合输出 特征； 依据所述融合输出 特征进行预测处理。 2.根据权利要求1所述的方法， 其特征在于， 所述依据增量学习 模型中的域判别分支网 络对输入特 征进行域判别， 包括： 对于所述主干网络的目标卷积层， 依据所述域判别分支网络 中与所述目标卷积层对应 的域判别分支对所述 目标卷积层的输入特征进行域判别， 得到目标域判别结果； 所述 目标 卷积层为所述主干网络的任一卷积层； 所述依据 所述域判别结果， 对所述主干网络的输出特征与所述新知识学习分支网络的 输出特征进行融合处 理， 得到融合输出 特征， 包括： 依据所述目标域判别结果， 对所述目标卷积层的第一输出特征， 以及所述新知识学习 分支网络中与所述目标卷积层 对应的新知识学习分支的第二输出特征进 行融合处理， 得到 所述目标 卷积层对应的融合输出 特征。 3.根据权利要求2所述的方法， 其特征在于， 所述依据所述目标域判别结果， 对所述目 标卷积层的输出特征， 以及所述新知识学习分支网络中与所述目标卷积层 对应的新知识学 习分支的输出 特征进行融合处 理， 得到所述目标 卷积层对应的融合输出 特征， 包括： 依据所述目标域判别结果， 确定所述第一输出特征的第一权重， 以及所述第二输出特 征的第二权重； 其中， 当依据所述 目标域判别结果确定输入特征与基础数据域的距离小于 输入特征与新增数据域的距离时， 所述第一权重大于第二权重； 当依据所述 目标域判别结 果确定输入特征与基础数据域的距离大于输入特征与新增数据域的距离时， 所述第一权重 小于第二权 重； 依据所述第 一权重以及所述第 二权重， 对所述第 一输出特征以及所述第 二输出特征进 行加权求和， 得到所述目标 卷积层对应的融合输出 特征。 4.根据权利要求3所述的方法， 其特征在于， 训练过程中， 依据所述增量学习模型的预 测损失， 以及所述第一权重和第二权重， 分别对所述主干网络以及所述新知识学习分支网 络进行反馈调优。 5.根据权利要求1所述的方法， 其特征在于， 训练过程中， 以所述主干网络对训练样本 进行预测的损失值作为 监督信号， 对所述 域判别分支网络进行训练。 6.根据权利要求5所述的方法， 其特征在于， 所述以所述主干网络对训练样本进行预测 的损失值作为 监督信号， 对所述 域判别分支网络进行训练， 包括： 对于任一训练样本， 依据所述主干网络对该训练样本进行预测的损 失值， 以及所述域 判别分支网络对该训练样本进 行域判别的域判别结果， 确定所述域判别分支网络对应该训 练样本的损失。权　利　要　求　书 1/3 页 2 CN 114330665 A 27.根据权利要求6所述的方法， 其特征在于， 所述依据所述主干网络对该训练样本进行 预测的损失值， 以及所述域判别 分支网络对该训练样本进行域判别的域判别结果， 确定所 述域判别分支网络对应该训练样本的损失， 包括： 对所述主干网络对该训练样本进行 预测的损失值进行归一 化， 得到归一 化的损失值； 依据归一化的损失值与所述域判别分支网络对该训练样本进行域判别的域判别结果 二者之间的差值的绝对值， 确定所述域判别分支网络对应该训练样本的损失； 其中， 域判别 结果的取值范围为[ 0， 1]， 对于任一训练样 本， 所述域判别分支网络对该训练样本进 行域判 别的域判别结果越小， 该训练样本与基础数据域的距离越小； 所述域判别分支网络对该训 练样本进行域判别的域判别结果越大， 该训练样本与新增数据域的距离越小。 8.根据权利要求1所述的方法， 其特征在于， 在训练过程中， 对于任一训练样本， 当依据 域判别分支网络对该训练样本的域判别结果， 确定该训练样本归属于基础数据域时， 以第 一学习率更新所述主干网络， 以第二学习率更新所述新知识学习分支网络， 所述第二学习 率小于所述第一学习率； 当依据域判别分支网络对该训练样本的域判别结果， 确定该训练样本归属于新增数据 域时， 以第三学习率更新所述主干网络， 以第四学习率更新所述新知识学习分支网络， 所述 第三学习率小于所述第四学习率。 9.一种增量学习装置， 其特 征在于， 包括： 域判别单元， 用于依据增量学习模型中的域判别分支网络对输入特征进行域判别， 得 到域判别结果； 所述增量学习模型包括主干网络、 新知识学习分支网络以及所述域判别 分 支网络， 对于所述主干网络的每一层卷积层， 所述新知识学习分支网络包括与所述主干网 络的该卷积层 对应的新知识学习分支， 所述域判别分支网络包括与所述主干网络的该卷积 层对应的域判别分支； 特征融合单元， 用于依据所述域判别结果， 对所述主干网络的输出特征与所述新知识 学习分支网络的输出 特征进行融合处 理， 得到融合输出 特征； 预测单元， 用于依据所述融合输出 特征进行预测处理。 10.根据权利要求9所述的装置， 其特征在于， 所述域判别单元依据增量学习模型中的 域判别分支网络对输入特 征进行域判别， 包括： 对于所述主干网络的目标卷积层， 依据所述域判别分支网络 中与所述目标卷积层对应 的域判别分支对所述 目标卷积层的输入特征进行域判别， 得到目标域判别结果； 所述 目标 卷积层为所述主干网络的任一卷积层； 所述特征融合单元依据 所述域判别结果， 对所述主干网络的输出特征与所述新知识学 习分支网络的输出 特征进行融合处 理， 得到融合输出 特征， 包括： 依据所述目标域判别结果， 对所述目标卷积层的第一输出特征， 以及所述新知识学习 分支网络中与所述目标卷积层 对应的新知识学习分支的第二输出特征进 行融合处理， 得到 所述目标 卷积层对应的融合输出 特征； 其中， 所述特征融合单元依据 所述目标域判别结果， 对所述目标卷积层的输出特征， 以 及所述新知识学习分支网络中与所述目标卷积层对应的新知识学习分支的输出特征进行 融合处理， 得到所述目标 卷积层对应的融合输出 特征， 包括： 依据所述目标域判别结果， 确定所述第一输出特征的第一权重， 以及所述第二输出特权　利　要　求　书 2/3 页 3 CN 114330665 A 3