(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211162583.9 (22)申请日 2022.09.23 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号西安交通大 学 (72)发明人 王少鲲　乔敏行　龚怡宏　董松林　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苟冬梅 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种受语义知识指导的类增量学习方法及 系统 (57)摘要 本发明提出了一种受语义知识指导的类增 量学习方法及系统， 涉及人工智 能技术领域。 通 过由CNN特征提取器和Bi ‑GCN分类器组成类增量 学习框架SOUL， 该框架使用从类标签中提取的语 义知识来构建类间关系图并学习Bi ‑GCN分类器， 基于Bi‑GCN分类器， 将类间关系从语义模态迁移 到图像分类器权重， 以解决类间混淆问题。 设计 了一个局部拓扑保持约束， 将学习到的特征空间 的全局拓 扑关系划分为一组局部拓扑关系， 并在 每个类增量学习阶段中保持这些局部关系， 以防 止学习到的特征空间的拓扑关系被破坏。 通过将 局部拓扑保持策略和SOUL框架结合， 本发明的类 增量学习方法在基准图像分类数据集上的典型 设置中实现了最先进的性能精度。 权利要求书3页 说明书11页 附图5页 CN 115496983 A 2022.12.20 CN 115496983 A 1.一种受语义知识指导的类增量学习方法， 其特 征在于， 包括以下步骤： 获取包含多个类别的类增量数据集， 且将所述类增量数据集按类别分为多个训练阶段 的训练样本， 并保证不同训练阶段的训练样本中的类别之间不重 叠； 采用特征提取器分别对所述不同训练阶段的训练样本进行特征提取并训练， 构建出不 同阶段的特 征空间； 根据所述类增量数据集中的类标签， 获取不同训练阶段的类标签的语义嵌入， 并根据 所述不同训练阶段的类标签的语义嵌入， 分别构建各个阶段的类间关系图； 根据所述各个阶段的类间关系图， 设计分类器， 并计算得到所述不同训练阶段的训练 样本的分类结果； 将所述不同阶段的特 征空间采用局部 拓扑保持策略， 同步保持局部相似关系； 定义多目标损 失函数， 并采用所述局部相似关系的局部拓扑保持约束， 对类增量学习 模型进行训练， 得到训练后的模型。 2.根据权利要求1所述的受语义知识指导的类增量学习方法， 其特征在于， 所述根据 所 述类增量数据集中的类标签， 获取不同训练阶段的类标签的语义嵌入， 并根据所述不同训 练阶段的类标签的语义嵌入， 分别构建各个阶段的类间关系图， 包括以下步骤： 根据所述类增量数据集中的类标签， 分别利用Word2Vec算法获取当前训练 阶段的类标 签的语义嵌入； 使用所述各个训练 阶段的类标签的语义嵌入， 构建各个阶段的类间关系图， 其中， 所述 类间关系图的节点表示当前阶段中学习过的所有类， 任意两个所述节点之 间的边表示类间 的语义关系。 3.根据权利要求2所述的受语义知识指导的类增量学习方法， 其特征在于， 所述类间的 语义关系包括 一般关系和核心关系， 对于所述类间关系图， 定义两种对称邻接矩阵， 分别表示阶段k中学习过的所有类之间的一般关系和核心关系： 其中， Nk是在阶段k 中学习过的所有类的数量， dist( ·,·)是欧几 里得距离， li和lj分别是类标签i和j的语 义嵌入， η表示超参 数， P(·)表示剪枝操作， 用于剪 除弱边并保留所述类间关系图中的核心语义关系。 4.根据权利要求3所述的受语义知识指导的类增量学习方法， 其特征在于， 所述分类器 为Bi‑GCN分类器， 所述Bi ‑GCN分类器包 括两个GCN传播函数， 以 和相应的语义嵌入矩 阵 作为所述两个GCN传播函 数的输入， 所述两个GCN传播函 数的输出 和 作为两 组分类器权重， 所述Bi ‑GCN分类器 ψ定义为：权　利　要　求　书 1/3 页 2 CN 115496983 A 2其中， 是给定样本xi在阶段k属于c类的估计似然值， ρ 是控制两个GCN分类器贡献的 超参数， 分别对应i类的两组分类权 重。 5.根据权利要求1所述的受语义知识指导的类增量学习方法， 其特征在于， 所述将所述 不同阶段的特 征空间采用局部 拓扑保持策略， 同步保持局部相似关系， 包括以下步骤： 计算同一批训练样本在当前阶段k和前一个阶段k ‑1中的相似度矩阵， 得到当前阶段k 的相似度矩阵为Sk， 前一个阶段k ‑1中的相似度矩阵为Sk‑1； 利用滑动窗口将Sk和Sk‑1分成局部相似度子矩阵Sk(i)和Sk‑1(i)， 其中， 当所述滑动窗 口 的大小m大于所述滑动窗口的步长n时， 所有所述局部相似度子矩阵中局部相似关系的总和 保持全局相似关系； 分别对所述局部相似度子矩阵Sk(i)和Sk‑1(i)进行归一 化， 得到归一 化的子矩阵； 根据归一 化的子矩阵， 采用平均绝对误差损失函数同步保持局部相似关系。 6.根据权利要求1所述的受语义知识指导的类增量学习方法， 其特征在于， 所述多目标 损失函数包括分类的交叉熵损失函数、 惩罚相邻类增量学习阶段中输出概率的变化的知识 蒸馏损失函数、 局部 拓扑保持约束； 阶段k的整体损失函数表示 为： 其中， |Co|和|Cn|分别表示当前类增量学习阶段中旧类和新类的数量， 为分类的交 叉熵损失函数； 为惩罚相邻类增量学习阶段中输出概率的变化的知识蒸馏损失函数； 为局部拓扑保持约束， α 、 γ和 δ表示平衡三种损失函数贡献的超参数。 7.根据权利要求6所述的受语义知识指导的类增量学习方法， 其特征在于， 所述局部拓 扑保持约束 定义为： 其中， 和 表示归一化子矩阵， L1(·,·)为平均绝对误差损失函数， Id是 由滑动窗口计算的子矩阵的数目。 8.一种受语义知识指导的类增量学习 系统， 其特 征在于， 包括： 类增量数据集划分模块， 用于获取包含多个类别的类增量数据集， 且将所述类增量数 据集按类别分为多个训练阶段的训练样本， 并保证不同训练阶段的训练样本中的类别之间 没有重叠； 特征空间提取模块， 用于采用特征提取器分别对所述不同训练阶段的训练样本进行特权　利　要　求　书 2/3 页 3 CN 115496983 A 3