(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111155124.3 (22)申请日 2021.09.2 9 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 张拳石　 (74)专利代理 机构 上海一平知识产权代理有限 公司 3126 6 专利代理师 徐迅　崔佳佳 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06F 111/10(2020.01) (54)发明名称 面向黑盒模型的表征诊断与解释、 模型比 较、 训练样本收集的方法与系统 (57)摘要 本发明涉及机器学习技术领域， 公开了一种 面向黑盒模型的表征诊断、 模型比较、 训练样本 收集的方法与系统， 可实现自动解释黑盒模型的 内部逻辑， 得到表示黑盒模型内部逻辑的 “与或 图”模型， 从而实现面向黑盒模型的表征诊断、 模 型比较、 训练样本收集。 其包括： 提供某一黑盒模 型； 将样本输入黑盒模型， 样本包含一定维度的 输入单元； 基于黑盒模型的中层输出特征， 对样 本的输入单元间交互配合的作用进行建模， 计算 输入单元形成 间组合的交互强度， 将黑盒模型表 示为输入单元间组合间的 “与加关系 ”； 优化交互 计算中各输入 单元上的基准值， 使得从黑盒模型 得到的“与加关系 ”表达更加简洁； 基于上述 关系 建立表达该黑盒模型内部 逻辑的“与或图”模型。 权利要求书2页 说明书18页 附图5页 CN 114462291 A 2022.05.10 CN 114462291 A 1.一种解释黑盒模型的方法， 其特 征在于， 所述方法包括以下步骤： (1)选取模型； 选取所需要解释的黑盒模型， 其中所述 黑盒模型包括神经网络； (2)获取建模所需数据： 选取某一样本输入所述黑盒模型以此获得基于所述输入样本得到的中层特征输出或 黑盒模型输出样本， 将所述输入样本与所述中层特征输出或黑盒模型输出样本作为建模时 的数据， 其中所述输入样本包含W个维度的输入单元， 其中W为≥5的正整数， 在另一优选例 中， W为10‑10000， 更佳地15‑100； (3)确定一级(primary) “与加关系 ” 基于所述黑盒模型的中层输出特征或模型输出样本， 对所述输入样本的输入单元间的 交互配合作用进行建模， 获得由所述输入单元组成的组合， 并计算所述输入单元间组合的 交互强度， 然后根据所述交互强度确定所述黑盒模型 的输入单元组成的组合间的一级 “与 加关系”； (4)建立二级(seco ndary)“与加关系 ” 基于所述步骤(3)中的所述 “与加关系 ”， 通过优化交互计算中各输入单元上的基准值， 将所述“与加关系 ”中关联性 强的输入 单元间组合进一步结合， 并将非重要输入 单元间组合 剔除， 从而将所述 “与加关系 ”表达的更加简洁、 稀疏； (5)建立“与或图”模型 基于步骤(4)所述的二级 “与加关系 ”， 建立表达该黑盒模型内部 逻辑的“与或图”模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(3)包括： 通过Harsanyi  dividend指标对输入单元间的交互配合作用进行量化， 计算输入单元 间组合S内部的输入 单元之间交互配合对中层输出特征或模型输出的数值贡献， 记 为I(S)， 并将黑盒模型的输出v(N)拆分为各输入单元间组合S的交互作用大小之和， 在所述拆分方 法中， 每个输入单元间组合S内部的交互作用当且仅当S内所有输入单元均存在时才触发， 使得输入单元间组合S内的输入单元形成了 “与”的关系， 从而确定黑盒模型中输入样本上 的输出v(N)与输入 单元间的一级 “与加关系 ”， 即将黑盒模型中输入样 本上的输出v(N)表 示 为输入单 元间的“与加关系 ”。 3.根据权利要求1所述的方法， 其特征在于， 所述步骤(4)包括： 将所有输入单元的基准 值构成的向量记为b， 其中每一维bi表示输入单元i的基准值， 通过惩罚只产生微小影响或 干扰的输入单元间组合S的交互强度|I(S)|， 优化输入样本N每一维输入单元的基准值bi， 使交互强度|I(S)|较小的输入单元间组合S的交互强度|I(S)|趋于0， 得到稀疏的输入 单元 间交互， 从而确定黑盒模型中输入样本上的输出v(N)与输入单 元间的二级 “与加关系 ”； 其中， 所述稀疏的输入单元间交互是指， 大多数输入单元间组合的交互强度|I(S)|较 小(趋近于0)， 对网络输出没有影响； 只有少量输入单元间组合的交互强度|I(S)|较大， 对 网络输出有重大影响。 4.根据权利要求1所述的方法， 其特征在于， 在步骤(4)中， 基于基准值进行输入单元间 组合分析， 即指在交互计算中， 计算某一输入单元间组合S上黑盒模型的输出v(S)时， 需保 留S中的输入单元上原本的样本输入值， 而将所有S的补集(N\S)中的输入单元替换为其基 准值， 来表示 这些输入单 元“不存在”的状态， 随后对该输入单 元间组合S进行分析。权　利　要　求　书 1/2 页 2 CN 114462291 A 25.根据权利要求1所述的方法， 其特征在于， 所述的 “优化交互计算中各输入单元上的 基准值”包括： 通过惩罚只产生微小影响的输入单元间组合的交互强度|I(S)|， 保留对黑盒模型的输 出v(N)产生较大影响的输入单 元间组合的交 互强度， 从而对基准 值进行优化更新。 6.根据权利要求5所述的方法， 其特 征在于， 所述 步骤(4)包括： 首先， 通过取样本均值、 随机值、 零 值或任何一种其它方法生成初始基准 值； 其次， 重复所述基准 值优化步骤， 直至最 新计算的损失函数值下降并收敛； 其中， 对于每次重复， 根据优化函数重新计算损失函数值， 并基于损失函数值的梯度 更 新基准值， 以及基于更新得到的基准 值计算出 各输入单 元间组合的交 互强度值。 7.根据权利要求1所述的方法， 其特征在于， 所述 “与或图”包含至少三层， 由若干节点 与连边组成， 其中， 底层的n个叶节点表示n个输入 单元； 中间的若干 “与节点”表示某一输入 单元间组合S内部输入单元之间的 “与”关系,每个 “与”节点被分配一个分数score＝I(S)， 表示该节点所对应的输入单元间组合的交互对中层输出特征或模型输出的数值贡献； 顶层 的根节点是一个 “或节点”， 表示对其所有子节点分数的加和， 即黑盒模型的输出v(N)最终 表示为所有输入单 元间组合S的交 互作用I(S)的加 和。 8.根据权利要求1所述的方法， 其特征在于， 所述步骤(5)包括： 在得到黑盒模型的某一 “与或图”后， 通过以下方法进一步简化 “与或图”的表达： 由于不同输入单元间组合S中往往 包含相同的一部分输入单元， 例如在输入单元间组合{i， j， k}， {i， j， l}， {i， j， m， n}中包含 相同的输入单元{i， j})， 将这些公共的输入单元进行合并， 合并结果记为特征单元 λij＝{i， j}， 则原输入单元间组合{i， j， k}， {i， j， l}， {i， j， m， n}可以利用公共特征单元 λij进行化简， 分别得到新的特征单元表示， 即： { λij， k}， { λij， l}， { λij， m， n}； 特征单元λij可作为“与或图” 中间层的一个 “与节点”， 代替输入单元{i， j}共同存在时的表达， 并与其他包含该特征单元 的节点相连， 从而简化对黑盒模型进行的 “与或图”建模。 9.根据权利要求1所述的方法， 其特征在于， 所述的黑盒模型包括： 自动驾驶信息处理 黑盒模型、 医疗影像处理黑盒模型、 智能金融黑盒模型、 图像检索黑盒模型、 智能安防黑盒 模型、 军事应用黑盒模型等。 10.一种面向黑盒模型的表征诊断、 模型比较、 训练样本收集的系统， 其特征在于， 包 括： 输入模块， 被配置为一黑盒模型和包 含一定维度输入单 元的样本； 输入单元间组合交互计算模块， 被配置为基于黑盒模型的中层输出特征或模型输出， 对样本的输入单元间交互配合的作用进行建模， 计算输入单元间组合的交互强度， 将黑盒 模型表示 为输入单 元间组合的 “与加关系 ”； 基准值优化模块， 被配置为通过优化交互计算中各输入单元上的基准值， 使得从黑盒 模型得到的“与加关系 ”表达更加简洁、 稀疏； 和 “与或图”生成模块， 被配置为基于黑盒模型上一组稀疏的 “与加关系 ”， 建立表达该黑 盒模型内部 逻辑的“与或图”模型。权　利　要　求　书 2/2 页 3 CN 114462291 A 3