(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210828884.4
(22)申请日 2022.06.21
(71)申请人 北京百度网讯科技有限公司
地址 100085 北京市海淀区上地十街10号
百度大厦2层
(72)发明人 张巨岩 许韩晨玺 许海洋
岳洪达
(74)专利代理 机构 中科专利商标代理有限责任
公司 11021
专利代理师 鄢功军
(51)Int.Cl.
G06Q 40/02(2012.01)
G06Q 40/08(2012.01)
G06N 3/08(2006.01)
G06N 3/04(2006.01)G06K 9/62(2022.01)
(54)发明名称
深度学习模 型的训练方法、 风险评估 方法和
装置
(57)摘要
本公开提供了一种深度学习模型的训练方
法、 风险评估 方法和装置, 涉及计算机技术领域,
尤其涉及机器学习技术领域。 具体实现方案为:
利用与第一风控场景对应的第一对象特征集合
对第一初始模型进行训练, 得到第一模型; 利用
与多个第二风控场景对应的第二对象特征集合
训练第二初始模型, 得到多个第二模型; 确定第
一模型和每个第二模型之间的相似度, 得到多个
相似度; 根据多个相似度, 确定多个第二模型中
的至少一个候选模型; 在第一模 型和至少一个候
选模型中确定源模型; 以及对源模型进行微调,
得到经训练的深度学习模型。
权利要求书3页 说明书11页 附图8页
CN 115034893 A
2022.09.09
CN 115034893 A
1.一种深度学习模型的训练方法, 包括:
利用与第一风控场景对应的第 一对象特征集合对第 一初始模型进行训练, 得到第 一模
型, 所述第一初始模型与所述第一 风控场景相关;
利用与多个第 二风控场景对应的第 二对象特征集合训练第 二初始模型, 得到多个第 二
模型, 其中, 所述第二初始模型与所述第一 风控场景相关;
确定所述第一模型和每 个所述第二模型之间的相似度, 得到多个相似度;
根据所述多个相似度, 确定所述多个第二模型中的至少一个候选模型;
在所述第一模型和所述至少一个候选模型中确定源 模型; 以及
对所述源 模型进行微调, 得到经训练的深度学习模型。
2.根据权利要求1所述的方法, 其中, 所述确定所述第 一模型和每个所述第 二模型之间
的相似度, 包括:
将所述第一对象特征集合中的每个第 一对象特征分别输入所述第 一模型, 得到与 所述
每个第一对象特 征对应的第一输出 结果;
确定所述第一输出 结果的第一分布特 征;
针对所述每 个第二对象特 征集合,
将该第二对象特征集合中的每个第二对象特征分别输入与该第二对象特征集合对应
的目标第二模型, 得到与所述每 个第二对象特 征对应的第二输出 结果;
确定所述第二输出 结果的第二分布特 征; 以及
根据所述第 一分布特征和所述第 二分布特征, 确定所述第 一模型与 所述目标第 二模型
之间的相似度。
3.根据权利要求1所述的方法, 其中, 所述在所述第 一模型和所述至少一个候选模型中
确定源模型包括:
根据与所述第一风控场景对应的需求信 息, 分别对所述第 一模型和所述至少一个候选
模型进行评估, 得到所述第一模型和所述至少一个候选模型的模型评估结果; 以及
根据所述第 一模型和所述至少一个候选模型的模型评估结果, 将所述第 一模型和所述
至少一个候选模型之一确定为源 模型。
4.根据权利要求1所述的方法, 其中, 所述对所述源模型进行微调, 得到经训练的深度
学习模型, 包括:
根据所述源模型, 创建原始模型, 其中, 所述原始模型中至少部分模型结构与所述源模
型相同, 且所述原 始模型和所述源 模型中相同模型 结构的参数相同; 以及
对所述原 始模型进行训练, 得到所述经训练的深度学习模型。
5.根据权利要求4所述的方法, 其中, 所述对所述原始模型进行训练, 得到所述经训练
的深度学习模型还 包括:
确定所述多个第二对象特 征集合中每个第二对象特 征与所述第一 风控场景的相关度;
根据所述相关度, 将所述第一对象特征集合和所述多个第二对象特征集合融合, 得到
目标对象特 征集合; 以及
根据所述目标对象特 征集, 对所述原 始模型进行训练, 得到所述经训练的深度学习。
6.根据权利要求5所述的方法, 其中, 所述根据所述相关度, 将所述第一对象特征集合
和所述多个第二对象特 征集合融合, 得到目标对象特 征集合, 包括:权 利 要 求 书 1/3 页
2
CN 115034893 A
2针对每个所述第 二对象特征集合, 根据所述第 二对象特征集合中每个第 二对象特征的
相关度, 计算平均相关度;
根据所述平均相关度, 确定所述多个第二对象特 征集合中的相关对象特 征集合; 以及
将所述第一对象特征集合与所述相关对象特征集合合并, 得到所述目标对象特征集
合。
7.根据权利要求5所述的方法, 其中, 所述根据所述相关度, 将所述第一对象特征集合
和所述多个第二对象特 征集合融合, 得到目标对象特 征集合, 包括:
将所述多个第二对象特 征集合中的第二对象特 征根据相关度进行排序;
选择前N个第二对象特 征作为候选对象特 征, 其中, N 为正整数;
确定与所述 候选对象特 征对应的训练效果 提升量;
在训练效果提升量大于或等于提升量阈值的情况下, 计算N与步长之和, 作为新的N, 其
中, 步长为正整 数, 针对所述新的N, 返回所述选择前N个第二对象特征作为候选对象特征的
操作; 以及
在训练效果提升量小于提升量阈值的情况下, 将所述第 一对象特征集合中的第 一对象
特征与所述 候选对象特 征合并, 得到所述目标对象特 征集合。
8.根据权利要求1所述的方法, 其中, 所述根据所述多个相似度, 确定所述多个第二模
型中的至少一个候选模型, 包括:
确定所述多个第二模型中相似度大于相似度阈值的第二模型, 作为所述 候选模型。
9.一种风险评估方法, 包括:
获取待评估 对象的对象特 征; 以及
将所述对象特 征输入深度学习模型, 得到风险评估结果,
其中, 所述深度学习模型 是根据权利要求1 ‑8中任一项所述的方法训练的。
10.一种深度学习模型的训练装置, 包括:
第一训练模块, 用于利用与第 一风控场景对应的第 一对象特征集合对第 一初始模型进
行训练, 得到第一模型, 所述第一模型与所述第一 风控场景相关;
第二训练模块, 用于利用与多个第 二风控场景对应的第 二对象特征集合训练第 二初始
模型, 得到多个第二模型, 其中, 所述第二初始模型与所述第一 风控场景相关;
相似度确定模块, 用于确定所述第一模型和每个所述第二模型之间的相似度, 得到多
个相似度;
候选模型确定模块, 用于根据所述多个相似度, 确定所述多个第二模型中的至少一个
候选模型;
源模型确定模块, 用于在所述第一模型和所述至少一个候选模型中确定源 模型; 以及
微调模块, 用于对所述源 模型进行微调, 得到经训练的深度学习模型。
11.一种风险评估 装置, 包括:
获取模块, 用于获取待评估 对象的对象特 征; 以及
输入模块, 用于将所述对象特 征输入深度学习模型, 得到风险评估结果,
其中, 所述深度学习模型 是根据权利要求1 ‑8中任一项所述的方法训练的。
12.一种电子设备, 包括:
至少一个处 理器; 以及权 利 要 求 书 2/3 页
3
CN 115034893 A
3
专利 深度学习模型的训练方法、风险评估方法和装置
文档预览
中文文档
23 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共23页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 06:24:07上传分享