(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211293317.X (22)申请日 2022.10.21 (71)申请人 微梦创科网络科技 （中国） 有限公司 地址 100193 北京市海淀区东北旺西路中 关村软件园二期 （西扩） N-1、 N-2地块 新浪总部科研楼 2层 (72)发明人 林中平　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 于晓然 (51)Int.Cl. G06K 9/62(2022.01) (54)发明名称 多任务模 型的训练方法、 内容推荐 方法及装 置 (57)摘要 本申请实施例提供了一种多任务模型的训 练方法、 内容推荐方法及装置， 该多任务模型的 训练方法包括： 获取训练样本， 训练样本至少包 括用户行为数据、 用户特征和与用户行为数据对 应的历史浏览数据； 根据用户行为数据、 历史浏 览数据和用户特征确定目标用户的兴趣向量表 征； 将兴趣向量表征输入到待训练的多任务模型 中进行训练， 直至待训练的多任务模 型的目标损 失函数收敛， 得到训练好的多 任务模型。 权利要求书2页 说明书10页 附图3页 CN 115545114 A 2022.12.30 CN 115545114 A 1.一种多任务模型的训练方法， 其特 征在于， 所述训练方法包括： 获取训练样本， 所述训练样本至少包括用户行为数据、 用户特征和与所述用户行为数 据对应的历史浏览数据； 根据所述用户行为数据、 所述历史浏 览数据和所述用户特征确定目标用户的兴趣向量 表征； 将所述兴趣向量表征输入到待训练 的多任务模型中进行训练， 直至所述待训练 的多任 务模型的目标损失函数收敛， 得到训练好的多任务模型； 其中， 所述多任务模型包括共享层和多个子任务模型， 所述共享层使得各所述子任务 模型之间的内容共享， 所述训练样本作为各所述子任务模型 的输入， 各所述子任务模型根 据所述训练样本中的用户行为数据、 用户特征和与所述用户行为数据对应的历史浏览数 据， 针对各所述子任务模型 的训练目标输出预测值， 所述训练目标包括针对各待查看的候 选内容的点击率、 互动率和观看时长中的至少一 者。 2.根据权利要求1所述的多任务模型的训练方法， 其特征在于， 所述用户行为数据包括 用户目标行为序列， 目标行为包括点击行为、 互动行为和观看视频行为中的至少一者， 不同 的用户目标行为序列对应不同的历史浏览数据， 所述根据所述用户行为数据、 所述历史浏 览数据和所述用户特 征确定目标用户的兴趣向量表征包括： 基于自注意机制模型对所述用户目标行为序列对应的历史浏览数据进行特征抽取， 得 到所述用户特 征对应的目标用户的目标 行为序列的多个兴趣表征； 对各所述兴趣表征进行加权融合， 得到所述兴趣向量表征。 3.根据权利要求2所述的多任务模型的训练方法， 其特征在于， 所述基于自注意机制模 型对所述用户目标行为序列的历史浏览数据进行特征抽取， 得到所述用户特征对应的目标 用户的目标 行为序列的兴趣表征包括： 将所述用户特征、 所述用户目标行为序列和所述用户目标行为序列对应的历史浏览数 据映射为低维矩阵； 根据所述低维矩阵确定所述目标用户的目标 行为序列的嵌入表征； 基于所述自注意机制模型利用所述低维矩阵和所述嵌入表征确定所述目标用户的目 标行为序列的新表征； 计算所述 新表征与所述待查看的候选内容的关联度； 根据所述关联度对所述目标用户的目标行为序列的嵌入表征进行线性加权得到所述 兴趣表征。 4.根据权利要求1所述的多任务模型的训练方法， 其特征在于， 所述多个子任务模型包 括点击率子任务模型、 互动率子任务模型和观看时长子任务模型， 所述点击率子任务模型 的损失函数和所述互动率子任务模型的损失函数使用交叉熵函数， 所述观看时长子任务模 型的损失函数使用均方根 误差函数。 5.根据权利要求4所述的多任务模型的训练方法， 其特征在于， 所述目标损失函数是所 述点击率子任务模型的损失函数、 所述互动率子任务模型的损失函数和所述观看时长子任 务模型的损失函数的加权和。 6.根据权利要求5所述的多任务模型的训练方法， 其特征在于， 所述目标损失函数是所 述点击率子任务模型的损失函数、 所述互动率子任务模型的损失函数和所述观看时长子任权　利　要　求　书 1/2 页 2 CN 115545114 A 2务模型的损失函数的权重是基于不确定性加权学习策略确定的， 所述目标损失函数还包 括： 所述加权和与不确定加权学习策略中参数的对数 形式的和值。 7.一种内容推荐方法， 其特 征在于， 所述内容推荐方法包括： 获取目标用户的浏览数据和用户特 征； 将所述浏 览数据和所述用户特征输入到多任务模型中进行内容预测， 得到所述多任务 模型输出的针对待查看的候选内容的预测信息， 所述多任务模 型为按照权利要求1至6任一 项所训练得到的多任务模型； 按照所述预测信息的指示 为所述目标用户推荐与所述预测信息对应的候选内容。 8.根据权利要求7所述的内容推荐方法， 其特征在于， 所述预测信 息包括对候选内容的 点击率、 互动率和观看时长的预测 值， 所述按照所述预测信息的指示为所述 目标用户推荐 与所述预测信息对应的候选内容包括： 根据对候选内容的点击率、 互动率和观看时长的预测值， 确定排序分值最高的候选内 容， 并向所述目标用户推荐所述 排序分值 最高的候选内容。 9.一种多任务学习模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取训练样本， 所述训练样本至少包括用户行为数据、 用户特征和与所 述用户行为数据对应的历史浏览数据； 确定模块， 用于根据所述用户行为数据、 所述历史浏览数据和所述用户特征确定目标 用户的兴趣向量表征； 训练模块， 用于将所述兴趣向量表征输入到待训练的多任务模型中进行训练， 直至所 述待训练的多任务模型的目标损失函数收敛， 得到训练好的多任务模型； 其中， 所述多任务模型包括共享层和多个子任务模型， 所述共享层使得各所述子任务 模型之间的内容共享， 所述训练样本作为各所述子任务模型 的输入， 各所述子任务模型根 据所述训练样本中的用户行为数据、 用户特征和与所述用户行为数据对应的历史浏览数 据， 针对各所述子任务模型 的训练目标输出预测值， 所述训练目标包括针对各待查看的候 选内容的点击率、 互动率和观看时长中的至少一 者。 10.一种内容推荐装置， 其特 征在于， 包括： 获取模块， 用于获取目标用户的浏览数据和用户特 征； 预测模块， 用于将所述浏览数据和所述用户特征输入到多任务模型中进行内容预测， 得到所述多任务模型输出的预测信息， 所述多任务模型为按照权利要求 1至6任一项 所训练 得到的多任务模型； 推荐模块， 用于按照所述预测信 息的指示为所述目标用户推荐与所述预测信 息对应的 目标内容。权　利　要　求　书 2/2 页 3 CN 115545114 A 3