(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111657725.4 (22)申请日 2021.12.3 0 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 余超　黄荣恒　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 陈旭红　钟文瀚 (51)Int.Cl. G06K 9/62(2022.01) G16H 50/20(2018.01) (54)发明名称 一种脓毒症治 疗策略的学习方法及装置 (57)摘要 本发明公开了一种脓毒症治疗策略的学习 方法及装置， 该方法包括： 基于样本数据建立关 于脓毒症治疗 策略的马尔科夫决策模 型； 样本数 据为脓毒症患者在预设时间内的病理数据； 根据 马尔科夫决策模 型， 建立脓毒症的死亡率预测模 型， 并获取脓毒症患者各个特征的死亡率权重； 利用死亡率权重对样本数据进行标记， 生成目标 样本； 预测脓毒症治疗策略， 利用 深度强化学习 方法来学习治疗 策略。 本发明通过患者样本优先 级权重进行标记， 使 得深度强度学习的样本质量 更高， 提高了模型的训练效果， 避免在大量次优 样本中快速陷入局部最优的问题； 通过采用改进 的深度强度学习算法学习治疗策略， 并为AI治疗 策略的动作选择增加现实限制， 使得推荐的治疗 策略更优。 权利要求书2页 说明书8页 附图3页 CN 114330566 A 2022.04.12 CN 114330566 A 1.一种脓毒症治疗策略的学习方法， 其特 征在于， 包括： 基于样本数据建立关于脓毒症治疗策略的马尔科夫 决策模型； 所述样本数据为脓毒症 患者在预设时间内的病理数据； 根据所述马尔科夫决策模型， 建立脓毒症的死亡率预测模型， 并获取脓毒症患者各个 特征的死亡率权重； 利用所述死 亡率权重对样本数据进行 标记， 生成目标样本； 预测脓毒症治疗策略， 利用深度强化学习方法来学习治疗策略。 2.根据权利要求1所述的脓毒症治疗策略的学习方法， 其特征在于， 在所述基于样本数 据建立关于脓毒症治疗策略的马尔科 夫决策模型之后， 还 包括： 对马尔科夫 决策模型中的数据进行数据清洗， 包括将数据损失超过预设值的治疗轨迹 进行剔除， 利用KN N算法进行 数据填充。 3.根据权利要求2所述的脓毒症治疗策略的学习方法， 其特征在于， 所述根据 所述马尔 科夫决策模型， 建立脓毒症的死亡率预测模型， 并获取脓毒症患者各个特征的死亡率权重， 包括： 基于所述马尔科夫决策模型， 利用极限梯度提升算法进行二分类训练， 将患者在每个 时间序列的状态作为特 征值， 以最终存活情况作为标签， 训练生成死 亡率预测模型； 基于死亡率预测模型， 将患者按最终存活或死亡的情况划分， 利用KNN算法， 基于闵可 夫斯基距离公式计算患者各个特 征的死亡率权重。 4.根据权利要求2所述的脓毒症治疗策略的学习方法， 其特征在于， 所述深度强化学习 方法为Double  Dueling DQN深度强化学习方法。 5.根据权利要求4所述的脓毒症治疗策略的学习方法， 其特征在于， 所述利用深度强化 学习方法来学习治疗策略， 包括修改损失函数以及对AI治疗策略的动作选择增加现实限 制。 6.一种脓毒症治疗策略的学习方法， 其特 征在于， 包括： 基于样本数据建立关于脓毒症治疗策略的马尔科夫 决策模型； 所述样本数据为脓毒症 患者在预设时间内的病理数据； 根据所述马尔科夫决策模型， 建立脓毒症的死亡率预测模型， 并获取脓毒症患者各个 特征的死亡率权重； 利用所述死亡率权重对样本数据进行标记， 生成目标样本， 将所述目标样本作为脓毒 症治疗策略的学习样本 。 7.根据权利要求6所述的脓毒症治疗策略的学习方法， 其特征在于， 在所述基于样本数 据建立关于脓毒症治疗策略的马尔科 夫决策模型之后， 还 包括： 对马尔科夫 决策模型中的数据进行数据清洗， 包括将数据损失超过预设值的治疗轨迹 进行剔除， 利用KN N算法进行 数据填充。 8.根据权利要求7所述的脓毒症治疗策略的学习方法， 其特征在于， 所述根据 所述马尔 科夫决策模型， 建立脓毒症的死亡率预测模型， 并获取脓毒症患者各个特征的死亡率权重， 包括： 基于所述马尔科夫决策模型， 利用极限梯度提升算法进行二分类训练， 将患者在每个 时间序列的状态作为特 征值， 以最终存活情况作为标签， 训练生成死 亡率预测模型；权　利　要　求　书 1/2 页 2 CN 114330566 A 2基于死亡率预测模型， 将患者按最终存活或死亡的情况划分， 利用KNN算法， 基于闵可 夫斯基距离公式计算患者各个特 征的死亡率权重。 9.一种脓毒症治疗策略的学习装置， 其特 征在于， 包括： 数据处理单元， 用于基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型； 所 述样本数据为脓毒症患者在预设时间内的病理数据； 权重计算单元， 用于根据 所述马尔科夫 决策模型， 建立脓毒症的死亡率预测模型， 并获 取脓毒症患者各个特 征的死亡率权重； 标记单元， 用于利用所述死 亡率权重对样本数据进行 标记， 生成目标样本； 学习单元， 用于预测脓毒症治疗策略， 利用深度强化学习方法来学习治疗策略。 10.一种脓毒症治疗策略的学习装置， 其特 征在于， 包括： 数据处理模块， 用于基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型； 所 述样本数据为脓毒症患者在预设时间内的病理数据； 权重计算模块， 用于根据 所述马尔科夫 决策模型， 建立脓毒症的死亡率预测模型， 并获 取脓毒症患者各个特 征的死亡率权重； 样本生成模块， 用于利用所述死亡率权重对样本数据进行标记， 生成目标样本， 将所述 目标样本作为脓毒症治疗策略的学习样本 。权　利　要　求　书 2/2 页 3 CN 114330566 A 3