(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064655.6 (22)申请日 2022.08.31 (71)申请人 昆明理工大 学 地址 650500 云南省昆明市呈贡区景明南 路727号 (72)发明人 刘利军　袁钰博　王江峰　黄青松　 (74)专利代理 机构 昆明隆合知识产权代理事务 所(普通合伙) 53220 专利代理师 何娇 (51)Int.Cl. G16H 15/00(2018.01) G06V 10/80(2022.01) G06V 10/77(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06F 16/33(2019.01) (54)发明名称 一种基于病史与标签辅助的胸部放射影像 报告生成方法 (57)摘要 本发明涉及基于病史与标签辅助的胸部放 射影像报告生成方法， 包括步骤： 采用多视图多 模型影像特征融合模型进行影像视觉特征提取； 使用Transformer对患者既往病史进行特征表 示； 将提取出来的影像视觉特征与既往病史文本 特征， 通过长短时记忆网络进行跨模态特征融 合， 得到基于既往病史信息指导的融合特征； 将 融合特征传入Transformer模块， 进行初级报告 生成； 将初级报告结果， 与多视图多模型影像特 征融合模型产生的疾病预测结果， 共同传入一致 性校验模块进行训练， 通过减小初级报告与预测 结果的差别， 以生成更准确高效的报告。 实验结 果表明， 本发明生成的胸部影像报告的描述， 在 有效性和准确性方面均优于当前主流方法。 权利要求书2页 说明书8页 附图2页 CN 115472255 A 2022.12.13 CN 115472255 A 1.一种基于病史与标签辅助的胸部放射影像报告生成方法， 其特征在于， 所述方法具 体包括如下： Step1、 采用多视图多模型影像特征融合模型DFFM进行影像特征提取： 通过将不同视图 影像深度融合， 以提取不同视图影像相应的潜在特征， 之后对于提取出来的特征进行最大 池化以得到多视图影 像特征编码； Step2、 使用Transformer对患者既往病史进行特征表示： 通过多头自注意力机制和前 馈神经网络提取患者既往病史文本特 征； Step3、 通过LSTM实现跨模态融合： 将Step1与Step2提取到的患者影像特征和既往病史 文本特征作为LSTM的输入， 最后 将所有不同时刻的注 意力影像特征图累加后进 行全局平均 池化， 得到既往病症信息指导的融合特 征； Step4、 使用Transformer进行初级报告生成： 在Step3得到的融合特征传入 Transformer， 通过计算隐藏状态以预测下一个要生成的单词， 从而生成初级报告； Step5、 将Step4生成的初级报告的疾病预测结果， 与用DFFM模型产生的疾病预测结果， 共同传入校验网络， 通过将生成的初级报告与预测结果进行对比， 微调加权词嵌入以生成 更有效的报告。 2.根据权利要求1所述基于病史与标签辅助的胸部放射影像报告生成方法， 其特征在 于， 所述Step1中的影 像特征提取具体包括如下： 使用多视图多模型影像特征融合模型对胸部DR影像进行特征提取： 每位患者具有M个 胸部射线图像 组成， 其中1<M<5， 该方法读取具有两张视图的患者影像作为影像部分 的输入， 通过将不同视图影像深度融合， 以提取其相应的潜在特征， 之后对于提取出来的特 征进行最大池化以得到多视图影 像特征编码。 3.根据权利要求1所述基于病史与标签辅助的胸部放射影像报告生成方法， 其特征在 于， 所述Step2中的既往病史文本特 征提取具体包括如下： 使用Transformer患者既往病史特征提取； 首先， 对于输入单词向量W生成三个对应的 向量Query， Key和Value， 在引入了多组QKV映射向量之后， 分别在组内进行自注意力计算， 其计算公式如下 所示： MultiHead(Q,K,V)＝Co ncat(head1,…,headh) 用Queries和Keys的点积计算所有单词对于当前词的得分Score， 将Score进行Soft max 归一化， 以获得所有单词对 该单词编码分数， 将该Softmax分数乘以对应的Value向量， 再将 所有加权向量 求和， 传入前馈神经网络， 即得到当前文本 输出， 其计算公式如下 所示： 其中， Q， V， K分别表示输入句子的Queries， Keys， Values矩阵， 矩阵的每一行为每一个 单词对应的向量 Query， Key， Value向量， dk表示向量长度。 4.根据权利要求1所述基于病史与标签辅助的胸部放射影像报告生成方法， 其特征在 于， 所述Step3中的跨模态融合具体包括如下： 将影像特征X与患者既往病史文本特征w联合输入LSTM 网络进行模态融合， 初始化LSTM权　利　要　求　书 1/2 页 2 CN 115472255 A 2的隐藏状态ht， 在使用LSTM进行解码的过程中， 将每个时刻的既往病症嵌入wt、 前一个状态 的预测词wt‑1以及影像特征X作为输入， 其计算公式如下 所示: ht＝LSTM([wt,at,X],ht‑1) 将当前时刻的隐藏状态与影像特征X相乘得到针对于每个时刻的生成预测单词时在影 像中的关注点； 当所有时刻的单词预测 结束之后， 也就得到了所有时刻的注意力图IT， T＝ {1,2,3,...,t}， 最后将所有不同时刻的注意力图累加 后进行全局平均池化， 得到既往病症 信息指导的融合特 征。 5.根据权利要求1所述基于病史与标签辅助的胸部放射影像报告生成方法， 其特征在 于， 所述Step4中的初级报告生成具体包括如下： 使用Transformer模块作为初级报告的生成器； Transformer网络通过将多头自注意力 组将和前馈层多次叠加而形成； 通过计算隐藏状态以预测下一个要生成的单词， 其计算公 式如下所示： pword＝Softmax(HWT) 式中W∈Rv*e表示的是整个词表的嵌入， v是此表的大小， e为每个词嵌入的维度， 将病史 报告中第i个位置选择词汇表W中的第j个单词的置信度表示pword,ij； 初级报告生成器的损 失定义为真实单词yword与预测单词pword之间的交叉熵， 损失 公式如下 所示： 6.根据权利要求1所述基于病史与标签辅助的胸部放射影像报告生成方法， 其特征在 于， 所述Step5中， 具体包括如下： 在构建的多视图多模型影像特征提取模型中构建一个疾病预测分类网络， 对输入影像 的疾病相关主题进行分类； 然后对通过初级报告生成模块生成的报告进行编码， 记为 并 从中提取相应的疾病标签pint： 与疾病预测分类网络的输出结果相对应， 然后通过对一致性 校验模块进 行训练， 减小疾病预测分类结果与初级报告之 间的差别， 生成准确高效的报告， 损失函数计算公式如下 所示： 式中yij∈{0,1}是疾病的真实标签， pint,ij∈{0,1}从生成的初级报告中产生的预测标 签， n表示迭代次数， k表示每次迭代中的样本个数， 在生成了初级报告之后， 将之前分类器 的分类结果与初级报告的预测结果输入一个完全可微的网络模块， 对初级报告生成器输出 的疾病列表与原 始分类模块预测的疾病列表进行比较， 微调生成的初级报告 文本内容。权　利　要　求　书 2/2 页 3 CN 115472255 A 3