0312-PromptMRG：诊断驱动的医疗报告生成提示

1，摘要：

提出了诊断驱动的医疗报告生成提示(PromptMRG)，这是一个新的框架，旨在通过诊断感知提示的指导提高MRG的诊断准确性。具体来说，PromptMRG是基于 编码器-解码器架构 ，并带有一个 额外的疾病分类分支 。在生成报告时，来自分类分支的诊断结果将被转换为令牌提示，以显式地指导生成过程。为了进一步提高诊断准确性，我们设计了跨模态特征增强，通过利用预训练CLIP的知识，从数据库中检索相似的报告来辅助查询图像的诊断。此外，基于每种疾病的个体学习状态，通过对分类分支应用自适应逻辑调整损失来解决疾病不平衡问题，克服了文本解码器无法操纵疾病分布的障碍。

2，代码：

论文：AAAI2024

3，名词解释：医疗报告生成（MRG）；临床疗效(CE) ；

4，主要工作

诊断驱动提示(DDP)：通过诊断结果的指导来提高MRG的CE性能。具体来说，基于编码器-解码器架构，PromptMRG还配备了疾病分类分支。在生成报告时，来自分类分支的诊断结果将被转换为令牌提示，以显式地指导生成过程。

跨模态特征增强(CFE)：通过利用预训练的CLIP模型从数据库中检索相似的报告来辅助查询图像的诊断。

自适应疾病平衡学习(SDL)：通过对分类分支应用自适应逻辑调整损失来解决疾病之间的不平衡学习，克服了文本解码器无法操纵疾病分布的障碍。