一种基于模态对齐网络架构的医学影像诊断报告自动生成方法

本发明公开了一种基于模态对齐网络架构的医学影像诊断报告自动生成方法，属于图像分析技术领域。本发明针对现有报告生成模型存在模态交互不完全、模态对齐困难、报告检索计算复杂度高、数据偏差处理不充分问题，设计对输入的医学影像进行理解和分析，检索和提取与影像相关联的知识并动态地构建知识图谱，将影像信息与预构建的跨模态矩阵充分交互，根据影像、跨模态矩阵和知识图谱将可能存在的异常区域与跨模态信息进行对齐，模型最终根据学习到的知识生成相应报告。本发明以跨模态交互和模态信息增强促进模态交互，指导模态对齐，以聚类信息大幅度降低检索复杂度，综合利用动态图谱与跨模态矩阵去缓解数据偏差问题。