基于通用图像分割大模型和多视角类激活图的医学报告生成方法

本发明公开了一种基于通用图像分割大模型和多视角类激活图的医学报告生成方法，包括：1)使用通用图像分割大模型的编码器获取正视图和侧视图特征；2)计算正视图和侧视图的类激活图；3)基于类激活图分别分离正视图、侧视图的前景图和背景图；4)分别计算正视图、侧视图的前景特征表示和背景特征表示，进而构建级联特征表示；5)使用编解码模块对报告文本进行预测；6)使用标签损失函数和基本损失函数指导网络优化完成报告生成任务。本发明能提升模型输入的针对性和提高模型对图像特征的提取能力，从而能提高报告文本对肺部图像异常区域的感知和描述能力。