摘要
本发明公开了一种基于状态空间模型的医学图像描述方法，包括：获取目标图像和文本报告；将所述目标图像输入至图像编码模型，获取全局信息，其中，所述图像编码模型包括：自注意曼巴块和归一化层；将所述文本报告和全局信息输入至文本编码模型，获取文本单词概率，其中，所述文本编码模型包括：自注意力层、归一化层、交叉曼巴块和全连接层；基于所述文本单词概率，获取图像描述。本发明的自注意曼巴块通过全局信息建模来提取目标图像中异常区域的特征，交叉曼巴块通过优化医学图像与放射学报告之间的跨模态交互能力，增强了两者的一致性，损失函数利用其稀疏性，缓解了正负样本不平衡的问题。
