一种基于文本语言提示的术后病理图像分析方法

本申请涉及一种基于文本语言提示的术后病理图像分析方法，该方法首先通过对病理全切片扫描图像进行切割，分别得到多个第一图像块、多个第二图像块；提取各第一图像块的特征，作为局部图像特征；提取并加权求和所有第二图像块的特征，得到全局图像特征；基于全局图像特征与各局部图像特征之间的余弦相似度，融合局部图像特征得到总体图像特征；将待分析的病理全切片扫描图像输入至视觉‑语言多模态大模型，并对输出的整体视觉特征文本描述进行特征提取，得到文本特征；而后融合总体图像特征与文本特征，得到多模态特征；将多模态特征输入分类器，得到各癌症类型的概率分布。该方法为术后病理分析提供了可解释、可交互、跨模态融合的创新解决方案。