一种医疗多模态数据融合方法、系统

本发明涉及一种医疗多模态数据融合方法、系统，属于医疗数据处理技术领域。本发明包括以下步骤：对多模态数据进行预处理，将多模态数据转化为高维特征向量，得到各模态特征；对预处理后的多模态数据进行模态相关性计算及对齐，使各模态的特征融合为一个统一的表示，得到多模态融合特征；通过Q‑Lora对预训练大语言模型微调，并用多头自注意力机制处理后的多模态融合特征对微调后的预训练大语言模型进行训练，用训练好的预训练大语言模型对输入的多模态数据进行预测。本发明使不同类型的数据可以无缝整合，确保了数据融合的一致性，提升了多模态数据融合的准确性，减少了模型的训练成本和计算资源。