摘要
本发明涉及人工智能技术领域，可应用于医疗健康领域，公开了一种基于大模型的有监督微调方法、装置、设备及介质，该方法包括：获取文本、图像及音频构成的多模态训练数据并进行标准化预处理；构建包含实体节点及关系路径的领域知识图谱；采用注意力机制对多模态数据进行特征融合；基于知识图谱中的实体关系生成逻辑约束条件，并将其与融合特征共同输入大模型以联合优化参数；最后通过生成器与判别器的对抗训练框架动态调整模型参数，结合强化学习策略提升模型对复杂逻辑关系的理解能力。本发明有效解决了目标领域知识逻辑约束缺失、多模态语义协同性差的问题，显著提升了模型对跨模态数据的联合分析能力和复杂任务的推理准确性。
