一种用于工业工艺场景的多模态大模型训练方法

本发明公开了一种用于工业工艺场景的多模态大模型训练方法，涉及多模态数据融合技术领域，包括以下步骤：采集一批生产内多个样本，获取每个样本在多个不同角度下的图像数据和每个样本生产过程中相关的核心工艺参数，以及样本的约束条件参数，对采集到的图像数据、工艺参数和约束条件参数进行预处理，将多角度的图像、工艺参数和约束条件参数进行编码标签，将这些工艺参数和约束条件整理成文本描述，作为该样本所有图像数据的共享标签，将配对好的多角度图像数据与对应的工艺参数或约束条件标签输入到选定的多模态大模型中进行调整，通过模型评估模块进行评估，得出工艺参数预测的准确率和生成图像的工艺可行性。