一种多矩阵聚合多维特征的大模型优化方法

本发明属于电数字数据处理的技术领域，更具体地，涉及一种多矩阵聚合多维特征的大模型优化方法。所述方法包括：首先设计一种基础优化算子FoRA：Fusion of Rank；然后，将第一步中设计的基础优化算子适配到基于联邦学习的Transformer大模型的整个TransformerLayer层；最后，对上一步中完成优化算子适配的Transformer大模型进行量化，以降低训练大模型对资源的需求，然后基于联邦学习，客户端本地进行微调量化后的大模型，并将微调后的可训练的低秩参数汇聚到全局模型。以解决现有大语言模型需要大量高质数据与计算资源训练，且不能很好地处理下游任务的局限性的问题。