一种基于循环和对角向量的模型参数微调方法及相关设备

本申请公开了一种基于循环和对角向量的模型参数微调方法及相关设备，涉及人工智能技术领域，方法包括：将预训练模型的权重变化矩阵分解为循环矩阵与对角矩阵的乘积；将循环矩阵分解为向量作为循环向量，将对角矩阵分解为向量作为对角向量；采用逐元素乘法对对角向量进行向量计算，采用一维傅里叶变换和逐元素乘法对循环向量进行向量计算，以对预训练模型进行参数微调。本申请利用循环矩阵和对角矩阵的交错分解结构，并结合快速傅里叶变换将矩阵存储和矩阵计算转为向量存储和计算，实现高效且轻量化的参数微调。