一种基于低秩张量环分解的多优化目标大模型参数压缩方法

本发明公开了一种基于低秩张量环分解的多优化目标大模型参数压缩方法，实现参数的压缩，提高模型的运行效率。利用张量分解计算实现参数的压缩，其方法包括(1)处理输入数据，对Transformer自注意力层的原始权重矩阵进行重塑，得到高维张量其中d1×d2×…×dn＝d×d。(2)进行Tensor Ring(TR)分解，利用Tensor Ring(TR)分解将高维张量W分解为N个核心张量，并在在每个核心张量后面加上一个秩控制对角矩阵P。(3)进行联合优化，构造了一种多优化目标的损失优化策略，通过对任务损失、重构误差的综合考虑，实现在模型性能和压缩率之间取得平衡。本发明所采用的联合优化目标策略有效的平衡了任务损失和重构误差，极大的提高了参数压缩后模型的性能。