摘要
本公开提供了基于大模型的文本处理及大模型压缩方法和装置,涉及深度学习、大模型以及自然语言处理等人工智能领域。所述基于大模型的文本处理方法可包括:获取输入文本对应的词元序列;针对词元序列中的各词元,分别进行以下处理:响应于确定需要利用目标大模型中的融合层对该词元进行处理,通过至少两次执行融合层中的推理计算,生成该词元对应的目标处理结果,目标大模型为对待压缩大模型进行模型压缩后得到的,模型压缩包括将待压缩大模型中的Lm个依次相邻的层融合为所述融合层,Lm为大于1的正整数,且Lm小于L,L表示待压缩大模型中包括的层数。