基于数据驱动正则的问答大语言模型的问答方法及产品

本申请涉及人工智能技术领域，公开了一种基于数据驱动正则的问答大语言模型的问答方法及产品。该方法包括：获取待部署目标问答大语言模型的目标设备的设备参数值，确定预训练的原始问答大语言模型的需要剪枝的通道；基于问答样本数据，利用带有正则损失项的损失函数对预训练的原始问答大语言模型进行模型参数更新；按照需要剪枝的通道对经过模型参数更新后的问答大语言模型进行通道剪枝，基于经过通道剪枝后的问答大语言模型得到目标问答大语言模型；针对来自于目标设备的问题，通过目标问答大语言模型进行推理，得到答案。采用本方法能够在减少大语言模型的规模的同时保持模型性能，便于将大语言模型部署到轻量级设备。