一种基于针对语音生成式大模型的对抗样本构建方法及系统

本发明公开了一种基于针对语音生成式大模型的对抗样本构建方法及系统，涉及自然语言处理和语音处理技术领域，通过自监督训练生成离散语音表示，构建跨模态指令数据集并实施三阶段训练策略，训练出语音生成式大模型后通过梯度搜索生成对抗样本。本发明不仅能够提高模型的对抗鲁棒性和安全性，还为多模态大语言模型的实际应用提供了有力支持。未来的研究将进一步探索对抗样本的生成和防御技术，推动多模态大语言模型在更多领域的广泛应用。