一种针对大模型提示注入攻击的攻防一体化方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种针对大模型提示注入攻击的攻防一体化方法
申请号:CN202510941601
申请日期:2025-07-09
公开号:CN120434064B
公开日期:2025-08-29
类型:发明专利
摘要
本发明提供了一种针对大模型提示注入攻击的攻防一体化方法,方法包括:使用基于情感强化和控制输出的攻击策略对用户指令进行大模型提示注入攻击,形成恶意内容;然后将预防策略Sandwich,Instruction和检测方法Knownanswer进行融合,构建协同工作的多层次防御策略UnD对上述恶意内容进行提示注入防御,得到输出结果,最后使用攻击干扰率、攻击误导率、METEOR得分、防御成功率、已知答案匹配率进行效果评估。本发明在攻击方面实现了攻击效率更高的提示注入攻击,在防御方面实现了检测和预防的协同,提高了大模型在面对提示注入攻击时的安全性,确保大语言模型在各种应用场景中安全可靠运行。
技术关键词
一体化方法 字段 指令 样本 答案 策略 多层次 大语言模型 语义 符号 定义 意图 文本 场景 基础 数据