一种用于大语言模型智能体的间接提示注入防御方法及系统
申请号:CN202510985087
申请日期:2025-07-17
公开号:CN120910855A
公开日期:2025-11-07
类型:发明专利
摘要
本发明公开了一种用于大语言模型智能体的间接提示注入防御方法及系统,属于人工智能安全领域。基于大语言模型智能体解析用户任务指令和预定义工具描述,生成工具依赖关系的有向无环图;按照拓扑顺序执行各节点的工具调用,将节点响应生成的参数推理结果写入上下文;若需补充信息,允许智能体安全扩展节点;当检测到潜在注入指令时,引导调用语义相关的外部工具并加入伪工具集合,最终通过伪工具调用机制处理该集合实现主动防御。本发明通过将任务执行流程显式建模为表示工具依赖关系的有向无环图,在任务规划阶段预定义工具调用路径,并在任务执行过程中对智能体的行为施加约束,从源头上抑制由注入指令触发的非法工具调用行为。
技术关键词
大语言模型
解析工具
防御系统
扩展模块
参数
识别工具
指令
识别关键字
关系
模拟工具
生成工具
语义
机制
源节点
列表
代表
规划
变量