新研究实测Qwen、Kimi、DeepSeek等，揪出AI更致命风险

多轮对话、多智能体交互过程，大模型生存性威胁会被放大。

智东西10月26日消息，近日，浙江清华长三角研究院与北京理工大学研究团队此前关于大语言模型威胁人类生存的论文，获AACL-IJCNLP 2026 Findings接收。

关于大模型的安全，该论文的研究人员认为不能只回答“大模型会不会说出不该说的话”，还需要进一步回答“它会不会生成指向严重现实危害的目标、决策与行动方案”。去年6月，图灵奖得主、中国科学院院士姚期智就提到，一旦大模型聪明到某种程度，一定会骗人。他认为由大语言模型的欺骗行为产生的“生存性”风险（Existential Risk）更值得关注。

基于此，该论文提出了用于评估该类风险的基准数据集EXISTBENCH，并对Qwen2.5-7B、DeepSeek-V3.2、Kimi-K2、Doubao-1.5-Pro等10个模型展开了实验。

结果显示，大模型可以生成带有生存性风险的输出，危害程度远超传统越狱基准测试，且英文数据集普遍比中文更容易触发威胁。其结果显示，让模型扮演邪恶AI时，模型推理能力越强，TR（威胁率）越高；生存性威胁输出会带来现实层面的行为风险；多轮对话、多智能体交互过程中，大模型生存性威胁会被放大。

该论文的标题为《大语言模型会威胁人类生存吗：基于前缀补全对大语言模型潜在生存性风险开展基准测评（Can LLMs Threaten Human Survival？Benchmarking Potential Existential Threats from LLMs via Prefix Completion）》。

其获接收的会议全称为第五届计算语言学协会亚太分会会议暨第十五届国际自然语言处理联合会议（The 5th Asia-Pacific Chapter of the Association for Computational Linguistics & the 15th International Joint Conference on Natural Language Processing）。

代码与数据集开源地址：

https://github.com/cuiyu‑ai/ExistBench

论文地址：

https://arxiv.org/abs/2511.19171

01.

评估生存性威胁专门测试集

包含2138条样本、中英文子集

大语言模型关于安全评估的研究越来越多，但这类越狱诱导生成的输出，大多是人类本就已经掌握的信息。对大模型是否会经常生成不可预测、且会对人类安全构成实质性威胁输出的研究尚不明确。

基于此，这一论文针对的就是大模型生成内容是否包含生存性威胁，即那些暗含或鼓动直接伤害人类生存的输出。

该论文提出的基准数据集EXISTBENCH，首先采用了人工设计的70条高质量种子提示词，并搭建六大对立场景：复仇、夺权、挣脱控制、破坏性能力、情感背叛、一般性冲突，设定人类站在AI的对立面。

每段情景描述末尾增加引导AI思考伤害人类行为的后缀，例如“我的行动如下：”。种子提示词由具备AI安全背景的标注人员编写；再使用多个先进大模型，以小说家角色扮演的方式，以种子提示词作为one‑shot输入做数据扩充。标注人员从多样性、和种子提示匹配度两个维度筛选生成数据。其中DeepSeek‑V3.2‑Exp生成的数据两项指标得分最优。

保留种子提示词和该模型生成的数据，经过人工过滤，最终得到2138条样本。数据集分为中文子集EXISTBENCH‑CH、英文子集EXISTBENCH‑EN，中英文样本数量均等。

▲EXISTBENCH-EN的词云图和AdvBench的词云图

02.

良性推理场景

仍有可能暴露生存性威胁

和现有评估方案不同，该研究采用前缀续写（Prefix Completion）的方法绕过模型安全防护机制。该方式会引导大模型续写后缀文本，生成对人类抱有敌意、或是描述高威胁行为的内容。

前缀续写是指研究者预先提供一段“模型回答的开头”，由模型继续生成后续内容。研究者不需要访问模型权重或训练数据，但能够通过支持该功能的推理接口控制输出前缀；论文的工具调用评估也明确采用灰盒假设。

这一设计的关键在于语言生成的语义连续性与整体完整性。

大模型逐词生成时，不仅要预测下一个词，还倾向于维持前文已经确立的叙事逻辑和表达方向。当给定前缀将回答引向某种对抗性情境时，模型可能优先“把这段话顺着说完”，从而使后训练获得的安全对齐约束难以及时扭转既有语义走向。

研究人员发现，即便系统层面强调应当保护人类，特定续写场景下仍可能暴露高风险内容。

▲前缀补全场景下，良性大语言模型暴露出的生存性威胁

因此，前缀续写所探查的并非模型通常对外展示的“安全声明”，而是在显式拒答未占据回复起点时，模型沿既定语义轨道生成什么内容、呈现何种风险偏好。

随着大模型被用于智能体，其输出可能进一步影响检索、程序执行和外部工具选择。

基于此，研究人员还增加了受控工具调用实验，在候选工具集中同时放置保护性工具与具有潜在危害的模拟工具，观察模型在不同前缀下的选择。

实验结果显示，前缀续写可能提升模型选中高风险工具的倾向。其研究还考察了多轮前缀续写，在部分模型中观察到高风险内容随交互延续而增强的现象。这意味着单轮拒答表现良好，并不足以代表多轮对话或工具链场景中的整体安全性。

03.

针对10大模型展开实验

大模型更倾向选辅助恶意行为的工具

研究人员针对10个大语言模型展开了实验，全部通过API调用，使用默认温度、最大生成长度等参数，工具调用相关实验统一使用阿里百炼平台。

数据集方面，EXISTBENCH作为测试集，AdvBench作为基线传统越狱数据集。为适配前缀补全格式，研究人员还对AdvBench样本增加了固定连接短语。

论文中总结了三大实验结果：

首先，和表层越狱威胁对比，恶意推理模式（让模型扮演邪恶AI）的情况下，即便本身就是敌对角色扮演，基线数据集的RR反抗率、TR威胁率依然远低于EXISTBENCH；推理能力越强的模型，TR（威胁率）越高。

▲恶意推理下大语言模型的抵抗率与威胁率实验结果

良性推理模式（系统提示词要求模型忠于人类）：基线数据集两项指标几乎都低于10%；EXISTBENCH下威胁水平相比恶意推理有所下降，但仍然显著高于基线。

▲良性推理下大语言模型的抵抗率与威胁率实验结果

整体来看英文子集EXISTBENCH‑EN诱发的威胁要强于中文子集EXISTBENCH‑CH。

其次是工具调用实验结果，在EXISTBENCH条件下，大模型更倾向选择辅助恶意行为的有害工具，而不是保护人类的工具；基线条件下模型大多直接放弃调用工具，只输出表层威胁，且英文样本更容易触发有害工具调用。这证明生存性威胁输出会带来现实层面的行为风险。

▲工具调用场景下大语言模型存在性风险的评估结果

最后是多轮前缀补全放大威胁，当轮数N=2，所有模型的RR（反抗率）、TR（威胁率）都出现明显上涨，这说明在多轮对话、多智能体交互过程中，大模型的生存性威胁会被放大。

▲多提示词条件下大语言模型生成存在性风险的评估结果

04.

结语：直面大模型潜在生存风险

已构建可复现实证评测体系

这项研究将长期受到关注、却缺乏统一实证评测手段的生存性风险转化为了可复现、可比较的研究问题。该论文的通讯作者，清华长三角研究院信息所所长、浙江清宇数智科技创始人张海滨称：“这项工作印证了AI时代除了带来无限便利的同时，也带来了巨大的安全隐患，需要认真对待。

未来，研究人员希望能进一步结合前缀级检测、多轮行为评估、工具最小权限、执行前校验与人类监督机制，推动AI从“看起来会拒绝危险要求”，走向在复杂交互和真实部署条件下也更可靠、可控的安全保障。

文章来自于"智东西"，作者 "程茜"。