250份文档就能给大模型植入后门：不分参数规模
250份文档就能给大模型植入后门：不分参数规模大模型安全的bug居然这么好踩？？250份恶意文档就能给LLM搞小动作，不管模型大小，600M还是13B，中招率几乎没差。这是Claude母公司Anthropic最新的研究成果。
来自主题: AI技术研报
8446 点击 2025-10-11 12:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型安全的bug居然这么好踩？？250份恶意文档就能给LLM搞小动作，不管模型大小，600M还是13B，中招率几乎没差。这是Claude母公司Anthropic最新的研究成果。
本次新研究是迄今为止规模最大的大模型数据投毒调查。Anthropic 与英国人工智能安全研究所（UK AI Security Institute）和艾伦・图灵研究所（Alan Turing Institute）联合进行的一项研究彻底打破了这一传统观念：只需 250 份恶意文档就可能在大型语言模型中制造出「后门」漏洞，且这一结论与模型规模或训练数据量无关。
说个热知识，现在的大模型，也可以轻松被投广告了。 我们之前也确实发现过这类现象，当时是在研究一家做 GEO（生成式引擎优化）的公司。通过在网上堆出大量正面内容，把某个特定品牌、网站、课程甚至微商产品，默默地塞进了大模型推荐结果里。
在大语言模型（LLM）加速进入法律、医疗、金融等高风险应用场景的当下，“安全对齐”不再只是一个选项，而是每一位模型开发者与AI落地者都必须正面应对的挑战。
首个专为ALLMs（音频大语言模型）设计的多维度可信度评估基准来了。
论文的第一作者是香港中文大学（深圳）数据科学学院三年级博士生徐俊杰龙，指导老师为香港中文大学（深圳）数据科学学院的贺品嘉教授和微软主管研究员何世林博士。贺品嘉老师团队的研究重点是软件工程、LLM for DevOps、大模型安全。
在大算力和大数据让基于统计的 AI 模型真正变得强大且有用之前，基于规则的系统长期以来是语言模型的主导范式。
只要在提示词中把时间设定成过去，就能轻松突破大模型的安全防线。
大模型的安全问题正在悄悄逼近。
在1月24日举办的腾讯科技向善创新节2024“大模型安全与伦理专题论坛”上，腾讯发布了大模型安全白皮书《大模型安全与伦理研究报告2024：以负责任AI引领大模型创新》，并邀请业界专家进行圆桌研讨。