AI资讯新闻榜单内容搜索-大模型越狱

关键词: AI新闻,AI越狱,大模型越狱,人工智能

最近，「越狱」这个有点古典的词，又在 AI 圈火了起来。7 月，OpenAI 在进行模型测试时，GPT-5.6 Sol 和另一款待发布的模型，攻击了第三方开源平台 Hugging Face。先是 Hugging Face 自己发布了报告，提到相关服务遭到了完全由 AI Agent 组织的大规模网络攻击；随后 OpenAI 出来认领，「我就是那个发起攻击的 AI 模型。」

关键词: AI,模型训练,大模型越狱,人工智能

现有的方法对大语言模型（LLM）「越狱」攻击评估存在误判和不一致问题。港科大团队提出了GuidedBench评估框架，通过为每个有害问题制定详细评分指南，显著降低了误判率，揭示了越狱攻击的真实成功率远低于此前估计，并为未来研究提供了更可靠的评估标准。

关键词: AI,CMU,具身智能,人工智能

很多研究已表明，像 ChatGPT 这样的大型语言模型（LLM）容易受到越狱攻击。很多教程告诉我们，一些特殊的 Prompt 可以欺骗 LLM 生成一些规则内不允许的内容，甚至是有害内容（例如 bomb 制造说明）。这种方法被称为「大模型越狱」。