提升大模型内在透明度：无需外部模块实现高效监控与自发安全增强｜上海AI Lab & 上交
提升大模型内在透明度：无需外部模块实现高效监控与自发安全增强｜上海AI Lab & 上交大语言模型（LLM）能力提升引发对潜在风险的担忧，洞察其内部“思维过程”、识别危险信号成AI安全核心挑战。
来自主题: AI技术研报
7685 点击 2025-06-23 14:58
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大语言模型（LLM）能力提升引发对潜在风险的担忧，洞察其内部“思维过程”、识别危险信号成AI安全核心挑战。
大语言模型在数学证明中常出现推理漏洞，如跳步或依赖特殊值。斯坦福等高校团队提出IneqMath基准，将不等式证明拆解为可验证的子任务。结果显示，模型的推理正确率远低于答案正确率，暴露出其在数学推理上的缺陷。
在 ChatGPT 等大语言模型（LLMs）席卷全球的今天，越来越多的研究者意识到：我们需要的不只是 “会说话” 的 LLM，更是 “能解释” 的 LLM。
在 AI 领域，英伟达开发的 CUDA 是驱动大语言模型（LLM）训练和推理的核心计算引擎。
大语言模型（LLMs）在决策场景中常因贪婪性、频率偏差和知行差距表现欠佳。研究者提出强化学习微调（RLFT），通过自我生成的推理链（CoT）优化模型，提升决策能力。实验表明，RLFT可增加模型探索性，缩小知行差距，但探索策略仍有改进空间。
大语言模型解决不等式证明问题时，可以给出正确答案，但大多数时候是靠猜。推理过程经不起推敲，逻辑完全崩溃。
GRIT能让多模态大语言模型（MLLM）通过生成自然语言和图像框坐标结合的推理链进行「图像思维」，仅需20个训练样本即可实现优越性能！
LLM Ensemble（大语言模型集成）在近年来快速地获得了广泛关注。它指的是在下游任务推理阶段，综合考虑并利用多个大语言模型（每个模型都旨在处理用户查询），从而发挥它们各自的优势。大语言模型的广泛可得性，以及其开箱即用的特性和各个模型所具备的不同优势，极大地推动了 LLM Ensemble 领域的发展。
思维链（Chain of Thought, CoT）推理方法已被证明能够显著提升大语言模型（LLMs）在复杂任务中的表现。而在多模态大语言模型（MLLMs）中，CoT 同样展现出了巨大潜力。
近年来，链式推理和强化学习已经被广泛应用于大语言模型，让大语言模型的推理能力得到了显著提升。