OpenAI新论文拆解语言模型内部机制：用「稀疏电路」解释模型行为
OpenAI新论文拆解语言模型内部机制：用「稀疏电路」解释模型行为就在今天，OpenAI 发布了一项新研究，使用新方法来训练内部机制更易于解释的小型稀疏模型，其神经元之间的连接更少、更简单，从而观察它们的计算过程是否更容易被人理解。
来自主题: AI技术研报
6730 点击 2025-11-15 17:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
就在今天，OpenAI 发布了一项新研究，使用新方法来训练内部机制更易于解释的小型稀疏模型，其神经元之间的连接更少、更简单，从而观察它们的计算过程是否更容易被人理解。
谷歌AI掌舵人Jeff Dean点赞了一项新研究，还是出自清华姚班校友钟沛林团队之手。Nested Learning嵌套学习，给出了大语言模型灾难性遗忘这一问题的最新答案！简单来说，Nested Learning（下称NL）就是让模型从扁平的计算网，变成像人脑一样有层次、能自我调整的学习系统。
昨天，全球参数量最大的具身智能多模态大模型——Pelican-VL 1.0正式开源。它不仅覆盖了7B到72B级别，能够同时理解图像、视频和语言指令，并将这些感知信息转化为可执行的物理操作。
华东师范大学智能教育学院发布OmniEduBench，首次从「知识+育人」双维度评测大模型教育能力。测评2.4万道中文题后，实验结果显示：GPT-4o等顶尖AI会做题，却在启发思维、情感支持等育人能力上远不及人类，暴露AI当老师的关键短板。
在三维视觉领域，3D Gaussian Splatting (3DGS) 是近年来大热的三维场景建模方法。它通过成千上万的高斯球在空间中“泼洒”，拼合成一个高质量的三维世界，就像是把一片空白的舞台，用彩色的光斑和粒子逐渐铺满，最后呈现出一幅立体的画卷。
刚刚，在理解大模型复杂行为的道路上，OpenAI又迈出了关键一步。他们从自己训练出来的稀疏模型里，发现存在结构小而清晰、既可理解又能完成任务的电路（这里的电路，指神经网络内部一组协同工作的特征与连接模式，是AI可解释性研究的一个术语）。
研究者们提出了 FDA（Model Merging with Functional Dual Anchors）——一个全新的模型融合框架。与传统的参数空间操作不同，FDA 将专家模型的参数知识投射到输入-表征空间中的合成锚点，通过功能对偶的方式实现更高效的知识整合。
多模态大语言模型（MLLMs）在处理来自图像和文本等多种来源的信息时能力强大 。 然而，一个关键挑战随之而来：当这些模态呈现相互冲突的信息时（例如，图像显示一辆蓝色汽车，而文本描述它为红色），MLLM必须解决这种冲突 。模型最终输出与某一模态信息保持一致的行为，称之为“模态跟随”（modality following）
谷歌在第三天发布了《上下文工程：会话与记忆》(Context Engineering: Sessions & Memory) 白皮书。文中开篇指出，LLM模型本身是无状态的 (stateless)。如果要构建有状态的（stateful）和个性化的 AI，关键在于上下文工程。
近期，RAE（Diffusion Transformers with Representation Autoencoders）提出以「 冻结的预训练视觉表征」直接作为潜空间，以显著提升扩散模型的生成性能。