Transformer²要做「活」的AI模型，动态调整权重，像章鱼一样适应环境
Transformer²要做「活」的AI模型，动态调整权重，像章鱼一样适应环境自适应 LLM 反映了神经科学和计算生物学中一个公认的原理，即大脑根据当前任务激活特定区域，并动态重组其功能网络以响应不断变化的任务需求。
来自主题: AI技术研报
4979 点击 2025-01-15 18:30
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
自适应 LLM 反映了神经科学和计算生物学中一个公认的原理，即大脑根据当前任务激活特定区域，并动态重组其功能网络以响应不断变化的任务需求。
开源模型上下文窗口卷到超长，达400万token！ 刚刚，“大模型六小强”之一MiniMax开源最新模型—— MiniMax-01系列，包含两个模型：基础语言模型MiniMax-Text-01、视觉多模态模型MiniMax-VL-01。
随着语言大模型的成功，视觉 - 语言多模态大模型 (Vision-Language Multimodal Models, 简写为 VLMs) 发展迅速，但在长上下文场景下表现却不尽如人意，这一问题严重制约了多模态模型在实际应用中的潜力。
「2025 年，我们可能会看到第一批 AI Agent 加入劳动力大军，并对公司的生产力产生实质性的影响。」——OpenAI CEO Sam Altman
在人工智能快速发展的今天，提示工程（Prompt Engineering）已经成为AI应用开发中不可或缺的环节。然而，当我们需要生成适应不同场景的情感文本时，传统的单一目标提示优化方法往往显得力不从心。
在机器学习和数据科学领域，余弦相似度长期以来一直是衡量高维对象之间语义相似度的首选指标。余弦相似度已广泛应用于从推荐系统到自然语言处理的各种应用中。它的流行源于人们相信它捕获了嵌入向量之间的方向对齐，提供了比简单点积更有意义的相似性度量。
OpenAI 接连发布 o1 和 o3 模型，大模型的高阶推理能力正在迎来爆发式增强。在预训练 Scaling law “撞墙” 的背景下，探寻新的 Scaling law 成为业界关注的热点。高阶推理能力有望开启新的 Scaling law，为大模型的发展注入新的活力。
AC3D 从基本原理出发，分析了摄像机运动在视频生成中的特点，并通过以下三方面改进了视频生成的效果和效率：
AI大模型正从仅会聊天的LLM进化为能够执行任务的大型行动模型LAM。它不仅能理解用户的指令，还能在软件环境中自主执行任务。
想挑战 Transformer 的新架构有很多，来自谷歌的“正统”继承者 Titan 架构更受关注。
谷歌推出的FACTS Grounding基准测试，能评估AI模型在特定上下文中生成准确文本的能力，有助于提升模型的可靠性；通过去除不满足用户需求的回复，确保了评分的准确性和模型排名的公正性。
Nature子刊近日发布了一项研究，针对学术写作中大模型的使用。他们发现，那些了解LLM以及大模型相关技术的受访者有更多的发表文章数量。
本地训练的客户模型忽视了全局数据中明显的更广泛的模式，聚合的全局模型可能无法准确反映所有客户端的数据分布，甚至可能出现「辛普森悖论」—— 多端各自数据分布趋势相近，但与多端全局数据分布趋势相悖。
MuseAI 是由阿里集团爱橙科技研发的面向阿里内部的 AIGC 创作工作台，同时通过与阿里云旗下魔搭社区合作共建的形式，将主体能力通过魔搭社区的 AIGC 专区对公众开放。
在软件开发过程中，测试用例的生成一直是一个既重要又耗时的环节。近年来，大型语言模型（LLM）在这一领域展现出了巨大的潜力。然而，实践表明，即使是同一个提示词（Prompt），在不同的LLM上也会产生截然不同的效果。
GANs are so back!?
随着 AI 技术的突飞猛进，其进步几乎每天都在刷新人们的认知，很多人都在猜想，AI 是否会在不久的将来取代人类医生？
清华校友团队最新成果发现：写作、咨询、编程等相关自由职业最终可能被AI取代，而且更关键的是，AI能力一旦超过某个「拐点」，对就业市场的冲击将一发不可收拾。
基于深度神经网络对人脸图像进行编辑和篡改，深度伪造的发展为人们的生活带来了便利，但对其错误的应用也同时危害着人们的隐私和信息安全。
GAN已死？不，它卷土重来了！布朗大学和康奈尔大学的研究者刚刚提出了R3GAN，充分利用现代架构设计，彻底摒弃临时技巧，一半参数就能碾压扩散模型。网友惊呼：游戏规则要改变了！
将扩散模型量化到1比特极限，又有新SOTA了！ 来自北航、ETH等机构的研究人员提出了一种名为BiDM的新方法，首次将扩散模型（DMs）的权重和激活完全二值化。
在多模态大语言模型（MLLMs）的发展中，视觉 - 语言连接器作为将视觉特征映射到 LLM 语言空间的关键组件，起到了桥梁作用。
OpenAI Realtime API 的「说明书」。
大模型长序列的处理能力已越来越重要，像复杂长文本任务、多帧视频理解任务、以及 OpenAI 近期发布的 o1、o3 系列模型的高计算量模式，需要处理的输入 + 输出总 token 数从几万量级上升到了几百万量级。
OpenAI o1 给大模型规模扩展 vs 性能的曲线带来了一次上翘。它在大模型领域重现了当年 AlphaGo 强化学习的成功 —— 给越多算力，就输出越多智能，一直到超越人类水平。
芯片强者AMD最新推出科研AI，o1-preview竟成天选打工人？！ 注意看，只需将科研idea和相关笔记一股脑丢给AI，研究报告甚至是代码就能立马出炉了。
2024年11月30日是ChatGPT上线两周年的日子。这个家喻户晓的AI产品是怎样诞生的？展望2025年，ChatGPT又会有怎样的改进？
大连理工大学的研究人员提出了一种基于Wasserstein距离的知识蒸馏方法，克服了传统KL散度在Logit和Feature知识迁移中的局限性，在图像分类和目标检测任务上表现更好。
小模型也能击败o1？微软全华人团队提出rStar-Math算法，三大革命性技术突破，不仅让SLM在数学推理能力上刷新SOTA，更是挤进了全美20%顶尖高中生榜单。
通义万相视频模型，再度迎来史诗级升级！处理复杂运动、还原真实物理规律等方面令人惊叹，甚至业界首创了汉字视频生成。现在，通义万相直接以84.70%总分击败了一众顶尖模型，登顶VBench榜首。