多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案
多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案一个5月份完成训练的大模型，无法对《黑神话·悟空》游戏内容相关问题给出准确回答。
来自主题: AI技术研报
3319 点击 2024-11-10 14:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
一个5月份完成训练的大模型，无法对《黑神话·悟空》游戏内容相关问题给出准确回答。
大模型幻觉，究竟是怎么来的？谷歌、苹果等机构研究人员发现，大模型知道的远比表现的要多。它们能够在内部编码正确答案，却依旧输出了错误内容。
能够执行多种任务，识别19种癌症类型，预测患者生存率……哈佛医学院研究人员提出CHIEF，一种多功能AI癌症诊断模型，表现出类似于ChatGPT的灵活性，远超其他现有的癌症诊断模型。
该文章的第一作者陈麒光，目前就读于哈工大赛尔实验室。他的主要研究方向包括大模型思维链、跨语言大模型等。 该研究主要提出了推理边界框架（Reasoning Boundary Framework, RBF），首次尝试量化并优化思维链推理能力。
周期性现象广泛存在，深刻影响着人类社会和自然科学。作为最重要的基本特性之一，许多规律都显式或隐式地包含周期性，例如天文学中的行星运动、气象学中的季节变化、生物学中的昼夜节律、经济学中的商业周期、物理学中的电磁波以及数学运算和逻辑推理等。因此，在许多任务和场景中，人们希望对周期进行建模，以便根据以往的经验进行推理。
大模型的记忆限制被打破了，变相实现“无限长”上下文。最新成果，来自清华、厦大等联合提出的LLMxMapReduce长本文分帧处理技术。
对于 LLM 从业者来说，让 LLM 落地应用并发挥作用需要手动构建并反复调试 Agentic Workflow，这无疑是个繁琐过程，一遍遍修改相似的代码，调试 prompt，手动执行测试并观察效果，并且换个 LLM 可能就会失效，有高昂的人力成本。许多公司甚至专职招聘 Prompt Engineer 来完成这一工作。
近日，卡内基梅隆大学与华盛顿大学的研究团队推出了 NaturalBench，这是一项发表于 NeurIPS'24 的以视觉为核心的 VQA 基准。它通过自然图像上的简单问题——即自然对抗样本（Natural Adversarial Samples）——对视觉语言模型发起严峻挑战。
随着生物医学研究进入人工智能时代，如何运用AI前沿技术，深入挖掘中医药在肿瘤防治上的特色理论与实践经验，形成中西医融合的肿瘤防治新范式？这既是中西医学面临的共性难题，也是人工智能与信息科学面临的重大挑战。
智东西11月8日报道，生成式AI的发展或将加剧电子垃圾问题。
纳尼？AI Agent容易受到弹幕影响！ 甚至比人类更容易。
能够深入大模型内部的新评测指标来了！ 上交大MIFA实验室提出了全新的大模型评估指标Diff-eRank。 不同于传统评测方法，Diff-eRank不研究模型输出，而是选择了分析其背后的隐藏表征。
清华大学NLP实验室联合北京师范大学、中国科学院大学、东北大学等机构的研究人员推出了全新的评测方法 RAGEval，通过快速构建场景化评估数据实现对检索增强生成（RAG）系统的“精准诊断”。
中国人民大学高瓴人工智能学院 GeWu 实验室、朝闻道机器人和 TeleAI 最近的合作研究揭示并指出了 “模态时变性”（Modality Temporality）现象，通过捕捉并刻画各个模态质量随物体操纵过程的变化，提升不同信息在具身多模态交互的感知质量，可显著改善精细物体操纵的表现。论文已被 CoRL2024 接收并选为 Oral Presentation。
前些时日，AI 大模型开始掌握操作计算机的能力，但整体而言，它们与物理世界互动的能力仍处于早期阶段。
随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。
自从 Sora 横空出世，业界便掀起了一场「视频生成模型到底懂不懂物理规律」的争论。图灵奖得主 Yann LeCun 明确表示，基于文本提示生成的逼真视频并不代表模型真正理解了物理世界。之后更是直言，像 Sora 这样通过生成像素来建模世界的方式注定要失败。
最近，来自上海大学、山东大学和埃默里大学等机构的研究人员首次提出了文本边图的数据集与基准，包括9个覆盖4个领域的大规模文本边图数据集，以及一套标准化的文本边图研究范式。该研究的发表极大促进了文本边图图表示学习的研究，有利于自然语言处理与图数据挖掘领域的深度合作。
近日，谷歌DeepMind发表的一项研究登上了Nature期刊的封面，研究人员开发了一种名为SynthID-Text的水印方案，已经在自家的Gemini上投入使用，跟踪AI生成的文本内容，使其无所遁形。
来自美国医学院的研究团队聚焦于医学图像分割领域中人工智能基础模型的开发与应用，提供了一个全面的基础模型开发框架。
前些天，Anthropic 为 Claude 带来一个极具变革意义的功能：Computer Use，也就是控制用户的计算机。
AI智能体能像有机生命一样自适应演化吗？最近清华大学团队提出了AgentSquare模块化智能体设计框架，通过标准化的模块接口抽象，让AI智能体可以通过模块演化和重组高速进化，实现针对不同任务场景的自适应演进，赋能超越人类设计的智能体系统在多种评测数据集上广泛自我涌现。
最近，微软研究院开发的AI²BMD登上了Nature。这是生物分子动力学（MD）模拟中，继经典MD和量子力学之后，首个成功地兼顾了模拟效率和精度的开创性方法！AlphaFold之后，AI在生化科学领域带来的革新仍在继续。
消除激活值(outliers)，大语言模型低比特量化有新招了—— 自动化所、清华、港城大团队最近有一篇论文入选了NeurIPS 2024（Oral Presentation），他们针对LLM权重激活量化提出了两种正交变换，有效降低了outliers现象，达到了4-bit的新SOTA。
现在，视频生成模型无需训练即可加速了？！ Meta提出了一种新方法AdaCache，能够加速DiT模型，而且是无需额外训练的那种（即插即用）。
最近，以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升，在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称，推理可以让模型更好的遵守安全政策，是提升模型安全的新路径。
现在正是多模态大模型的时代，图像、视频、音频、3D、甚至气象运动都在纷纷与大型语言模型的原生文本模态组合。而浙江大学及其计算机创新技术研究院的一个数十人团队也将结构化数据（包括数据库、数仓、表格、json 等）视为了一种独立模态。
字节跳动豆包大模型团队于近日提出超连接（Hyper-Connections），一种简单有效的残差连接替代方案。面向残差连接的主要变体的局限问题，超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 80%。
具身智能，简单来说，就是赋予 AI 一个「身体」，让这颗聪明的大脑在物理世界中行动自如。 把这颗大脑升级成世界模型 —— 它拥有记忆、直觉和常识时，机器人可以不再机械地按训练行事，而是能够灵活变通，具体问题具体分析。
Lodge++ 是一个创新的舞蹈编排框架，旨在根据给定的音乐和期望的舞蹈风格生成高质量、超长且生动的舞蹈序列。