全模态RAG突破文本局限，港大构建跨模态一体化系统
全模态RAG突破文本局限，港大构建跨模态一体化系统突破传统检索增强生成（RAG）技术的单一文本局限，实现对文档中文字、图表、表格、公式等复杂内容的统一智能理解。
来自主题: AI技术研报
8651 点击 2025-06-26 15:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
突破传统检索增强生成（RAG）技术的单一文本局限，实现对文档中文字、图表、表格、公式等复杂内容的统一智能理解。
生物医学研究是我们进行人类健康研究、疾病治疗、药物研发以及促进临床护理进步的基石。
AI不一定是“邪恶”的，但它也远非“中立无害”。 过去几年里，我们习惯了通过 ChatGPT 等 AI 产品提问、聊天、生成代码。
不用提前熟悉环境，一声令下，就能让宇树机器人坐在椅子上、桌子上、箱子上！
还在为复杂的Windows设置头疼？微软来重新定义设置界面交互了
过去几年，随着基于人类偏好的强化学习（Reinforcement Learning from Human Feedback，RLHF）的兴起，强化学习（Reinforcement Learning，RL）已成为大语言模型（Large Language Model，LLM）后训练阶段的关键技术。
在大语言模型（LLM）加速进入法律、医疗、金融等高风险应用场景的当下，“安全对齐”不再只是一个选项，而是每一位模型开发者与AI落地者都必须正面应对的挑战。
本文将介绍 22 种先进的RAG技术，灵感来源于 all-rag-techniques 仓库中的全面实现。这些实现使用 Python 库（如 NumPy、Matplotlib 和 OpenAI 的嵌入模型），避免使用 LangChain 或 FAISS 等依赖，以保持简单性和清晰度。
TaoAvatar 是由阿里巴巴淘宝 Meta 技术团队研发的 3D 真人数字人技术，这一技术能在手机或 XR 设备上实现 3D 数字人的实时渲染以及 AI 对话的强大功能，为用户带来逼真的虚拟交互体验。
“AI永远无法取代人类”证据-1！
留给 Cursor 一枝独秀的时间不多了， 上周被 Anthropic 推出的 Claude Code 背刺，悄悄取消了500次的Agent对话限制， 这周又匹配上了新的对手， 出道两年半，带着插件时期积累下来的编程痛点，Comate AI IDE 来了！
Thinking模式当道，教师模型也该学会“启发式”教学了—— 由Transformer作者之一Llion Jones创立的明星AI公司Sakana AI，带着他们的新方法来了！
普林斯顿大学计算机科学系助理教授陈丹琦团队又有了新论文了。近期，诸如「长思维链」等技术的兴起，带来了需要模型生成数万个 token 的全新工作负载。
人类从农耕时代到工业时代花了数千年，从工业时代到信息时代又花了两百多年，而 LLM 仅出现不到十年，就已将曾经遥不可及的人工智能能力普及给大众，让全球数亿人能够通过自然语言进行创作、编程和推理。
大模型驱动的 AI 智能体（Agent）架构最近讨论的很激烈，其中一个关键争议点在于： 多智能体到底该不该建？
在AI应用中，表格数据的重要性愈发凸显，广泛应用于金融、医疗健康、教育、推荐系统及科学研究领域。
基础模型严重依赖大规模、高质量人工标注数据来学习适应新任务、领域。为解决这一难题，来自北京大学、MIT等机构的研究者们提出了一种名为「合成数据强化学习」（Synthetic Data RL）的通用框架。该框架仅需用户提供一个简单的任务定义，即可全自动地生成高质量合成数据。
想象为《红楼梦》或《权力的游戏》创造一个AI的世界。书中的角色们变成AI，活在BookWorld当中。每天，他/她们醒来，思考，彼此对话、互动，建立感情和关系。
最近，强化学习领域出现了一个颠覆性发现：研究人员不再需要大量数学训练样本，仅仅让 AI 玩简单游戏，就能显著提升其数学推理能力。
最近，来自NUS、UT Austin等机构的研究人员创新性地提出了一种「拖拽式大语言模型」（DnD），它可以基于提示词快速生成模型参数，无需微调就能适应任务。不仅效率最高提升12000倍，而且具备出色的零样本泛化能力。
这是一篇来自伊利诺伊大学香槟分校联合Anthropic发布的重磅报告，系统性地梳理了"计算说服"这个新兴领域。您可能会好奇"计算说服"是什么？传统人际说服基于理论构建（如亚里士多德的修辞学 、西奥迪尼的说服六原则 ）和人类参与的实验。
在我们去年 AI Scaling Laws article from late last year中，我们探讨了多层 AI 扩展定律如何持续推动 AI 行业向前发展，使得模型能力的增长速度超过了摩尔定律，并且单位 token 成本也相应地迅速降低。
Alexandr Wang的人生堪称AI时代的缩影，19岁辍学到28岁掌管Meta超级智能。在最近的一场专访中，他谈到了AI的潜力与缺陷，他将如何影响这场智能革命的方向？
在思维节奏这件事上，人类早已形成一种独特而复杂的模式。
现有的语言大模型（LLMs）在复杂指令下的理解和执行能力仍需提升。
在当今科技飞速发展的时代，机器人在各个领域的应用越来越广泛，从工业生产到日常生活，都能看到它们的身影。然而，现代机器人导航系统在多样化和复杂的室内环境中面临着诸多挑战，传统方法的局限性愈发明显。
大语言模型（LLM）能力提升引发对潜在风险的担忧，洞察其内部“思维过程”、识别危险信号成AI安全核心挑战。
在 3D 重建领域，无论是 NeRF 还是最新的 3D Gaussian Splatting（3DGS），在生成逼真新视角时仍面临一个核心难题：视角一旦偏离训练相机位置，图像就容易出现模糊、鬼影、几何错乱等伪影，严重影响实际应用。
大语言模型在数学证明中常出现推理漏洞，如跳步或依赖特殊值。斯坦福等高校团队提出IneqMath基准，将不等式证明拆解为可验证的子任务。结果显示，模型的推理正确率远低于答案正确率，暴露出其在数学推理上的缺陷。
只训练数学，却在物理化学生物战胜o1！强化学习提升模型推理能力再添例证。