如何高效桥接视觉和语言，字节&中大提出全新多模态大模型连接器ParGo
如何高效桥接视觉和语言，字节&中大提出全新多模态大模型连接器ParGo在多模态大语言模型（MLLMs）的发展中，视觉 - 语言连接器作为将视觉特征映射到 LLM 语言空间的关键组件，起到了桥梁作用。
来自主题: AI技术研报
6817 点击 2025-01-12 10:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在多模态大语言模型（MLLMs）的发展中，视觉 - 语言连接器作为将视觉特征映射到 LLM 语言空间的关键组件，起到了桥梁作用。
LLM会把编程淘汰吗？近日，哥本哈根大学的计算机教授，通过分析计算理论中的定理所施加的基本限制，得出结论：距离编程的终结还远得很。
Meta-CoT 通过显式建模生成特定思维链（CoT）所需的底层推理过程，扩展了传统的思维链方法。
2025年1月7日上午，在CES大会开幕式上，身穿黑皮衣的英伟达创始人黄仁勋，用一番激情演讲，拉开了新一年AI的大幕——英伟达不仅推出了新一代基于Blackwell架构的GPU RTX 5090，还发布了开源可商用的世界基础模型Cosmos。两项产品，为AI应用的变革提供了全新的“基础设施”。
大模型长序列的处理能力已越来越重要，像复杂长文本任务、多帧视频理解任务、以及 OpenAI 近期发布的 o1、o3 系列模型的高计算量模式，需要处理的输入 + 输出总 token 数从几万量级上升到了几百万量级。
搜索大变天？
OpenAI o1 给大模型规模扩展 vs 性能的曲线带来了一次上翘。它在大模型领域重现了当年 AlphaGo 强化学习的成功 —— 给越多算力，就输出越多智能，一直到超越人类水平。
论文能不能中？可以用AI提前预测～ 港大黄超教授团队提出多智能体自动化框架GraphAgent，能自动构建和解析知识图谱中的复杂语义网络，应对各类预测和生成任务。
芯片强者AMD最新推出科研AI，o1-preview竟成天选打工人？！ 注意看，只需将科研idea和相关笔记一股脑丢给AI，研究报告甚至是代码就能立马出炉了。
大连理工大学的研究人员提出了一种基于Wasserstein距离的知识蒸馏方法，克服了传统KL散度在Logit和Feature知识迁移中的局限性，在图像分类和目标检测任务上表现更好。