第一次，多模态大模型学会边看边听，Meta新作性能暴涨113%
第一次，多模态大模型学会边看边听，Meta新作性能暴涨113%Meta联合多所高校发布首个可规模化自动生成第一视角音视频理解数据的引擎EgoAVU ，让多模态大模型首次真正「听懂世界」。
来自主题: AI技术研报
8707 点击 2026-02-28 15:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Meta联合多所高校发布首个可规模化自动生成第一视角音视频理解数据的引擎EgoAVU ，让多模态大模型首次真正「听懂世界」。
随着多模态大模型能力不断扩展，语音大模型(SpeechLLMs) 已从语音识别走向复杂语音交互。然而，当模型逐渐进入真实口语交互场景，一个更基础的问题浮现出来：我们是否真正定义清楚了「语音理解」的能力边界？
2月7日，中文医疗大模型评测平台MedBench公布最新多模态大模型评测榜单，数坤科技的数坤坤多模态医学大模型V3以63.6分拿下第一。在榜单中，V3的表现超过微医、云知声旗下医疗行业大模型，以及OpenAI、谷歌、阿里千问旗下通用大模型。
周伯文还详细介绍了上海 AI 实验室近年来开展的前沿探索与实践，包括驱动 “通专融合” 发展的技术架构 ——“智者”SAGE（Synergistic Architecture for Generalizable Experts），其包含基础、融合与进化三个层次，并可双向循环实现全栈进化；支撑 AGI4S 探索的两大基础设施“书生”科学多模态大模型 Intern-S1、“
为什么让多模态大模型“一步一步思考”（”Let’s think step by step”）来回答视频问题，效果有时甚至还不如让它“直接回答”？
Attention真的可靠吗？
近年来多模态大模型在视觉感知，长视频问答等方面涌现出了强劲的性能，但是这种跨模态融合也带来了巨大的计算成本。高分辨率图像和长视频会产生成千上万个视觉 token ，带来极高的显存占用和延迟，限制了模型的可扩展性和本地部署。
AI视频生成正从“静态输出”迈入“实时交互”阶段，一场内容创作革命即将到来。 近日，中国儒意宣布以1420万美元对爱诗科技进行战略投资，双方将围绕影视、流媒体、游戏等业务展开深度合作。 爱诗科技作为全
今天，Qwen 家族新成员+2，我们正式发布 Qwen3-VL-Embedding 和 Qwen3-VL-Reranker 模型系列，这两个模型基于 Qwen3-VL 构建，专为多模态信息检索与跨模态理解设计，为图文、视频等混合内容的理解与检索提供统一、高效的解决方案。
在多模态大模型（MLLMs）领域，思维链（CoT）一直被视为提升推理能力的核心技术。然而，面对复杂的长程、视觉中心任务，这种基于文本生成的推理方式正面临瓶颈：文本难以精确追踪视觉信息的变化。形象地说，模型不知道自己想到哪一步了，对应图像是什么状态。