VLM记忆机制最新综述,从When, Where, What, How四个维度看懂记忆
VLM记忆机制最新综述,从When, Where, What, How四个维度看懂记忆来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。
搜索
来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。
让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?
Anthropic通过mods系统开放Claude Code桌面端视觉层深度定制,用户可用自然语言让Claude生成主题插件,设置颜色、排版和动画背景,也可安装官方theme-examples模板。
浙江大学ACES实验室OmniAI团队提出VLA-Δ,通过三类监督学习物理状态变化,基于2B视觉语言骨干在LIBERO取得98.4%的平均成功率,并在真实双臂机器人五类任务中取得68.0%的平均成功率。
在机器人操作研究中,视觉语言动作模型(Vision-Language-Action,VLA)与世界动作模型(World Action Model,WAM)为机器人提供了不同的动作生成路径。但当任务从一次抓放延伸到连续搭建与双臂协同,决定成败的就不只是眼前这个动作能否完成,还包括此前建立的条件能否一直支撑后续执行。
看起来像硬质塑料,按下去却十分柔软 —— 当视觉与触觉发生冲突,人类往往会依赖触感修正视觉误区;但现有的多模态模型却常常更相信视觉,从而误判物体的真实物理属性。
让视觉模型在图里找一样东西,它通常会给出一个框。可如果这样东西根本不在图里呢?
走向物理 AI 时代,构建一个能真正统一语言与视觉的多模态基座模型是关键一步。然而,语言本质上是有序的 Token 序列,视觉则是连续的高维像素分布,两者在信息结构上存在天然的鸿沟。如何在一个模型内统一这两种截然不同的分布,一直是一个备受争论的话题。
苹果国行 Apple 智能正式面向中国大陆用户开放开发者 Beta 版测试,计划随 iOS 27.3 推出,首批支持 iPhone 15 Pro、iPhone 16 系列等机型,并借助千问提供写作、视觉、摘要及 Siri 升级等功能。
视觉与文本输入由同一主干模型统一处理。