北大推出全新机器人多模态大模型！面向通用和机器人场景的高效推理和操作
北大推出全新机器人多模态大模型！面向通用和机器人场景的高效推理和操作机器人操纵的一个基本目标是使模型能够理解视觉场景并执行动作。
来自主题: AI技术研报
7794 点击 2024-06-21 13:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
机器人操纵的一个基本目标是使模型能够理解视觉场景并执行动作。
为了实现高精度的区域级多模态理解，本文提出了一种动态分辨率方案来模拟人类视觉认知系统。
CVPR正在进行中，中国科研力量再次成为场内外焦点之一。
当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
语言将是获得更智能系统的重要组成部分。
GPT-4o再次掀起多模态大模型的浪潮。
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。
360 度场景生成是计算机视觉的重要任务，主流方法主要可分为两类，一类利用图像扩散模型分别生成 360 度场景的多个视角。由于图像扩散模型缺乏场景全局结构的先验知识，这类方法无法有效生成多样的 360 度视角，导致场景内主要的目标被多次重复生成，如图 1 的床和雕塑。
图像与视频合成、3D 视觉、人体行为识别、视觉与语言推理等研究方向论文最多，属于最热门的方向，体现当前学界对视觉生成、三维感知、人机交互等方向的高度重视。另外，多模态学习、以人为本的设计和自适应机器人可能构成人形机器人的未来。
与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比，ViL 的性能更胜一筹。