AI能看懂图像却算不好距离，上交时间-空间智能基准难倒9大顶尖多模态模型
AI能看懂图像却算不好距离，上交时间-空间智能基准难倒9大顶尖多模态模型多模态大语言模型（MLLM）在具身智能和自动驾驶“端到端”方案中的应用日益增多，但它们真的准备好理解复杂的物理世界了吗？
来自主题: AI技术研报
7268 点击 2025-04-15 14:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大语言模型（MLLM）在具身智能和自动驾驶“端到端”方案中的应用日益增多，但它们真的准备好理解复杂的物理世界了吗？
黄晓煌很忙。
从微观世界的分子与材料结构、到宏观世界的几何与空间智能，创建和理解 3D 结构是推进科学研究的重要基石。3D 结构不仅承载着丰富的物理与化学信息，也可为科学家提供解构复杂系统、进行模拟预测和跨学科创新的重要工具。
我最近一段时间，除了处理项目上的一些问题，我将我的大部分时间都在体验目前的MCP成果上，我也在和不同的朋友进行交流，其实交流下来，只要是自己亲身使用过目前的MCP工具的基本上都有一些共同的认知：
前脚被谷歌点名感谢空间训练平台，后脚又开源了空间模型！杭州六小龙群核科技发了一个空间理解开源模型SpatialLM，让机器人刷一段视频，就能理解物理世界的几何关系。结合之前发布的空间智能训练平台SpatialVerse，群核科技要为机器人提供从空间认知到行动交互的训练闭环。机器人也被「卷」到要上学了。
Magma是一个新型多模态基础模型，能够理解和执行多模态任务，适用于数字和物理环境：通过标记集合（SoM）和标记轨迹（ToM）技术，将视觉语言数据转化为可操作任务，显著提升了空间智能和任务泛化能力。
当涉及到空间推理任务时，LLMs 的表现却显得力不从心。空间推理不仅要求模型理解复杂的空间关系，还需要结合地理数据和语义信息，生成准确的回答。为了突破这一瓶颈，研究人员推出了 Spatial Retrieval-Augmented Generation (Spatial-RAG)—— 一个革命性的框架，旨在增强 LLMs 在空间推理任务中的能力。
与3D物理环境交互、适应不同机器人形态并执行复杂任务的通用操作策略，一直是机器人领域的长期追求。
当 AI 正从二维世界迈向三维空间，一场智能形态的范式转换正在发生。这不仅是计算架构的革新，更是智能形态从 “在计算机里思考世界” 到 “作为物理实体认知世界” 的根本转变。
全球空间智能第一股来了！来自中国，来自杭州。2月14日，空间智能独角兽群核科技正式向港交所递交招股说明书，启动IPO进程，冲击“全球空间智能第一股”，摩根大通、建银国际为联席保荐人。