搜索
看起来像硬质塑料，按下去却十分柔软 —— 当视觉与触觉发生冲突，人类往往会依赖触感修正视觉误区；但现有的多模态模型却常常更相信视觉，从而误判物体的真实物理属性。
让视觉模型在图里找一样东西，它通常会给出一个框。可如果这样东西根本不在图里呢？
走向物理 AI 时代，构建一个能真正统一语言与视觉的多模态基座模型是关键一步。然而，语言本质上是有序的 Token 序列，视觉则是连续的高维像素分布，两者在信息结构上存在天然的鸿沟。如何在一个模型内统一这两种截然不同的分布，一直是一个备受争论的话题。
苹果国行 Apple 智能正式面向中国大陆用户开放开发者 Beta 版测试，计划随 iOS 27.3 推出，首批支持 iPhone 15 Pro、iPhone 16 系列等机型，并借助千问提供写作、视觉、摘要及 Siri 升级等功能。
视觉与文本输入由同一主干模型统一处理。
统一多模态模型（Unified Multimodal Models, UMMs）通常为理解和生成分别使用不同的视觉表示：用 ViT 提取理解所需的语义特征，用 VAE 提供生成所需的潜变量。这样一来，同一张图像要以两种 token 进入上下文，视觉上下文随之变长；这种双流接口也不同于视觉-语言模型（VLM）常用的单一视觉流，难以直接沿用成熟的 VLM 预训练流程。
小米发布并开源0.8B文档理解模型Xiaomi-OCR-0，融合文档解析、关键信息抽取与视觉问答，在OmniDocBench v1.6获96.83分并位列1B以下第一，相关技术正用于小米手机“超级小爱”的识屏办事场景。
10月31日苹果中国官网发布新闻稿《Apple 智能即将登陆中国》，宣布国行 Apple 智能首批核心功能11月4日起随 iOS 开发者 Beta 版开放测试，12月随 iOS 27.3 正式版推送，并在 Siri、写作工具和视觉智能接入阿里千问，Siri AI 等下一代功能暂不包含在内。
蓝振忠的气质看上去像一名在读研究生，沉静，说话不疾不徐，他是卡耐基梅隆大学博士，计算机视觉出身，曾是谷歌的大模型专家，做出了 ALBERT。两个多小时的访谈里，他三次共享屏幕给我们看论文，讲到自己的技术判断时，语气从来没有犹豫过。
设想这样一个场景：给机器人下达一句自然语言指令，让它穿过走廊、接连转弯，最终走进指定房间。视觉语言导航（VLN），需要让机器人结合沿途看到的画面，把人类的语言指令转化为一连串连续行动。