搜索
Anthropic通过mods系统开放Claude Code桌面端视觉层深度定制，用户可用自然语言让Claude生成主题插件，设置颜色、排版和动画背景，也可安装官方theme-examples模板。
浙江大学ACES实验室OmniAI团队提出VLA-Δ，通过三类监督学习物理状态变化，基于2B视觉语言骨干在LIBERO取得98.4%的平均成功率，并在真实双臂机器人五类任务中取得68.0%的平均成功率。
在机器人操作研究中，视觉语言动作模型（Vision-Language-Action，VLA）与世界动作模型（World Action Model，WAM）为机器人提供了不同的动作生成路径。但当任务从一次抓放延伸到连续搭建与双臂协同，决定成败的就不只是眼前这个动作能否完成，还包括此前建立的条件能否一直支撑后续执行。
看起来像硬质塑料，按下去却十分柔软 —— 当视觉与触觉发生冲突，人类往往会依赖触感修正视觉误区；但现有的多模态模型却常常更相信视觉，从而误判物体的真实物理属性。
让视觉模型在图里找一样东西，它通常会给出一个框。可如果这样东西根本不在图里呢？
走向物理 AI 时代，构建一个能真正统一语言与视觉的多模态基座模型是关键一步。然而，语言本质上是有序的 Token 序列，视觉则是连续的高维像素分布，两者在信息结构上存在天然的鸿沟。如何在一个模型内统一这两种截然不同的分布，一直是一个备受争论的话题。
苹果国行 Apple 智能正式面向中国大陆用户开放开发者 Beta 版测试，计划随 iOS 27.3 推出，首批支持 iPhone 15 Pro、iPhone 16 系列等机型，并借助千问提供写作、视觉、摘要及 Siri 升级等功能。
视觉与文本输入由同一主干模型统一处理。
统一多模态模型（Unified Multimodal Models, UMMs）通常为理解和生成分别使用不同的视觉表示：用 ViT 提取理解所需的语义特征，用 VAE 提供生成所需的潜变量。这样一来，同一张图像要以两种 token 进入上下文，视觉上下文随之变长；这种双流接口也不同于视觉-语言模型（VLM）常用的单一视觉流，难以直接沿用成熟的 VLM 预训练流程。
小米发布并开源0.8B文档理解模型Xiaomi-OCR-0，融合文档解析、关键信息抽取与视觉问答，在OmniDocBench v1.6获96.83分并位列1B以下第一，相关技术正用于小米手机“超级小爱”的识屏办事场景。