1亿张图,36亿条目标框喂出来的WeVisOne-VL,微信把它开源了
1亿张图,36亿条目标框喂出来的WeVisOne-VL,微信把它开源了让视觉模型在图里找一样东西,它通常会给出一个框。可如果这样东西根本不在图里呢?
搜索
让视觉模型在图里找一样东西,它通常会给出一个框。可如果这样东西根本不在图里呢?
走向物理 AI 时代,构建一个能真正统一语言与视觉的多模态基座模型是关键一步。然而,语言本质上是有序的 Token 序列,视觉则是连续的高维像素分布,两者在信息结构上存在天然的鸿沟。如何在一个模型内统一这两种截然不同的分布,一直是一个备受争论的话题。
苹果国行 Apple 智能正式面向中国大陆用户开放开发者 Beta 版测试,计划随 iOS 27.3 推出,首批支持 iPhone 15 Pro、iPhone 16 系列等机型,并借助千问提供写作、视觉、摘要及 Siri 升级等功能。
视觉与文本输入由同一主干模型统一处理。
统一多模态模型(Unified Multimodal Models, UMMs)通常为理解和生成分别使用不同的视觉表示:用 ViT 提取理解所需的语义特征,用 VAE 提供生成所需的潜变量。这样一来,同一张图像要以两种 token 进入上下文,视觉上下文随之变长;这种双流接口也不同于视觉-语言模型(VLM)常用的单一视觉流,难以直接沿用成熟的 VLM 预训练流程。
小米发布并开源0.8B文档理解模型Xiaomi-OCR-0,融合文档解析、关键信息抽取与视觉问答,在OmniDocBench v1.6获96.83分并位列1B以下第一,相关技术正用于小米手机“超级小爱”的识屏办事场景。
10月31日苹果中国官网发布新闻稿《Apple 智能即将登陆中国》,宣布国行 Apple 智能首批核心功能11月4日起随 iOS 开发者 Beta 版开放测试,12月随 iOS 27.3 正式版推送,并在 Siri、写作工具和视觉智能接入阿里千问,Siri AI 等下一代功能暂不包含在内。
蓝振忠的气质看上去像一名在读研究生,沉静,说话不疾不徐,他是卡耐基梅隆大学博士,计算机视觉出身,曾是谷歌的大模型专家,做出了 ALBERT。两个多小时的访谈里,他三次共享屏幕给我们看论文,讲到自己的技术判断时,语气从来没有犹豫过。
设想这样一个场景:给机器人下达一句自然语言指令,让它穿过走廊、接连转弯,最终走进指定房间。视觉语言导航(VLN),需要让机器人结合沿途看到的画面,把人类的语言指令转化为一连串连续行动。
一张高清照片中,远处的手提包是什么颜色?一页票据里,某项费用到底是多少?面对这些问题,多模态大模型常常需要先找到相关区域,再放大查看。但如果第一步就框错了位置,后面的推理也可能跟着出错。视觉思维链让模型能够边看边想、调用工具寻找证据。不过,许多方法仍然像生成句子一样,把边界框坐标逐个写成文本 token。连续的空间位置,为什么要通过离散文字来表达?