阿里开源视觉大模型Qwen2-VL:可理解20分钟长视频,性能比肩GPT-4o
阿里开源视觉大模型Qwen2-VL:可理解20分钟长视频,性能比肩GPT-4o还能玩纸牌游戏。
还能玩纸牌游戏。
LLM的数学推理能力缺陷得到了很多研究的关注,但最近浙大、中科院等机构的学者们提出,先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种新颖的数据合成方法。
也许视觉模型离AGI更近。
本文介绍清华大学的一篇关于长尾视觉识别的论文: Probabilistic Contrastive Learning for Long-Tailed Visual Recognition. 该工作已被 TPAMI 2024 录用,代码已开源。
语言将是获得更智能系统的重要组成部分。
与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比,ViL 的性能更胜一筹。
最近,《柳叶刀》上的一篇医学文章发表了有关心血管疾病风险预测的里程碑式结果。之所以如此有影响力,是因为这项名为CaRi-Heart的技术结合了AI视觉识别和预测算法,可以在没有明显症状时提前10年识别出重大的心血管疾病风险。
相同性能情况下,延迟减少 46%,参数减少 25%。
目标检测领域,迎来了新进展—— Grounding DINO 1.5,IDEA研究院团队出品,在端侧就可实现实时识别。
近年来,「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用,通过大规模训练得到的视觉基础网络(如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等)已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。