AI资讯新闻榜单内容搜索-视觉

关键词: AI蛋白质,AI科研,AI蛋白质设计

这一年来，人工智能在多个领域大放异彩。从聊天机器人程序ChatGPT到AI绘画，从机器视觉到AI芯片，AI展现了革新各个行业的巨大潜力。

关键词: AI作图,AI设计,Canva

Canva已经从低门槛设计工具成长为整套视觉生产力工具。

关键词: LAMM,LLM,大模型社区,Agent

LAMM (Language-Assisted Multi-Modal) 旨在建设面向开源学术社区的多模态指令微调及评测框架，其包括了高度优化的训练框架、全面的评测体系，支持多种视觉模态。

关键词: 文生图,GPT-4,RAG

不久之前，《纽约时报》指控 OpenAI 涉嫌违规使用其内容用于人工智能开发的事件引起了社区极大的关注与讨论。

关键词: VideoPoet,LLM,AI视频

在 AI 领域，近年来各个子领域都逐渐向 transformer 架构靠拢，只有文生图和文生视频一直以 diffusion + u-net 结构作为主流方向。diffusion 有更公开可用的开源模型，消耗的计算资源也更少。

关键词: AI机器人,大模型,3DVICI Lab

来自清华大学交叉信息研究院的研究者提出了「GenH2R」框架，让机器人学习通用的基于视觉的人机交接策略这种可泛化策略使得机器人能更可靠地从人们手中接住几何形状多样、运动轨迹复杂的物体，为人机交互提供了新的可能性。

关键词: CogAgent,LLaVA,GPT-4V,BakLLaVA

GPT-4V的开源替代方案来了！极低成本，性能却类似，清华、浙大等中国顶尖学府，为我们提供了性能优异的GPT-4V开源平替。

关键词: Unified-IO 2,多模态大模型

首个视觉、语言、音频和动作多模态模型Unified-IO 2来了！它能够完成多种多模态的任务，在超过30个基准测试中展现出了卓越性能。

关键词: Gemini,GPT-4,多模态

在Gemini开放API不到一周的时间，港中文等机构就完成评测，联合发布了多达128页的报告，结果显示：在37个视觉理解任务上，Gemini-Pro表现出了和GPT-4V相当的能力。

关键词: 南大模型,VividTalk,AI声音,AI视频

本文介绍了一个名为Alph-CLIP的框架，它在原始的接受RGB三通道输入的CLIP模型的上额外增加了一个alpha通道。在千万量级的RGBA-region的图像文本对上进行训练后，Alpha-CLIP可以在保证CLIP原始感知能力的前提下，关注到任意指定区域。通过替换原始CLIP的应用场景，Alpha-CLIP在图像识别、视觉-语言大模型、2D乃至3D生成领域都展现出强大作用。