近期，多模态大模型 (MLLM) 在文本中心的 VQA 领域取得了显著进展，尤其是多个闭源模型，例如：GPT4V 和 Gemini，甚至在某些方面展现了超越人类能力的表现。
科幻大片中的AR黑科技，竟走进了现实！ 就在刚刚，Meta自家的雷朋智能眼镜，已经开始支持多模态版的Llama 3了！要知道，Llama 3的开源版本还没支持多模态呢。
近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。
2023年12月，宁德时代低调宣布在香港设立国际研发中心； 2024年3月11日，作为中国科学院在香港设立的首个国家级信息研发机构，中国科学院香港创新研究院人工智能与机器人创新中心发布了医疗多模态大模型CARES Copilot 1.0；
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型，对于打工人来说简直不要太方便。
近日，由DeepMind、谷歌和Meta的研究人员创立的AI初创公司Reka，推出了他们最新的多模态语言模型——Reka Core
MiniCPM 系列的最新多模态版本 MiniCPM-V 2.0。该模型基于 MiniCPM 2.4B 和 SigLip-400M 构建，共拥有 2.8B 参数。MiniCPM-V 2.0 具有领先的光学字符识别（OCR）和多模态理解能力
马斯克的第一代多模态模型Grok-1.5V，终于来了！
刷爆多模态任务榜单，超强视觉语言模型Mini-Gemini来了！ 效果堪称是开源社区版的GPT-4+DALL-E 3王炸组合。
自从 2023 年 11 月 Grok 首次亮相以来，马斯克的 xAI 正在大模型领域不断取得进步，向 OpenAI 等先行者发起进攻。在 Grok-1 开源后不到一个月，xAI 的首个多模态模型就问世了。
