苹果多模态模型大升级！文本密集、多图理解，全能小钢炮
苹果多模态模型大升级！文本密集、多图理解，全能小钢炮多模态大语言模型（MLLM）如今已是大势所趋。 过去的一年中，闭源阵营的GPT-4o、GPT-4V、Gemini-1.5和Claude-3.5等模型引领了时代。
来自主题: AI资讯
3507 点击 2024-10-14 09:50
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大语言模型（MLLM）如今已是大势所趋。 过去的一年中，闭源阵营的GPT-4o、GPT-4V、Gemini-1.5和Claude-3.5等模型引领了时代。
如果您正在探寻人工智能未来的辉煌篇章，那么答案就在这里。 OpenAI的领导者Sam Altman和Greg Brockman最近表示：“现在正是我们展望未来的最佳时机。”他们预见了一个新时代，用户将不再只是与单一的模型对话，而是与由众多多模态模型和工具构成的系统互动，这些系统能够代表用户执行操作。
Molmo，开源多模态模型正在发力！
视觉数据的种类极其多样，囊括像素级别的图标到数小时的视频。现有的多模态大语言模型（MLLM）通常将视觉输入进行分辨率的标准化或进行动态切分等操作，以便视觉编码器处理。然而，这些方法对多模态理解并不理想，在处理不同长度的视觉输入时效率较低。
一条磁力链，又在AI圈掀起狂澜。成立一年法国AI独角兽Mistral，官宣首个多模态模型Pixtral 12B，不仅能看懂手绘稿，还可以理解复杂公式、图表。
在AI-2.0时代，OCR模型的研究难道到头了吗！？
新的最强开源多模态大模型来了！
8月27日消息，在近日召开的Hot Chips 2024大会上，韩国AI芯片初创公司FuriosaAI 推出了一款面向高性能大型语言模型和多模态模型推理的高能效数据中心AI加速器 RNGD。
本文引入了 Transfusion，这是一种可以在离散和连续数据上训练多模态模型的方法。
随着大模型研究的深入，如何将其推广到更多的模态上已经成为了学术界和产业界的热点。最近发布的闭源大模型如 GPT-4o、Claude 3.5 等都已经具备了超强的图像理解能力，LLaVA-NeXT、MiniCPM、InternVL 等开源领域模型也展现出了越来越接近闭源的性能。