继Sora官宣之后，多模态大模型在视频生成方面的应用简直就像井喷一样涌现出来，LUMA、Gen-3 Alpha等视频生成模型展现了极佳质量的艺术风格和视频场景的细节雕刻能力，文生视频、图生视频的新前沿不断被扩展令大家惊喜不已，抱有期待。
机器人操纵的一个基本目标是使模型能够理解视觉场景并执行动作。
图灵奖得主Hinton在他的访谈中提及「在未来20年内，AI有50%的概率超越人类的智能水平」，并建议各大科技公司早做准备，而评定大模型（包括多模态大模型）的「智力水平」则是这一准备的必要前提。
为了实现高精度的区域级多模态理解，本文提出了一种动态分辨率方案来模拟人类视觉认知系统。
测试Gemini1.5 Pro、GPT-4o等多模态大模型的新基准来了，针对视频理解能力的那种。
苹果OpenAI官宣合作，GPT-4o加持Siri，让AI个性化生成赛道热度飙升。
本研究评估了先进多模态基础模型在 10 个数据集上的多样本上下文学习，揭示了持续的性能提升。批量查询显著降低了每个示例的延迟和推理成本而不牺牲性能。这些发现表明：利用大量演示示例可以快速适应新任务和新领域，而无需传统的微调。
在现实世界的机器学习应用中，随时间变化的分布偏移是常见的问题。这种情况被构建为时变域泛化（EDG），目标是通过学习跨领域的潜在演变模式，并利用这些模式，使模型能够在时间变化系统中对未见目标域进行良好的泛化。然而，由于 EDG 数据集中时间戳的数量有限，现有方法在捕获演变动态和避免对稀疏时间戳的过拟合方面遇到了挑战，这限制了它们对新任务的泛化和适应性。
OpenAI和谷歌接连两场发布会，把AI视频推理卷到新高度。 但业界还缺少可以全面评估大模型视频推理能力的基准。 终于，多模态大模型视频分析综合评估基准Video-MME，全面评估多模态大模型的综合视频理解能力，填补了这一领域的空白。
当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
