随着AI工具越来越普及，类似Deep Researh这样的工具越来越好用，科学研究成果呈现爆炸式增长。以arXiv为例，仅2024年10月就收到超过24,000篇论文提交。
随着语言大模型的成功，视觉 - 语言多模态大模型 (Vision-Language Multimodal Models, 简写为 VLMs) 发展迅速，但在长上下文场景下表现却不尽如人意，这一问题严重制约了多模态模型在实际应用中的潜力。
2024 年，我花了相当一部分时间在研究多智能体系统，主要是 AutoGen，一个用于构建 AI 应用的 OSS 框架，并为此写了一本书《Multi-Agent Systems with AutoGen》。
检索-增强生成 (RAG) 是一个永不过时的话题，并在不断扩展以增强LLMs 的功能。对于那些不太熟悉RAG 的人来说：这种方法利用外部知识来增强模型的能力，从外部资源中检索您实际需要的信息。
随着大语言模型（LLM）技术的快速发展，单一AI智能体已经展现出强大的问题解决能力。然而，在面对复杂的企业级应用场景时，单一智能体的能力往往显得捉襟见肘。
Meta全新发布的基准Multi-IF涵盖八种语言、4501个三轮对话任务，全面揭示了当前LLM在复杂多轮、多语言场景中的挑战。所有模型在多轮对话中表现显著衰减，表现最佳的o1-preview模型在三轮对话的准确率从87.7%下降到70.7%；在非拉丁文字语言上，所有模型的表现显著弱于英语。
PUMA（emPowering Unified MLLM with Multi-grAnular visual generation）是一项创新的多模态大型语言模型（MLLM），由商汤科技联合来自香港中文大学、港大和清华大学的研究人员共同开发。它通过统一的框架处理和生成多粒度的视觉表示，巧妙地平衡了视觉生成任务中的多样性与可控性。
该论文作者来自复旦大学、中电金信及上海智能视觉计算协同创新中心团队，论文已被多媒体领域顶级国际会议 ACM MultiMedia 2024 接收，并将在该大会上进行口头报告（Oral 接收率仅 3.97%）。
没有等来OpenAI的Q*/草莓项目的发布，一家名为MultiOn初创公司却抢先发布了名为Q的智能体。
只用提示词，多模态大模型就能更懂场景中的人物关系了。
