
将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B
将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。
对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。
马里兰大学联合北卡教堂山发布首个专为多模态大语言模型(MLLM)设计的图像序列的基准测试Mementos,涵盖了真实世界图像序列、机器人图像序列,以及动漫图像序列,用4761个多样化图像序列的集合,全面测试MLLM对碎散图像序列的推理能力!
不用图像,只用文本就能训练出视觉概念表征?用写代码的方式读懂画面,形状、物体、场景都能懂!
随着大型语言模型(LLM)技术日渐成熟,提示工程(Prompt Engineering)变得越来越重要。一些研究机构发布了 LLM 提示工程指南,包括微软、OpenAI 等等。
如果语言模型是巫师,代码预训练就是魔杖!
融合多个异构大语言模型,中山大学、腾讯 AI Lab 推出 FuseLLM
大语言模型和其他新的AI方法的出现将如何重塑你的行业,领导者应该如何做好准备?我们的讨论重点是AI对美国医疗保健行业的影响,但我们的广泛观点适用于每一个与数字革命新阶段搏斗的复杂生态系统。
距离上次推出的 v0.4.0 大版本的三周后,我们又再次迎来了重大的更新 — v0.5.0!在这个最新版本中,我们隆重推出了 AI Agent 能力。
去年,在加速大语言模型推理层面,我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今,关于 Medusa 终于有了完整技术论文,还提供了新的版本。
本报告旨在通过全面、客观地评估当前流行的大模型,为大语言模型技术的具体实践和未来探索提供方向。