无问芯穹提出混合稀疏注意力方案MoA，加速长文本生成，实现最高8倍吞吐率提升
无问芯穹提出混合稀疏注意力方案MoA，加速长文本生成，实现最高8倍吞吐率提升随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。
来自主题: AI技术研报
3255 点击 2024-11-08 19:19
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。
自从 Sora 横空出世，业界便掀起了一场「视频生成模型到底懂不懂物理规律」的争论。图灵奖得主 Yann LeCun 明确表示，基于文本提示生成的逼真视频并不代表模型真正理解了物理世界。之后更是直言，像 Sora 这样通过生成像素来建模世界的方式注定要失败。
最近，来自上海大学、山东大学和埃默里大学等机构的研究人员首次提出了文本边图的数据集与基准，包括9个覆盖4个领域的大规模文本边图数据集，以及一套标准化的文本边图研究范式。该研究的发表极大促进了文本边图图表示学习的研究，有利于自然语言处理与图数据挖掘领域的深度合作。
MME-Finance 是一个专为金融领域设计的多模态基准测试，由同花顺财经旗下的 HiThink 研究团队联合多家高校共同开发，旨在评估和提升多模态大型语言模型（MLLMs）在金融领域的专业理解和推理能力。
来自美国医学院的研究团队聚焦于医学图像分割领域中人工智能基础模型的开发与应用，提供了一个全面的基础模型开发框架。
技术大牛Harrison Kinsley（@Sentdex）刚刚完成了对XAI的Grok-beta模型的基准测试，测试结果远超预期。
在Prompt工程领域，规划任务一直以来都是一个巨大的挑战，因为这要求大语言模型（LLMs）不仅能够理解自然语言，还能有效执行复杂推理和应对长时间跨度的操作。
近日，蓝鲸新闻记者独家获悉，大模型赛道初创公司边塞科技近日被收购，收购方可能为某大厂，边塞科技曾在天使轮获真格基金投资。边塞科技也成为了国内第二家被收购的AI公司。
消除激活值(outliers)，大语言模型低比特量化有新招了—— 自动化所、清华、港城大团队最近有一篇论文入选了NeurIPS 2024（Oral Presentation），他们针对LLM权重激活量化提出了两种正交变换，有效降低了outliers现象，达到了4-bit的新SOTA。
现在，视频生成模型无需训练即可加速了？！ Meta提出了一种新方法AdaCache，能够加速DiT模型，而且是无需额外训练的那种（即插即用）。