无问芯穹提出混合稀疏注意力方案MoA，加速长文本生成，实现最高8倍吞吐率提升
无问芯穹提出混合稀疏注意力方案MoA，加速长文本生成，实现最高8倍吞吐率提升随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。
来自主题: AI技术研报
3170 点击 2024-11-08 19:19
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。
自从 Sora 横空出世，业界便掀起了一场「视频生成模型到底懂不懂物理规律」的争论。图灵奖得主 Yann LeCun 明确表示，基于文本提示生成的逼真视频并不代表模型真正理解了物理世界。之后更是直言，像 Sora 这样通过生成像素来建模世界的方式注定要失败。
太励志了，毕业即失业的这位小哥，从父母卧室中创办出一家价值3500万美元的AI初创！这个写论文神器Jenni AI，已经拥有了爆炸级的400万用户，让公司年收入达到800万美元。
最近，来自上海大学、山东大学和埃默里大学等机构的研究人员首次提出了文本边图的数据集与基准，包括9个覆盖4个领域的大规模文本边图数据集，以及一套标准化的文本边图研究范式。该研究的发表极大促进了文本边图图表示学习的研究，有利于自然语言处理与图数据挖掘领域的深度合作。
近日，谷歌DeepMind发表的一项研究登上了Nature期刊的封面，研究人员开发了一种名为SynthID-Text的水印方案，已经在自家的Gemini上投入使用，跟踪AI生成的文本内容，使其无所遁形。
MME-Finance 是一个专为金融领域设计的多模态基准测试，由同花顺财经旗下的 HiThink 研究团队联合多家高校共同开发，旨在评估和提升多模态大型语言模型（MLLMs）在金融领域的专业理解和推理能力。
OpenAI 的快速增长继续提升供应商和其他商业伙伴的前景，他们的销售也在迅速增长。
在当前竞争激烈的3D生成技术领域，众多科技巨头和创业公司纷纷入局，推动了技术的快速发展和应用。Cartwheel，通过其Text-to-Motion技术和自动化运动合成，为3D角色制作带来革命性的简化。
微软和Google在同一天发布的最新财报，AI都作为云增长的重点，但却是截然不同的两种路径。
来自美国医学院的研究团队聚焦于医学图像分割领域中人工智能基础模型的开发与应用，提供了一个全面的基础模型开发框架。
产品出海试水的好成绩，能否缓解MiniMax实际的焦虑？ 近期，MinxMax的AI出海明星产品Talkie爆火，下载量超越同类产品领头羊character.ai。据媒体预测，MiniMax今年收入预计达到7000万美元，而大部分收入来自Talkie的广告。
前些天，Anthropic 为 Claude 带来一个极具变革意义的功能：Computer Use，也就是控制用户的计算机。
技术大牛Harrison Kinsley（@Sentdex）刚刚完成了对XAI的Grok-beta模型的基准测试，测试结果远超预期。
在Prompt工程领域，规划任务一直以来都是一个巨大的挑战，因为这要求大语言模型（LLMs）不仅能够理解自然语言，还能有效执行复杂推理和应对长时间跨度的操作。
很多 AI 产品，就像你在全是陌生人的活动上，遇见的很多擦肩而过、加了微信的「好友」。 Let's be honest，你不会再跟 ta 发消息的。
2024年，AI在游戏行业正不断由表及里，不断触及游戏机制的核心。
跌宕起伏的美国大选已经落下帷幕。同时有一些人受不了情绪大起大落，决定暂时进入影院屏蔽一些信息。
2024年7月22日凌晨，xAI创始人Elon Musk在推特上正式宣布，在凌晨4:20分正式启动了世界上最强的AI训练集群。 这个训练集群建设在美国田纳西州孟菲斯市，集合了10 万个液冷H100芯片。
Tech星球独家获悉，快手已先行在App Store上线了“可灵AI”独立APP，加码在移动端的AI创作布局。产品侧方面，快手“可灵AI”已形成了网页版、APP、小程序、海外版等多端跨平台的产品矩阵。
在互联网发展史上，域名交易一直是科技巨头布局的重要一环。今日凌晨，OpenAI 首席执行官 Sam Altman 一如既往地搞“深夜突袭”，在社交媒体平台 X 上发布了一条简短的推文：“chat.com”。随后用户发现，这个域名直接跳转到了 ChatGPT 官方网站。
目前苹果在AI服务器市场的需求相对较小，但寻找合适的供应商并不简单。
Netflix 公司一位高管透露，该公司的电子游戏部门正在投资开发生成式 AI，旨在“加快开发速度，解锁前所未有的新鲜游戏体验，希望让玩家们感到惊喜、愉悦和振奋”。
我们请到了边塞科技创始人 & CEO 吴翼。他一直活跃在 AI 研究的各个领域。2020 年，他辞去了 OpenAI 的研究员工作，回到清华叉院担任助理教授，并开启了自己的 AI 创业项目。
近日，蓝鲸新闻记者独家获悉，大模型赛道初创公司边塞科技近日被收购，收购方可能为某大厂，边塞科技曾在天使轮获真格基金投资。边塞科技也成为了国内第二家被收购的AI公司。
近日，一篇文章在推特上爆火，利用纯提示方法让普通LLM摇身一变，成为具备复杂推理能力的OpenAI o1。
AI智能体能像有机生命一样自适应演化吗？最近清华大学团队提出了AgentSquare模块化智能体设计框架，通过标准化的模块接口抽象，让AI智能体可以通过模块演化和重组高速进化，实现针对不同任务场景的自适应演进，赋能超越人类设计的智能体系统在多种评测数据集上广泛自我涌现。
最近，微软研究院开发的AI²BMD登上了Nature。这是生物分子动力学（MD）模拟中，继经典MD和量子力学之后，首个成功地兼顾了模拟效率和精度的开创性方法！AlphaFold之后，AI在生化科学领域带来的革新仍在继续。
中科院北大复旦大佬齐聚的2024科学智能峰会，刚刚在位于北京海淀的北大百年纪念讲堂落下帷幕，现场演讲信息量爆棚。同期，海淀这片创新热土还有好消息传出：海淀区送算力补贴了，最高1000万！
消除激活值(outliers)，大语言模型低比特量化有新招了—— 自动化所、清华、港城大团队最近有一篇论文入选了NeurIPS 2024（Oral Presentation），他们针对LLM权重激活量化提出了两种正交变换，有效降低了outliers现象，达到了4-bit的新SOTA。
现在，视频生成模型无需训练即可加速了？！ Meta提出了一种新方法AdaCache，能够加速DiT模型，而且是无需额外训练的那种（即插即用）。
