Multi-Token突破注意力机制瓶颈，Meta发明了一种很新的Transformer
Multi-Token突破注意力机制瓶颈，Meta发明了一种很新的TransformerAttention 还在卷自己。
来自主题: AI技术研报
8946 点击 2025-04-05 14:17
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Attention 还在卷自己。
随着视频内容的重要性日益提升，如何处理理解长视频成为多模态大模型面临的关键挑战。长视频理解能力，对于智慧安防、智能体的长期记忆以及多模态深度思考能力有着重要价值。
最近一直在用4o抽各种好玩的卡，但每个提示词都要单独写，于是我就在琢磨能不能搞个通用提示词和稳定的风格出来。
DeepSeek新论文来了！在清华研究者共同发布的研究中，他们发现了奖励模型推理时Scaling的全新方法。DeepSeek R2，果然近了。
Meta AI研究副总裁Pineau亲自发帖声称将于5月30日离职，她主导了Llama开源系列及PyTorch项目。此举正逢扎克伯格重金投入AI及LlamaCon AI大会前夕，引发业内对Meta战略调整和未来新作的诸多猜测。
原本说好2月底就上的Midjourney V7，今天终于来了！生图模型卷到现在，不论是国内还是国外产品都有太多优秀模型，用户的选择可以更加多元化，即使如此，我们依然期待Midjourney独特的审美、卓越的质感、和有更多可能的上限，仍然能带给我们期待和惊喜。（叠甲：没有说其他模型不好的意思，大家都在进步都在变强！）
4 月 3 日消息，当地时间周三，Anthropic 发布了“Claude for Education”计划，宣布正式进军高等教育市场，以应对 OpenAI 的 ChatGPT Edu 方案。该计划将为高校师生和工作人员提供 Claude AI 聊天机器人，并额外配备一系列专门功能。
去年 Anthropic 发布 Computer Use 的时候，引发了一次大家对 AI agent 的想象。
「下一代默认 AI 大模型工具」的竞争开始了。
谷歌AI团队再掀风暴，Gemini负责人Sissie Hsiao立即卸任，由Google Labs负责人Josh Woodward全面接管。这次领导层变动透露出谷歌正重新思考AI战略布局，以对抗风头正劲的OpenAI。AI竞赛进入新阶段，谷歌急需找到突破口，Gemini能否翻盘值得关注。