腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞腾讯混元，在开源社区打出名气了。
来自主题: AI资讯
6336 点击 2025-07-15 12:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
腾讯混元，在开源社区打出名气了。
DeepSeek火爆全球，现在美国版“梁文锋”来了。来自美国的互联网券商巨头Robinhood的CEO——Vlad Tenev决定投身人工智能创业浪潮，与Tudor Achim联合打造了一家专注于人工智能的初创公司——Harmonic AI。
无需CUDA代码，给H100加速33%-50%！ Flash Attention、Mamba作者之一Tri Dao的新作火了。
Listen Labs 由两位哈佛校友 Florian Juengermann 与 Alfred Wahlforss 在 2024 年底联合创立，并在 2025 年 4 月连获 Sequoia 领投的种子轮与 A 轮合计 2700 万美元融资，目标是打造一套能自动招募受访者、主持上千场多语访谈、即时归档并复用洞察的“AI 用户研究员”体系。
清华大学朱军教授团队提出SageAttention3，利用FP4量化实现推理加速，比FlashAttention快5倍，同时探索了8比特注意力用于训练任务的可行性，在微调中实现了无损性能。
“上线 4 个月，DAU 破百万，累计用户破千万，用户日均对话次数超 9 次，跻身国内同类产品第一梯队 ——元石科技的‘问小白’用生成式推荐重新定义AI时代的信息获取与消费。
2017 年，一篇《Attention Is All You Need》论文成为 AI 发展的一个重要分水岭，其中提出的 Transformer 依然是现今主流语言模型的基础范式。尤其是在基于 Transformer 的语言模型的 Scaling Law 得到实验验证后，AI 领域的发展更是进入了快车道。
“在百川智能的那段时间，我和同事们始终处在一种很亢奋的状态。尽管我们常常工作到深夜，甚至一两点钟才下班，但内心非常地充实和开心。”如今回忆起那段经历时，前百川工具链负责人徐文健的眼中依然有光。
你有没有想过，为什么在这个云计算和AI横行的时代，PDF文档处理依然是企业最大的痛点之一？想象一下这样的场景：一份包含数百页的贷款申请文档躺在银行系统里，等待人工审核，而申请人只能苦苦等待几天甚至几周才能知道结果。与此同时，医院里的医疗记录还在用打印机输出，然后手工传递给下一个医生。
近年来，随着视觉生成模型的发展，视觉生成任务的输入序列长度逐渐增长（高分辨率生成，视频多帧生成，可达到 10K-100K）。