国产类脑大模型适配国产沐曦GPU！长序列推理提速超百倍，仅用2%数据匹敌主流模型
国产类脑大模型适配国产沐曦GPU！长序列推理提速超百倍，仅用2%数据匹敌主流模型超长序列推理时的巨大开销如何降低？
来自主题: AI技术研报
7951 点击 2025-09-12 11:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
超长序列推理时的巨大开销如何降低？
昨天，英伟达重磅发布了专为海量上下文AI打造的CUDA GPU——Rubin CPX，将大模型一次性推理带入「百万Token时代」。NVIDIA创始人兼CEO黄仁勋表示，Vera Rubin平台将再次推动AI计算的前沿，不仅带来下一代Rubin GPU，也将开创一个CPX的全新处理器类别。
全球最快的开源大模型来了——速度达到了每秒2000个tokens！ 虽然只有320亿参数（32B），吞吐量却是超过典型GPU部署的10倍以上的那种。它就是由阿联酋的穆罕默德·本·扎耶德人工智能大学（MBZUAI）和初创公司G42 AI合作推出的K2 Think。
老黄对token密集型任务下手了。
SpikingBrain借鉴大脑信息处理机制，具有线性/近线性复杂度，在超长序列上具有显著速度优势，在GPU上1M长度下TTFT 速度相比主流大模型提升26.5x， 4M长度下保守估计速度提升超过100x；
Lambda 收入可观，英伟达主导地位稳固，大家都有美好未来 据 The Information 最新消息称，英伟达已经与小型云服务提供商 Lambda 达成一笔总额高达 15 亿美元的合作协议，内容是前者将租赁后者搭载英伟达自研 AI 芯片的 GPU 服务器。
《金融时报》最新消息，OpenAI 正在和博通合作，自研一颗代号 “XPU” 的 AI 推理芯片，预计会在 2026 年量产，由台积电代工。不同于英伟达 的 GPU，这款芯片不会对外销售，而是专门满足 OpenAI 内部的训练与推理需求，用来支撑即将上线的 GPT-5 等更庞大的模型。
昨天，美团低调地开源了其560B参数的混合专家（MoE）模型——LongCat-Flash。 一时间，大家的目光都被吸引了过去，行业内的讨论大多围绕着它在公开基准测试中媲美顶尖模型的性能数据，以及其精巧的MoE架构设计。
短短两天，寒武纪两度超越贵州茅台，成为 A 股第一高价「股王」。而推动用户预期不断攀升的，离不开 AI 市场的持续火热。
前些天，DeepSeek 在发布 DeepSeek V3.1 的文章评论区中，提及了 UE8M0 FP8 的量化设计，声称是针对即将发布的下一代国产芯片设计。