单卡A100实现百万token推理，速度快10倍，这是微软官方的大模型推理加速
单卡A100实现百万token推理，速度快10倍，这是微软官方的大模型推理加速微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
来自主题: AI技术研报
6630 点击 2024-07-09 17:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
「无问芯穹」Infini-AI云平台已集成大模型异构千卡混训能力，是全球首个可进行单任务千卡规模异构芯片混合训练的平台。
马斯克连回两条推文为xAI造势，宣布8月发布Grok 2，年底将推出在10万张H100上训练的Grok 3，芯片加持创新数据训练，打造对标GPT的新一代大语言模型。
全美TOP 5的机器学习博士痛心发帖自曝，自己实验室里H100数目是0！这也引起了ML社区的全球网友大讨论。显然，相比普林斯顿、哈佛这样动辄三四百块H100的GPU大户，更常见的是GPU短缺的「穷人」。同一个实验室的博士，甚至时常会出现需要争抢GPU的情况。
在谈到 AI、大模型、算力等关键词时，如果要提及硬件产品，很多人应该会不假思索的说出英伟达。
在中文互联网上，英伟达每天都在被颠覆。绝大部分自媒体和短视频达人都讨厌英伟达，包括周鸿祎在内。他们千方百计地指出，某种替代品（不管是不是国产）的性能指标已经超过英伟达A100或H100，后者即将沦为资本市场历史上最大的泡沫云云。尤其是在B站、小红书这样的平台，“英伟达将迅速被替代”可以被视为一致观点，反对这个观点的人将遭到群嘲。
背后隐藏着OpenAI的造芯野心。
昨晚，谷歌正式开源了自家最强的开源模型Gemma 2，直指为全球范围研究开发者提供实用部署工具。
M30是一款通用的边端大模型AI芯片，能够支持多种大模型。
AI芯片的创新从未停止。