AI资讯新闻榜单内容搜索-megakernel

关键词: AI新闻,Inferact,TPU,megakernel

推理创业公司Inferact用自研的megakernel内核结合DeepSeek的DSpark推测解码框架，让16块谷歌TPU v7运行Kimi K3达到每秒709个token，比同条件下16块英伟达GB200快57%。

关键词: AI,Megakernel,模型训练,人工智能

斯坦福Hazy实验室推出新一代低延迟推理引擎「Megakernel」，将Llama-1B模型前向传播完整融合进单一GPU内核，实现推理时间低于1毫秒。在B200上每次推理仅需680微秒，比vLLM快3.5倍。