AI资讯新闻榜单内容搜索-FlashAtten

关键词: AI,端到端,SageAttention,模型训练

又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！

关键词: PyTorch,注意力机制,大模型,人工智能,AI,模型训练

用 FlexAttention 尝试一种新的注意力模式。

关键词: 英伟达,AI,AI芯片,H100,算力

740 TFLOPS！迄今最强 FlashAttention 来了。

关键词: Mamba,H100,AI,人工智能,模型训练

时隔一年，FlashAttention又推出了第三代更新，专门针对H100 GPU的新特性进行优化，在之前的基础上又实现了1.5～2倍的速度提升。

关键词: H100,AI,AI显卡,算力

大模型训练推理神作，又更新了！

关键词: GPU,FlashAttention2,H100,ThunderKittens,AI内核

AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波——

关键词: Hyena,StripedHyena-7B,AI

Hyena处理长序列输入比FlashAttention速度高100倍！最新发布的StripedHyena模型可能成下一代AI架构的新标准？

关键词: PyTorch,LLM,AI模型,token

这两天，FlashAttention团队推出了新作： 一种给Transformer架构大模型推理加速的新方法，最高可提速8倍。 该方法尤其造福于长上下文LLM，在64k长度的CodeLlama-34B上通过了验证