英伟达又赚到了！FlashAttention3来了：H100利用率飙升至75%
英伟达又赚到了！FlashAttention3来了：H100利用率飙升至75%740 TFLOPS！迄今最强 FlashAttention 来了。
来自主题: AI技术研报
8836 点击 2024-07-12 17:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
740 TFLOPS！迄今最强 FlashAttention 来了。
时隔一年，FlashAttention又推出了第三代更新，专门针对H100 GPU的新特性进行优化，在之前的基础上又实现了1.5～2倍的速度提升。
大模型训练推理神作，又更新了！
随着人工智能和大型模型技术的迅猛发展，检索增强生成（Retrieval-Augmented Generation, RAG）已成为大型语言模型生成文本的一种主要范式。
现实中，机器人收据收集可以通过远程操控实现。来自UCSD、MIT的华人团队开发了一个通用框架Open-TeleVision，可以让你身临其境操作机器人，即便相隔3000英里之外。
OpenAI迟迟不上线GPT-4o语音助手，其它音频生成大模型成果倒是一波接着一波发布，关键还是开源的。
荷兰拉德布德大学的研究团队通过定位大脑注意力机制，在AI「读心术」领域精确生成图像，能够依据大脑活动记录极为准确地重建猕猴所看到的内容。网友：这是人机融合的最终目标。
开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。
神经网络通常由三部分组成：线性层、非线性层（激活函数）和标准化层。线性层是网络参数的主要存在位置，非线性层提升神经网络的表达能力，而标准化层（Normalization）主要用于稳定和加速神经网络训练，很少有工作研究它们的表达能力，例如，以Batch Normalization为例
自从大模型爆火以来，语义检索也逐渐成为一项热门技术。尤其是在 RAG（retrieval augmented generation）应用中，检索结果的相关性直接决定了 AI 生成的最终效果。