新PyTorch API：几行代码实现不同注意力变体，兼具FlashAttention性能和PyTorch灵活性
新PyTorch API：几行代码实现不同注意力变体，兼具FlashAttention性能和PyTorch灵活性用 FlexAttention 尝试一种新的注意力模式。
来自主题: AI资讯
10119 点击 2024-08-10 18:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
用 FlexAttention 尝试一种新的注意力模式。
眼见为实？在AI时代，这句话该过时了。
番茄小说加AI条款引发网文作者抗议。
奥运会不仅见证了人类挑战物理极限的精神，也见证了人类挑战技术极限的努力。
LLM数学水平不及小学生怎么办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的每一步中都植入CoT，提升了模型的定理证明能力，成为miniF2F上的新SOTA。
RLHF到底是不是强化学习？最近，AI大佬圈因为这个讨论炸锅了。和LeCun同为质疑派的Karpathy表示：比起那种让AlphaGo在围棋中击败人类的强化学习，RLHF还差得远呢。
前段时间冲上热搜的问题「9.11比9.9大吗？」，让几乎所有LLM集体翻车。看似热度已过，但AI界大佬Andrej Karpathy却从中看出了当前大模型技术的本质缺陷，以及未来的潜在改进方向。
用光训练神经网络，清华成果最新登上了Nature！
GPT-4o的怪癖暴露了，还是被官方公开的！
GPT-5 大模型？不要太着急。