搜索
训练大模型时，工程师绝对不会指望网络做一次前向传播就能收敛。它需要数据喂养、Batch切分、学习率控制、验证集筛选以及优化器状态的迭代试错。
随着大型语言模型在各类任务中展现出卓越的生成与推理能力，如何将模型输出精确地追溯到其内部计算过程，已成为 AI 可解释性研究的重要方向。然而，现有方法往往计算代价高昂、难以揭示中间层的信息流动；同时，不同层面的归因（如 token、模型组件或表示子空间）通常依赖各自独立的特定方法，缺乏统一且高效的分析框架。
斯坦福Hazy实验室推出新一代低延迟推理引擎「Megakernel」，将Llama-1B模型前向传播完整融合进单一GPU内核，实现推理时间低于1毫秒。在B200上每次推理仅需680微秒，比vLLM快3.5倍。
Noprop：没有反向传播或前向传播，也能训练神经网络。
GAGAvatar的出现正是为了解决这一瓶颈，通过一次前向传播就能生成3D高斯参数，实现高效的渲染与动画驱动。
图学习领域的数据饥荒问题，又有能缓解的新花活了！
大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。