AI资讯新闻榜单内容搜索-梯度下降

关键词: AI,模型训练,RaML,人工智能

近年来，大语言模型（LLM）以其卓越的文本生成和逻辑推理能力，深刻改变了我们与技术的互动方式。然而，这些令人瞩目的表现背后，LLM的内部机制却像一个神秘的“黑箱”，让人难以捉摸其决策过程。

关键词: AI,模型训练,DiffILO,MIRA Lab

无监督学习训练整数规划求解器的新范式来了。

关键词: Scaling law,腾讯混元,模型训练,AI,人工智能

过去十年间，基于随机梯度下降（SGD）的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中，Adam 及其变种最受追捧。无论是 SGD，还是 Adam，亦或是其他优化器，最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。

关键词: 模型训练,AI训练,梯度下降,Gradient Descent Viz,AI算法

4年前的开源项目突然在Hacker News爆火，通过可视化的「小球下山」，帮助非专业和专业人士，更好地理解AI训练中梯度下降的过程。