AI资讯新闻榜单内容搜索-反向传播

关键词: LowMemoryBP,反向传播,模型训练,微调,AI

自从大型 Transformer 模型逐渐成为各个领域的统一架构，微调就成为了将预训练大模型应用到下游任务的重要手段

关键词: 人工神经网络,AI,神经网络,LNDP,反向传播

生物神经网络有一个重要的特点是高度可塑性，这使得自然生物体具有卓越的适应性，并且这种能力会影响神经系统的突触强度和拓扑结构。

关键词: 微调,大模型,BP-free,反向传播,零阶优化器

开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。