AI资讯新闻榜单内容搜索-Softmax

关键词: AI,LLM,AI科普,人工智能

LLM本质上是一个基于概率输出的神经网络模型。但这里的“概率”来自哪里？今天我们就来说说语言模型中一个重要的角色：Softmax函数。（相信我，本文真的只需要初等函数知识）

关键词: AI,模型训练,知识蒸馏,人工智能

最新综述论文探讨了知识蒸馏在持续学习中的应用，重点研究如何通过模仿旧模型的输出来减缓灾难性遗忘问题。通过在多个数据集上的实验，验证了知识蒸馏在巩固记忆方面的有效性，并指出结合数据回放和使用separated softmax损失函数可进一步提升其效果。

关键词: Sigmoid,注意力机制,AI,Transformer

注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。

关键词: 小模型,过拟合,Softmax,自监督学习方法,模型训练

语言建模领域的最新进展在于在极大规模的网络文本语料库上预训练高参数化的神经网络。在实践中，使用这样的模型进行训练和推断可能会成本高昂，这促使人们使用较小的替代模型。然而，已经观察到较小的模型可能会出现饱和现象，表现为在训练的某个高级阶段性能下降并趋于稳定。

关键词: Agent Attention,Softmax

来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。