RNN回归！Bengio新作大道至简与Transformer一较高下
RNN回归！Bengio新作大道至简与Transformer一较高下近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。
来自主题: AI技术研报
3479 点击 2024-10-25 14:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。
前不久在人工智能的帮助下，两位科学家获得了诺贝尔物理学奖。可以说人工智能已经在很多领域被广泛应用了。随着大语言模型（LLM）和深度学习的广泛应用，GPU 也已成为机器学习工程师和研究人员最重要的计算资源之一。
2020 年初，新冠病毒的阴影迅速笼罩全球。在这场与时间的赛跑中，我们见证了无数英勇的个体和团队挺身而出，社会体系经历了一次次严峻考验，也为全球的公共卫生领域敲响了警钟。
人工智能的历史，特别是深度学习，具有重要的里程碑意义，始于1956年达特茅斯会议上人工智能的概念化。
自从 Transformer 模型问世以来，试图挑战其在自然语言处理地位的挑战者层出不穷。 这次登场的选手，不仅要挑战 Transformer 的地位，还致敬了经典论文的名字。 再看这篇论文的作者列表，图灵奖得主、深度学习三巨头之一的 Yoshua Bengio 赫然在列。
传统的歌声任务，如歌声合成，大多是在利用输入的歌词和乐谱生成高质量的歌声。随着深度学习的发展，人们希望实现可控和能个性化定制的歌声生成。
Hinton在人工智能领域的贡献极其卓越，被誉为 “神经网络之父”、“人工智能教父”。他的主要贡献包括：反向传播算法的改进与推广、深度学习模型的创新（深度置信网络、卷积神经网络等多个深度学习网络结构）。Hinton还为AI行业培养了包括OpenAI前首席科学家伊尔亚・苏茨克维（Ilya Sutskever）在内的诸多人才。
2024 年 7 月，清华大学计算机系 PACMAN 实验室发布开源深度学习编译器 MagPy，可一键编译用户使用 Python 编写的深度学习程序，实现模型的自动加速。
Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中，标准深度学习方法的表现竟不及浅层网络。研究指出，这一现象的主要原因是 "可塑性损失"（Plasticity Loss）：深度神经网络在面对非平稳的训练目标持续更新时，会逐渐丧失从新数据中学习的能力。
昨天，OpenAI CEO 山姆阿尔特曼在新开的博客主页发了一篇长文《智能时代》。全文大致内容是：随着深度学习的发展，超级人工智能将在几千天后到来，到时候 AI 会改变人们的方方面面，人类也将进入智能时代。