Hinton在人工智能领域的贡献极其卓越，被誉为 “神经网络之父”、“人工智能教父”。他的主要贡献包括：反向传播算法的改进与推广、深度学习模型的创新（深度置信网络、卷积神经网络等多个深度学习网络结构）。Hinton还为AI行业培养了包括OpenAI前首席科学家伊尔亚・苏茨克维（Ilya Sutskever）在内的诸多人才。
本届诺奖的AI含量，实在是过高了！今晚的文学奖会颁给ChatGPT或者奥特曼吗？已经有一大波网友下注了。另一边，Hinton已经炮轰起了奥特曼，力挺Ilya当初赶走他；而LSTM之父则怒斥Hinton不配诺奖。
不是真·物理学家
今年的诺贝尔物理学奖颁给了两位享誉盛名的 AI 研究者 John J. Hopfield 和 Geoffrey E. Hinton，这确实让很多人感到意外。
随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton，另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer，从注意力模块入手，实现了Transformer的核心能力提升。
诺贝尔物理学奖公布第二天，争议依然未平息。诺奖官号都被愤怒的网友冲了：AI不是物理学！Hopfield网络和反向传播算法究竟与物理学有何关系？这要从Hinton和Ilya 12年前的那件事说起。
2024年诺贝尔物理学奖揭晓，今年颁给了约翰·霍普菲尔德（John J. Hopfield）和图灵奖得主、AI教父杰弗里·辛顿（Geoffrey E. Hinton），以表彰他们利用人工神经网络进行机器学习的基础发现和发明。
近日，来自 CMU 的 Catalyst Group 团队发布了一款 PyTorch 算子编译器 Mirage，用户无需编写任何 CUDA 和 Triton 代码就可以自动生成 GPU 内核，并取得更佳的性能。
Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中，标准深度学习方法的表现竟不及浅层网络。研究指出，这一现象的主要原因是 "可塑性损失"（Plasticity Loss）：深度神经网络在面对非平稳的训练目标持续更新时，会逐渐丧失从新数据中学习的能力。
在这场访谈中，Jeff Dean讲了一些有趣的往事。
