
第三代神经网络模型:面向AI应用的脉冲神经网络
第三代神经网络模型:面向AI应用的脉冲神经网络1997年,Wolfgang Maass于Networks of spiking neurons: The third generation of neural network models一文中提出,由脉冲神经元构成的网络——脉冲神经网络(SNN),能够展现出更强大的计算特性,会成为继人工神经网络后的“第三代神经网络模型”[6]。
1997年,Wolfgang Maass于Networks of spiking neurons: The third generation of neural network models一文中提出,由脉冲神经元构成的网络——脉冲神经网络(SNN),能够展现出更强大的计算特性,会成为继人工神经网络后的“第三代神经网络模型”[6]。
持续适应性学习,即指适应环境并提升表现的能力,是自然智能与人工智能共有的关键特征。大脑达成这一目标的核心机制在于神经递质调控(例如多巴胺DA、乙酰胆碱ACh、肾上腺素)通过设置大脑全局变量来有效防止灾难性遗忘,这一机制有望增强人工神经网络在持续学习场景中的鲁棒性。本文将概述该领域的进展,进而详述两项6月Nature发表的背靠背相关研究。
从一行行代码、注释中感受 AlexNet 的诞生,或许老代码中还藏着启发未来的「新」知识。
2024年诺贝尔物理学奖揭晓,今年颁给了约翰·霍普菲尔德(John J. Hopfield)和图灵奖得主、AI教父杰弗里·辛顿(Geoffrey E. Hinton),以表彰他们利用人工神经网络进行机器学习的基础发现和发明。
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重,另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
生物神经网络有一个重要的特点是高度可塑性,这使得自然生物体具有卓越的适应性,并且这种能力会影响神经系统的突触强度和拓扑结构。
人工神经网络和深度学习(一种受大脑启发的机器学习方法)的先驱。2018年,本吉奥因“概念和工程上的突破,让深度神经网络成为计算的关键组成部分”,获得了计算机领域的诺贝尔奖--图灵奖