2026年新年第一天，DeepSeek上传新论文。给何恺明2016成名作ResNet中提出的深度学习基础组件“残差连接”来了一场新时代的升级。残差连接自2016年ResNet问世以来，一直是深度学习架构的基石。
模型架构的重要性可能远超我们之前的认知。
脉冲神经网络（SNN）不用再纠结二进制短板了。
一张图片包含的信息是多维的。例如下面的图 1，我们至少可以得到三个层面的信息：主体是大象，数量有两头，环境是热带稀树草原（savanna）。然而，如果由传统的表征学习方法来处理这张图片，比方说就将其送入一个在 ImageNet 上训练好的 ResNet 或者 Vision Transformer，往往得到的表征只会体现其主体信息，也就是会简单地将该图片归为大象这一类别。这显然是不合理的。
《自然》杂志统计了 5 个数据库，给出了论文引用 Top 25 名单。
大自然的分形之美，蕴藏着宇宙的设计规则。刚刚，何恺明团队祭出「分形生成模型」，首次实现高分辨率逐像素建模，让计算效率飙升4000倍，开辟AI图像生成新范式。
大模型的人才黑洞效应，还在持续。
距离ChatGPT、GPT-4等引爆新一轮人工智能变革的时刻，已经过去了整整一年的时间。在这一年里，国内外大量公司涌入大模型的“斗兽场”，加速大模型技术的迭代与跃迁。
