为什么大家都不关心OpenAI了？
为什么大家都不关心OpenAI了？昨天，OpenAI CEO 山姆阿尔特曼在新开的博客主页发了一篇长文《智能时代》。全文大致内容是：随着深度学习的发展，超级人工智能将在几千天后到来，到时候 AI 会改变人们的方方面面，人类也将进入智能时代。
来自主题: AI资讯
6147 点击 2024-09-26 11:30
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
昨天，OpenAI CEO 山姆阿尔特曼在新开的博客主页发了一篇长文《智能时代》。全文大致内容是：随着深度学习的发展，超级人工智能将在几千天后到来，到时候 AI 会改变人们的方方面面，人类也将进入智能时代。
今天，Sam Altman很罕见的在他的个人网站上发布了一篇推文：The Intelligence Age（智能时代）。
就在刚刚，奥特曼罕见发表长文，预言ASI将在「几千天内」降临！他肯定，深度学习已经奏效了，它能够真正学习任何数据的分布模式。如今人类奇点已经近在咫尺，我们眼看着就要迈进ASI的大门！
Transformer 是现代深度学习的基石。传统上，Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。
本论文第一作者倪赞林是清华大学自动化系 2022 级直博生，师从黄高副教授，主要研究方向为高效深度学习与图像生成。他曾在 ICCV、CVPR、ECCV、ICLR 等国际会议上发表多篇学术论文。
硬件发展速度跟不上 AI 需求，就需要精妙的架构和算法。
Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transformer 也因此难以处理非常长的文本。
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
计算机是二进制的世界，所以浮点数也是用二进制来表示的，与整型不同的是，浮点数通过3个区间来表示：
2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。 作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。