近年来，「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用，通过大规模训练得到的视觉基础网络（如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等）已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。
刚刚，Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。
它们不仅仅是技术的展示，更是AI赋能千行百业的生动例证。
不创新，死路一条 字节跳动，已无法再低调。 • 外媒报道，字节跳动2023年营收1100亿美元，可能超过腾讯、逼近Meta； • TikTok在美国渡劫，作为增长引擎的海外业务遭遇不确定性； • 字节跳动在AI竞赛上显得“迟钝”，公司内部“到2023年才开始讨论GPT”；
英伟达正在宣传其Grace Hopper的异构计算框架正在被分布于世界各地的9台超算系统所使用，共同实现了惊人的 200 exaflops的AI计算能力。这表明英伟达正在为世界上一些更强大的人工智能系统供货，已经开始取代AMD和英特尔在高性能计算领域的地位。
Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注。代码非常详细地展现了Llama所使用的Transformer架构，甚至让Andrej Karpathy亲自下场「背书」。
把大模型塞进手机里需要几步？
2023年3月的一天，美国政府的科技政策顾问Arati Prabhakar带着一台笔记本电脑走进了白宫的椭圆形办公室，向80岁的总统拜登展示了如何使用ChatGPT。
登录就送500w tokens！1块钱 100w tokens！一降再降！！仅需0.0008元/千tokens！
随着AI带来的算力需求大爆发，以半导体为代表的各类硬件企业的营收也纷纷水涨船高。
