Anthropic 联合创始人 Jared Kaplan 是一名理论物理学家，研究兴趣广泛，涉及有效场论、粒子物理、宇宙学、散射振幅以及共形场论等。过去几年，他还与物理学家、计算机科学家们合作开展机器学习研究，包括神经模型以及 GPT-3 语言模型的 Scaling Law。
从「与GPT-3.5畅聊」到「ChatGPT」，OpenAI团队如何在混乱中拍板上线、又怎样被用户「点赞」调教成「赛博舔狗」？从产品发布、命名内幕、团队文化到AI时代核心竞争力，深度访谈揭开幕后全过程！
“不用纠结，现在是否到了具身的 GPT-3 时刻。”
自回归（AR）范式凭借将语言转化为离散 token 的核心技术，在大语言模型领域大获成功 —— 从 GPT-3 到 GPT-4o，「next-token prediction」以简单粗暴的因果建模横扫语言领域。
要理解上半场，看看它的赢家。你认为到目前为止最有影响力的 AI 论文是哪些？我尝试了斯坦福大学 224N 课程的测验，答案并不令人惊讶：Transformer、AlexNet、GPT-3 等等。这些论文有什么共同点？它们提出了一些训练更好模型的基本突破。但同样，它们通过在一些基准测试上展示一些（显著的）改进来发表论文。
今天凌晨，Runway的新版本Gen-4又试图解决AI视频的一个关键难题，让AI视频更靠近电影级。这一切都只发生在短短的2个多月内，很难想象今年AI会发展到什么程度，或许今年将会是GPT-3.5后真正的AI爆发年。
RAG工作发展时间线（2020年至今）。展示了RAG相关研究的三个主要领域：基础（包括RAG学习和RAG框架）、进阶和评估。关键的语言模型（GPT-3、GPT-4等）发展节点标注在时间线上。
近些年，大模型的发展可谓是繁花似锦、烈火烹油。从 2018 年 OpenAI 公司提出了 GPT-1 开始，到 2022 年底的 GPT-3，再到现在国内外大模型的「百模争锋」，DeepSeek 异军突起，各类大模型应用层出不穷。
通义万相视频模型，再度迎来史诗级升级！处理复杂运动、还原真实物理规律等方面令人惊叹，甚至业界首创了汉字视频生成。现在，通义万相直接以84.70%总分击败了一众顶尖模型，登顶VBench榜首。
好家伙！1750亿参数的GPT-3只需20MB存储空间了？！ 基于1.58-bit训练，在不损失精度的情况下，大幅节省算力（↓97%）和存储（↓90%）。
