过去一段时间，“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进，预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law（规模定律）最忠实的倡导者，却宣称预训练要终结了、scaling law要失效。由此，引发了大量争议。
穿越重重迷雾，OpenAI模型参数终被揭开！一份来自微软华盛顿大学医疗论文，意外曝光了GPT-4、GPT-4o、o1系列模型参数。让所有人震惊不已的是，GPT-4o mini仅8B。
2024年，我们居然进步这么大。
GPT-4o仅得分64.5，其余模型均未及格！ 全面、细粒度评估模型多模态长文档理解能力的评测集来了～ 名为LongDocURL，集成了长文档理解、数值推理和跨元素定位三个主任务，并包含20个细分子任务。
微软又把OpenAI的机密泄露了？？在论文中明晃晃写着： o1-preview约300B参数，GPT-4o约200B，GPT-4o-mini约8B……
OpenAI发布旗舰推理模型o3和o3-mini，成为他们2024年的收官之作，制造了一波小热潮。和往常一样，Twitter (x.com)依然是外网讨论的主阵地。
奥特曼说，Sora代表了视频生成大模型的GPT-1时刻。
奥特曼称他是爱因斯坦级别的天才；OpenAI总裁更是直言： 只要他想要的，我们都给。 Alec Radford大神离职OpenAI，现在牵出更多细节： 改变世界的GPT，竟然是在Jupyter notebook上诞生的。
我们全文翻译了这些内部交流记录，在保留语言风格、不改变原意的前提下适当编辑，并按照时间线整理，以尽可能完整呈现他们交流的情况。
将时间拨回到两年之前，彼时，ChatGPT刚刚问世就引起了广泛的关注。不过，虽然当时大家惊艳于LLM带来的震撼，但也没有想到在短短两年之后，人工智能就已经以包括Chat在内的各种不同形式融入了我们的日常，并正以前所未有的速度、广度和深度重塑生产生活方式。
