开源Llama版o1来了，3B小模型反超80B，逆向工程复现OpenAI新Scaling Law
开源Llama版o1来了，3B小模型反超80B，逆向工程复现OpenAI新Scaling Lawo1完整版公开仅10天，Scaling Law新范式就被逆向工程复现了！
来自主题: AI技术研报
5160 点击 2024-12-17 17:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
o1完整版公开仅10天，Scaling Law新范式就被逆向工程复现了！
全球最年轻的 95 后亿万富翁、MIT 辍学生以及估值超 1000 亿的 AI 独角兽 Scale AI 创始人 Alexandr Wang 近期在 SPC 对谈时回顾了自己在 YC 创业加速器的经历。
Ilya「预训练结束了」言论一出，圈内哗然。谷歌大佬Logan Klipatrick和LeCun站出来反对说：预训练还没结束！Scaling Law真的崩了吗？Epoch AI发布报告称，我们已经进入「小模型」周期，但下一代依然会更大。
基于昇腾算力的矩阵运算改进求解器框架，大幅提升Local Optimum跳出能力。
Moonvalley 是一家位于洛杉矶 AI 生成视频公司，在 Discord 上拥有超过 10 万名用户，discord 提供了一个互动平台，用户可以分享经验、反馈和创作。
据DEFENSESCOOP 报道，美国军方在追求新型人工智能工具的过程中，Palantir 和 Anduril 这两家公司在国防技术领域的地位日益突出。
在Ilya探讨完「预训练即将终结」之后，关于Scaling Law的讨论再次引发热议。
Scaling Law不仅在放缓，而且不一定总是适用！ 尤其在文本分类任务中，扩大训练集的数据量可能会带来更严重的数据冲突和数据冗余。
Sequoia Capital(红杉资本) 最近发表了一篇文章《AI in 2025: Building Blocks Firmly in Place》，对2025年的AI发展趋势做了三个预测，一定程度上反映了资本对于大模型方向一些定性判断。
Mamba 这种状态空间模型（SSM）被认为是 Transformer 架构的有力挑战者。近段时间，相关研究成果接连不断。而就在不久前，Mamba 作者 Albert Gu 与 Karan Goel、Chris Ré、Arjun Desai、Brandon Yang 一起共同创立的 Cartesia 获得 2700 万美元种子轮融资。