击败GPT-4o的开源模型如何炼成？关于Llama 3.1 405B，Meta都写在这篇论文里了
击败GPT-4o的开源模型如何炼成？关于Llama 3.1 405B，Meta都写在这篇论文里了经历了提前两天的「意外泄露」之后，Llama 3.1 终于在昨夜由官方正式发布了。
来自主题: AI资讯
9605 点击 2024-07-24 16:54
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
经历了提前两天的「意外泄露」之后，Llama 3.1 终于在昨夜由官方正式发布了。
开源与闭源的纷争已久，现在或许已经达到了一个新的高潮。
就在刚刚，Meta 如期发布了 Llama 3.1 模型。
Llama 3.1 终于现身了，不过出处却不是 Meta 官方。
Scaling Law还没走到尽头，「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列，规模甚至降低到了1B以下，两个版本分别只有125M和350M参数，但却实现了比更大规模模型更优的性能。
大模型开源的热潮下，隐藏着诸多问题，从定义的模糊到实际开放内容的局限性，Lecun再陷Meta大模型是否真开源的质疑风波只是冰山一角。
最近，PyTorch团队首次公布了开发路线图，由内部技术文档直接修改而来，披露了这个经典开源库下一步的发展方向。
研究者表示，如果 Sytem 2 蒸馏可以成为未来持续学习 AI 系统的重要特征，则可以进一步提升 System 2 表现不那么好的推理任务的性能。
《思考快与慢》中人类的两种思考方式，属实是被Meta给玩明白了。
Meta目前专注于通过参与度实现盈利