Llama成大模型顶流,扎克伯格掀论战:玩开源,时代变了
Llama成大模型顶流,扎克伯格掀论战:玩开源,时代变了开源与闭源的纷争已久,现在或许已经达到了一个新的高潮。
来自主题: AI资讯
9928 点击 2024-07-24 16:50
开源与闭源的纷争已久,现在或许已经达到了一个新的高潮。
就在刚刚,Meta 如期发布了 Llama 3.1 模型。
Llama 3.1 终于现身了,不过出处却不是 Meta 官方。
Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。
大模型开源的热潮下,隐藏着诸多问题,从定义的模糊到实际开放内容的局限性,Lecun再陷Meta大模型是否真开源的质疑风波只是冰山一角。
最近,PyTorch团队首次公布了开发路线图,由内部技术文档直接修改而来,披露了这个经典开源库下一步的发展方向。
研究者表示,如果 Sytem 2 蒸馏可以成为未来持续学习 AI 系统的重要特征,则可以进一步提升 System 2 表现不那么好的推理任务的性能。
《思考快与慢》中人类的两种思考方式,属实是被Meta给玩明白了。
Meta目前专注于通过参与度实现盈利
Meta首席人工智能科学家、深度学习之父Yann LeCun又开喷了。