
大模型套壳祛魅
大模型套壳祛魅本文探讨了大模型套壳的问题,解释了大模型的内核和预训练过程。同时,介绍了“原创派”和“模仿派”两种预训练框架的差异,并讨论了通过“偷”聊天模型数据进行微调的现象。最后,提出了把“壳”做厚才是竞争力的观点。
来自主题: AI资讯
6203 点击 2024-01-04 09:53
本文探讨了大模型套壳的问题,解释了大模型的内核和预训练过程。同时,介绍了“原创派”和“模仿派”两种预训练框架的差异,并讨论了通过“偷”聊天模型数据进行微调的现象。最后,提出了把“壳”做厚才是竞争力的观点。
在大模型热潮中,一直保持低调的字节跳动,日前也被曝出了“套壳“的瓜。
本文讨论了李开复投资的零一万物公司被指使用Facebook母公司META的Llama大模型的开源代码却未标明来源的问题。作者指出,此举涉嫌侵犯署名权,即抄袭。文章还探讨了零一万物公司和第三方开发者可能面临的法律风险。
针对近日零一万物被质疑完全使用 LLaMA 架构,只对两个张量(Tensor)名称做修改,李开复在朋友圈进行了回应。
奥特曼简单一句话,让AI创业公司瑟瑟发抖:“套壳”OpenAI,注定消亡!