next-token被淘汰!Meta实测「多token」训练方法,推理提速3倍,性能大涨10%+
next-token被淘汰!Meta实测「多token」训练方法,推理提速3倍,性能大涨10%+研究人员提出了一种新的大型语言模型训练方法,通过一次性预测多个未来tokens来提高样本效率和模型性能,在代码和自然语言生成任务上均表现出显著优势,且不会增加训练时间,推理速度还能提升至三倍。
搜索
研究人员提出了一种新的大型语言模型训练方法,通过一次性预测多个未来tokens来提高样本效率和模型性能,在代码和自然语言生成任务上均表现出显著优势,且不会增加训练时间,推理速度还能提升至三倍。
在脑机接口领域取得突破性进展的公司不止Neuralink一家。Precision Neuroscience发布公告称,他们采用与Neuralink不同的技术路径,在人脑上成功放置了4096个电极,打破了去年2048个电极的最高纪录。
在以英语为主的语料库上训练的多语言LLM,是否使用英语作为内部语言?对此,来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
从2023年开始,全球陆续跑出了一大批AI明星企业,特点是估值涨幅凶猛,融资数额巨大,然而不管是领头羊OpenAI,还是一众新晋独角兽,暂时都在重复移动互联网的故事——未来很长时间一段时间内,将持续面临烧钱、亏损,盈利都不在他们的考虑范围之内。
腾讯终于也发布了to C的AI大模型APP——元宝,至此国内的四家大厂的AI大模型APP总算是集齐了。
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察,也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中,他盘点分析了 4 月份发布的四个主要新模型:Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。
最近的一系列研究表明,纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征,从而成功地生成多种模态(如音频、图像或状态 - 动作序列)的新序列,从文本、蛋白质、音频到图像,甚至是状态序列。
AlphaFold3的横空出世再次震撼了整个学术界,然而谷歌DeepMind的「不开源」引起学界不满,AlphaFold服务器遭到黑客攻击,开源项目也开始发力。
从谷歌离职一年之际,「人工智能教父」Hinton接受了采访。半退休的Hinton向我们讲述了时光积累下来的智慧,以及那些年和徒弟Ilya在一起的日子。
Anthropic的25岁参谋长自曝因为深感AGI,未来三年自己的工作将被AI取代。她在最近的一篇文章中预言了未来即将要被淘汰的工种。难道说,Claude 3模型已经初现AGI了吗?