AI资讯新闻榜单内容搜索-田渊栋

关键词: Scaling law,模型训练,openai,AI

Scaling law发展到最后，可能每个人都站在一个数据孤岛上。

关键词: 田渊栋 ,GaLore,模型训练,7B大模型

3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。

关键词: Transformer,Searchformer,LLM,模型训练

最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。

关键词: ICLR ,AI,AI学术

ICLR 2024录用结果出来了。一年一度的ICLR顶会录用结果公布了！今年共7000多篇投稿论文，录用率31%。

关键词: Q*,openai,AGI

大家都在猜测，Q*是否就是「Q-learning + A*」。 AI大牛田渊栋也详细分析了一番，「Q*=Q-learning+A*」的假设，究竟有多大可能性。 与此同时，越来越多人给出判断：合成数据，就是LLM的未来。