
Token化一切,甚至网络!北大&谷歌&马普所提出TokenFormer,Transformer从来没有这么灵活过!
Token化一切,甚至网络!北大&谷歌&马普所提出TokenFormer,Transformer从来没有这么灵活过!新一代通用灵活的网络结构 TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters 来啦!
新一代通用灵活的网络结构 TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters 来啦!
几十万人关注,一发表即被行业大佬评为“这是很长时间以来最重要的论文”。
世界模型又出新进展了,来自国内机构。
最近几天,AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
昨天,The Information 的一篇文章让 AI 社区炸了锅。
2024 年的诺贝尔化学奖颁发给了在结构生物学领域取得重大成就的 David Baker 团队和 AlphaFold 团队,激发了 AI for science 领域新的研究热潮。
去年以来,包括纽约时报、Raw Story、The Intercept和AlterNet等在内的多家机构,针对ChatGPT所属的公司OpenAI提起诉讼,指控ChatGPT非法使用了新闻网站文章用于训练。近日,纽约联邦法官驳回了Raw Story和Alternet对OpenAI聊天机器人的训练数据提起的版权诉讼。
Ilya终于承认,自己关于Scaling的说法错了!现在训练模型已经不是「越大越好」,而是找出Scaling的对象究竟应该是什么。他自曝,SSI在用全新方法扩展预训练。而各方巨头改变训练范式后,英伟达GPU的垄断地位或许也要打破了。
2024年5月8日,AlphaFold3 正式发布!时隔半年,今天,AlphaFold3 终于开源啦!
今年拿了腾讯 Al Lab(青云计划”), 字节跳动(Seed) 的 offer, 国外有之前实习的 Sony Research 和 Yamaha 的 return offer, 也有正在面试的 Adobe 和 Meta。 这些工作机会的方向都和我的博士工作完全 match, 没有转方向的痛苦。最后, 我接了字节 Seed 团队的 offer, 结束秋招。