NeurIPS 2024 | 大模型的词表大小,同样适用于Scaling Law
NeurIPS 2024 | 大模型的词表大小,同样适用于Scaling Law本文是一篇发表在 NeurIPS 2024 上的论文,单位是香港大学、Sea AI Lab、Contextual AI 和俄亥俄州立大学。论文主要探讨了大型语言模型(LLMs)的词表大小对模型性能的影响。
搜索
本文是一篇发表在 NeurIPS 2024 上的论文,单位是香港大学、Sea AI Lab、Contextual AI 和俄亥俄州立大学。论文主要探讨了大型语言模型(LLMs)的词表大小对模型性能的影响。
猛,实在是猛!就在今日,老牌芯片巨头AMD交出了一份令人印象深刻的AI答卷。
据 Financial Times 消息,MiniMax 向投资者表示它在今年的净收入将达到 7000 万美元。公开信息显示,MiniMax 迄今已经完成了 4 轮融资,投资者包括阿里、腾讯、红杉中国、高瓴创投、IDG 资本等,其估值超过 25 亿美元(约合 177 亿元人民币)。
据TechCrunch报道,Unify,一家 OpenAI Converge 加速器的毕业公司,获得 1200 万美元用于“温暖外呼”信息。
Infactory完成400万美元融资,推AI审查搜索引擎。
诺奖都认可的AI蛋白质预测赛道,再添新玩家
该研究主要探讨了大语言模型的全局剪枝方法,旨在提高预训练语言模型的效率。该成果的发表为大模型的剪枝与优化研究提供了新的视角,并在相关领域具有重要的应用潜力。
继首台DGX H200之后,OpenAI再次收到了英伟达的首批工程版DGX B200。外媒爆料称,由于微软提供算力不足,OpenAI正与甲骨文开始谈判了。
诺贝尔物理学奖公布第二天,争议依然未平息。诺奖官号都被愤怒的网友冲了:AI不是物理学!Hopfield网络和反向传播算法究竟与物理学有何关系?这要从Hinton和Ilya 12年前的那件事说起。
最近,ByteDance Research 的第二代机器人大模型 —— GR-2,终于放出了官宣视频和技术报告。GR-2 以其卓越的泛化能力和多任务通用性,预示着机器人大模型技术将爆发出巨大潜力和无限可能。