自回归训练方式已经成为了大语言模型（LLMs）训练的标准模式， 今天介绍一篇来自阿联酋世界第一所人工智能大学MBZUAI的VILA实验室和CMU计算机系合作的论文，题为《FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation》
Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。
历经3个月，首届AI奥数竞赛终于公布最终结果了！Gemma 7B只能达到3/50正确率的题目中，第一名的Numina模型居然刷出了29/50的成绩。
在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？
简笔素描一键变身多风格画作，还能添加额外的描述，这在 CMU、Adobe 联合推出的一项研究中实现了。作者之一为 CMU 助理教授朱俊彦，其团队在 ICCV 2021 会议上发表过一项类似的研究：仅仅使用一个或数个手绘草图，即可以自定义一个现成的 GAN 模型，进而输出与草图匹配的图像。
3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。
大模型的新考验来了！近日，来自卡内基梅隆大学的研究人员发布了评估LLM多模态Web代理性能的基准测试。
斯坦福炒菜机器人的大火，开启了2024年机器人元年。最近，CMU研究团队推出了一款能在开放世界完成任务的机器人，成本仅18万元。没见过的场景，它可以靠自学学会！
近日，CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述，覆盖了 300 余篇相关论文，从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。
CSRankings 2024结果出炉！全世界计算机科学机构的排名进行了大更新。在AI板块，清华、北大、上交分列TOP 3，CMU和浙大并列第4。AI TOP 10中的中国高校，还包括人大、南京大学、复旦大学、哈工大等。
