为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。
自回归训练方式已经成为了大语言模型（LLMs）训练的标准模式， 今天介绍一篇来自阿联酋世界第一所人工智能大学MBZUAI的VILA实验室和CMU计算机系合作的论文，题为《FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation》
以GPT-4o为代表的多模态大语言模型（MLLMs）因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手，还逐渐渗透到自动驾驶、医学诊断等各大应用领域，掀起了一场技术革命。
7月初，在约翰霍普金斯大学，资深科技记者、播客Pivot的联合主持人Kara Swisher与OpenAI CTO Mira Murati展开了一场火药味十足的对话，计算机科学家、斯坦福大学教授李飞飞也加入了提问阵营，他的另一个身份是Google云人工智能和机器学习首席科学家
多模态大模型（Multimodal Large Language Models，MLLMs）在不同的任务中表现出了令人印象深刻的能力，尽管如此，这些模型在检测任务中的潜力仍被低估。
Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。
历经3个月，首届AI奥数竞赛终于公布最终结果了！Gemma 7B只能达到3/50正确率的题目中，第一名的Numina模型居然刷出了29/50的成绩。
字节跳动探索AI硬件业务，屡试不舍。
最近，OpenAI首席技术官Mira Murati回到母校参加访谈，一句话惹了众怒。一些创造性的工作可能会消失，但也许它们本就不该存在。
近日，清华大学与密歇根大学联合提出的自动驾驶汽车安全性「稀疏度灾难」问题，发表在了顶刊《Nature Communications》上。研究指出，安全攸关事件的稀疏性导致深度学习模型训练难度大增，提出了密集学习、模型泛化改进和车路协同等技术路线以应对挑战。
