最近的一篇论文中，来自人大和腾讯的研究者们的研究表明，语言模型对强化学习中的奖励噪音具有鲁棒性，即使翻转相当一部分的奖励（例如，正确答案得 0 分，错误答案得 1 分），也不会显著影响下游任务的表现。
2024 年初，Monik Pamecha 联合创立 AI 语音初创公司 Toma 时，未曾料想自己会在盛夏时节汗流浃背地穿梭于圣经地带的汽车经销商之间。
问题越常见，所需上下文越少。比如"写个博客网站"这类典型教学案例，模型生成这类代码易如反掌。但面对缺乏训练数据的新颖需求时，你必须精确描述需求、提供API文档等完整上下文，难度会指数级上升。
大模型的发展正在遭遇瓶颈。随着互联网文本数据被大规模消耗，基于数字世界训练的AI模型性能提升速度明显放缓。与此同时，物理世界中蕴藏着数字世界数百倍甚至千倍的多模态数据，这些数据远未被有效利用，成为AI发展的下一个重要方向。
20万次模拟实验，耗资5000美元，证实大模型在多轮对话中的表现明显低于单轮对话！一旦模型的第一轮答案出现偏差，不要试图纠正，而是新开一个对话！
图像生成、视频创作、照片精修需要找不同的模型完成也太太太太太麻烦了。 有没有这样一个“AI创作大师”，你只需要用一句话描述脑海中的灵感，它就能自动为你搭建流程、选择工具、反复修改，最终交付高质量的视觉作品呢？
近年来，大语言模型（LLMs）以及多模态大模型（MLLMs）在多种场景理解和复杂推理任务中取得突破性进展。
RNN太老，Transformer太慢？谷歌掀翻Transformer王座，用「注意力偏向+保留门」取代传统遗忘机制，重新定义了AI架构设计。全新模型Moneta、Yaad、Memora，在多个任务上全面超越Transformer。这一次，谷歌不是调参，而是换脑！
本文介绍的工作由中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团共同完成。朱峰琪、王榕甄、聂燊是中国人民大学高瓴人工智能学院的博士生，导师为李崇轩副教授。
6 月 6 日，小红书 hi lab（Humane Intelligence Lab，人文智能实验室）团队首次开源了文本大模型 dots.llm1，采用 MIT 许可证。
