自回归模型，首次生成2048×2048分辨率图像！来自Meta、西北大学、新加坡国立大学等机构的研究人员，专门为多模态大语言模型（MLLMs）设计的TokenShuffle，显著减少了计算中的视觉Token数量，提升效率并支持高分辨率图像合成。
就在刚刚，智谱一口气上线并开源了三大类最新的GLM模型：沉思模型GLM-Z1-Rumination 推理模型GLM-Z1-Air 基座模型GLM-4-Air-0414
在大模型迈向推理时代的当下，数学推理能力已成为衡量语言模型智能上限的关键指标。
长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。
2025 年 2 月发布的 NoLiMA 是一种大语言模型（LLM）长文本理解能力评估方法。不同于传统“大海捞针”（Needle-in-a-Haystack, NIAH）测试依赖关键词匹配的做法，它最大的特点是 通过精心设计问题和关键信息，迫使模型进行深层语义理解和推理，才能从长文本中找到答案。
大语言模型长序列文本生成效率新突破——生成10万Token的文本，传统自回归模型需要近5个小时，现在仅需90分钟！
LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。
文字中貌似不起眼的标点符号，竟然可以显著加速大模型的训练和推理过程？
以 GPT-4o 为代表的实时交互多模态大模型（LMMs）引发了研究者对高效 LMM 的广泛关注。现有主流模型通过将视觉输入转化为大量视觉 tokens，并将其嵌入大语言模型（LLM）上下文来实现视觉信息理解。
国产大模型云服务平台SiliconCloud（硅基流动），首发上线了基于华为云昇腾云服务的DeepSeek-V3、DeepSeek-R1。 DeepSeek-V3：输入只需1块钱/M tokens，输出2块钱/M tokens
