近年来，扩散大语言模型（Diffusion Large Language Models, dLLMs）正迅速崭露头角，成为文本生成领域的一股新势力。与传统自回归（Autoregressive, AR）模型从左到右逐字生成不同，dLLM 依托迭代去噪的生成机制，不仅能够一次性生成多个 token，还能在对话、推理、创作等任务中展现出独特的优势。
没等到Deepseek R2，DeepSeek悄悄更新了V 3.1。官方群放出的消息就提了一点，上下文长度拓展至128K。128K也是GPT-4o这一代模型的处理Token的长度。因此一开始，鲸哥以为从V3升级到V 3.1，以为是不大的升级，鲸哥体验下来还有惊喜。
英伟达发布全新架构9B模型，以Mamba-Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3-8B并在数学、代码、推理与长上下文任务中表现持平或更优。
在大语言模型（LLMs）领域，自回归（AR）范式长期占据主导地位，但其逐 token 生成也带来了固有的推理效率瓶颈。此前，谷歌的 Gemini Diffusion 和字节的 Seed Diffusion 以每秒千余 Tokens 的惊人吞吐量，向业界展现了扩散大语言模型（dLLMs）在推理速度上的巨大潜力。
AI领域一度陷入“上下文窗口”的军备竞赛，从几千token扩展到数百万token。这相当于给了AI一个巨大的图书馆。但这些“百万上下文”的顶级模型，它究竟是真的“理解”了，还是只是一个更会“背书”的复读机？
Token危机真的要解除了吗？ 最新研究发现，在token数量受限的情况下，扩散语言模型的数据潜力可达自回归模型的三倍多。
GPT-oss放飞自我了？！居然出现了明显的幻觉行为。 在没有提示词的情况下，消耗超过30000个token凭空想出一个问题，还反复求解了5000多次？！
扩散语言模型（DLMs）是超强的数据学习者。 token 危机终于要不存在了吗？ 近日，新加坡国立大学 AI 研究者 Jinjie Ni 及其团队向着解决 token 危机迈出了关键一步。
年初那会儿，DeepSeek 横空出世，AI 圈子跟过年一样热闹。它凭啥这么火？除了开源够意思，五百多万的训练成本也惊艳了不少人。
近年来，大语言模型（LLM）在语言理解、生成和泛化方面取得了突破性进展，并广泛应用于各种文本任务。随着研究的深入，人们开始关注将 LLM 的能力扩展至非文本模态，例如图像、音频、视频、图结构、推荐系统等。
