就在一周前，全宇宙最火爆的推理框架 SGLang 官宣支持了 Diffusion 模型，好评如潮。团队成员将原本在大语言模型推理中表现突出的高性能调度与内核优化，扩展到图像与视频扩散模型上，相较于先前的视频和图像生成框架，速度提升最高可达 57%：
近年来，Stable Diffusion、CogVideoX 等视频生成模型在自然场景中表现惊艳，但面对科学现象 —— 如流体模拟或气象过程 —— 却常常 “乱画”：如下视频所示，生成的流体很容易产生违背物理直觉的现象，比如气旋逆向旋转或整体平移等等。
近年来，随着扩散模型（Diffusion Models）和扩散 Transformer（DiT）在视频生成领域的广泛应用，AI 合成视频的质量和连贯性有了飞跃式提升。像 OpenAI Sora、HunyuanVideo、Wan2.1 等大模型，已经能够生成结构清晰、细节丰富且高度连贯的长视频内容，为数字内容创作、虚拟世界和多媒体娱乐带来了巨大变革。
在高质量视频生成任务中，扩散模型（Diffusion Models）已经成为主流。然而，随着视频长度和分辨率的提升，Diffusion Transformer（DiT）模型中的注意力机制计算量急剧增加，成为推理效率的最大瓶颈。
扩散模型在视频合成任务中取得了显著成果，但其依赖迭代去噪过程，带来了巨大的计算开销。尽管一致性模型（Consistency Models）在加速扩散模型方面取得了重要进展，直接将其应用于视频扩散模型却常常导致时序一致性和外观细节的明显退化。
三维场景是构建世界模型、具身智能等前沿科技的关键环节之一。
最近，来自大连理工和莫纳什大学的团队提出了物理真实的视频生成框架 VLIPP。通过利用视觉语言模型来将物理规律注入到视频扩散模型的方法来提升视频生成中的物理真实性。
虽然扩散模型在视频生成领域展现出了卓越的性能，但是视频扩散模型通常需要大量的推理步骤对高斯噪声进行去噪才能生成一个视频。这个过程既耗时又耗计算资源。例如，HunyuanVideo [1] 需要 3234 秒才能在单张 A100 上生成 5 秒、720×1280、24fps 的视频。
随着 VR/AR、游戏娱乐、自动驾驶等领域对 3D 场景生成的需求不断攀升，从稀疏视角重建 3D 场景已成为一大热点课题。
视频扩散模型新综述来了，覆盖300+文献的那种。
