将Transformer用于扩散模型,AI 生成视频达到照片级真实感
将Transformer用于扩散模型,AI 生成视频达到照片级真实感在视频生成场景中,用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。
来自主题: AI资讯
4152 点击 2023-12-13 15:49
在视频生成场景中,用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。
替代注意力机制,SSM 真的大有可为?
继谷歌DeepMind AI工具成功预测出220万种晶体结构后,微软团队最新扩散模型MatterGen,能设计生成新颖、稳定的材料,刷新SOTA。
这是最近在社交媒体上爆火的扩散模型视错觉画,随便给AI两组不同的提示词,它都能给你画出来!
来自中国科学院深圳先进技术研究院、中国科学院大学和 VIVO AI Lab 的研究者联合提出了一个无需训练的文本生成视频新框架 ——GPT4Motion。GPT4Motion 结合了 GPT 等大型语言模型的规划能力、Blender 软件提供的物理模拟能力,以及扩散模型的文生图能力,旨在大幅提升视频合成的质量。
基于扩散原理的模型已经成为生成式图像AI的主流。Max Tegmark团队新提出的基于于带电粒子分布过程的模型,可能会带来更优的效果。而随着更多物理模型在生成式AI中被深度挖掘,某种隐藏的统一性正在渐渐浮现。
参数高效的微调方法SUR-adapter,可以增强text-to-image扩散模型理解关键词的能力。