DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩
DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。
来自主题: AI技术研报
7962 点击 2024-05-12 15:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。
最少只需1个3D样例，即可生成3D主题乐园。
在一个昏暗的机箱里，一台 RTX 3090 GPU「唱」着经典英语儿歌《一闪一闪亮晶晶》（Twinkle,Twinkle,Little Star）的旋律。
Stack Overflow，一个类似知乎、Reddit的老牌网站，因专注于技术问答和社区运营，因此在全球程序员圈内备受欢迎。
如今的生成式AI在人工智能领域迅猛发展，在计算机视觉中，图像和视频生成技术已日渐成熟，如Midjourney、Stable Video Diffusion [1]等模型广泛应用。然而，三维视觉领域的生成模型仍面临挑战。
近年来，大型语言模型（LLM）在数学应用题和数学定理证明等任务中取得了长足的进步。数学推理需要严格的、形式化的多步推理过程，因此是 LLMs 推理能力进步的关键里程碑， 但仍然面临着重要的挑战。
传统的 3D 重建算法需要不同视角拍摄的多张图片作为输入从而重建出 3D 场景。近年来，有相当多的工作尝试从单张图片构建 3D 场景。然而，绝大多数此类工作都依赖生成式模型（如 Stable Diffusion），换句话说，此类工作仍然需要通过预训练的生成式模型推理场景中的 3D 信息。
智东西4月30日报道，据外媒4月29日报道，当下，Inflection AI、Stability AI和Anthropic等知名AI初创公司都正面临财务危机。
《DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models》
刚刚，由李飞飞联合领导的斯坦福大学以人为本人工智能研究所（Stanford HAI）发布了《2024 年人工智能指数报告》（Artificial Intelligence Index Report 2024）。