谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源
谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源统一图像理解和生成，还实现了新SOTA。
来自主题: AI技术研报
7883 点击 2025-05-17 16:35
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
统一图像理解和生成，还实现了新SOTA。
北大和人大团队在通用人形机器人动作生成领域取得重大突破！
在多模态大模型快速发展的当下，如何精准评估其生成内容的质量，正成为多模态大模型与人类偏好对齐的核心挑战。然而，当前主流多模态奖励模型往往只能直接给出评分决策，或仅具备浅层推理能力，缺乏对复杂奖励任务的深入理解与解释能力，在高复杂度场景中常出现 “失真失准”。
随着Gemini、GPT-4o等商业大模型把基于文本的图像编辑这一任务再次推向高峰，获取更高质量的编辑数据用于训练、以及训练更大参数量的模型似乎成了提高图像编辑性能的唯一出路。然而浙大哈佛这个团队却反其道而行之，仅用以往工作0.1%的数据量（获取自公开数据集）和1%的训练参数，以极低成本实现了图像的高质量编辑，在一些方面媲美甚至超越商业大模型！
新的亿级大规模图文对数据集来了，CLIP达成新SOTA！
香港中文大学（深圳）的研究团队发布TASTE-Rob数据集，含100856个精准匹配语言指令的交互视频，助力机器人通过模仿学习提升操作泛化能力。团队还开发三阶段视频生成流程，优化手部姿态，显著提升视频真实感和机器人操作准确度。
近日，上海人工智能实验室（上海 AI 实验室）开源了生成式世界模型 AETHER。该模型全部由合成数据训练而成，不仅在传统重建与生成任务中表现领先，更首次赋予大模型在真实世界中的 3D 空间决策与规划能力，
港中文和清华团队推出Video-R1模型，首次将强化学习的R1范式应用于视频推理领域。通过升级的T-GRPO算法和混合图像视频数据集，Video-R1在视频空间推理测试中超越了GPT-4o，展现了强大的推理能力，并且全部代码和数据集均已开源。
作为一家公司，我们专注于三件事：预训练、微调和对齐。我们使用自有数据集进行预训练，这一点非常关键，而很多公司并不具备这样的能力。然后，我们用专家手工整理的数据进行微调。最有趣、最重要的部分在于对齐，这与简单地寻找“当前最优解”是截然不同的。
近年来，大语言模型（LLMs）的对齐研究成为人工智能领域的核心挑战之一，而偏好数据集的质量直接决定了对齐的效果。无论是通过人类反馈的强化学习（RLHF），还是基于「RL-Free」的各类直接偏好优化方法（例如 DPO），都离不开高质量偏好数据集的构建。