腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作
腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作大语言模型的RL技术已日趋成熟，多模态生成模型的强化学习训练却仍在“各自为战”——图像扩散模型一套流程、视频生成另一套标准、VLM和LLM又有不同的技术栈。
来自主题: AI技术研报
6780 点击 2026-06-18 11:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大语言模型的RL技术已日趋成熟，多模态生成模型的强化学习训练却仍在“各自为战”——图像扩散模型一套流程、视频生成另一套标准、VLM和LLM又有不同的技术栈。
当用户给出一句简单提示词时，当前的音视频生成模型往往已经能够生成具有不错质量的视听内容。然而，一旦提示词变得复杂，问题便开始暴露出来。
当视频生成模型走出娱乐创作的舒适区，进入科学、医疗、教育等知识密集场景，它们是否还能生成事实准确、清晰可用的视频？
今天，由李飞飞联合创立的空间智能公司 World Labs 在同一天发布了三篇技术论文！三篇论文分别由公司内部实习生主导完成，研究方向各异，但共享同一个核心命题：借助已在海量图片数据上训练成熟的 2D 生成模型，降低 3D 内容生成的难度门槛。
近年来，视频生成模型发展迅猛。从 Sora、Veo、Kling 到一系列开源视频生成模型，文生视频已经逼近真实影像的观感 —— 画面清晰、镜头流畅、风格可控，一句话就能生成一段观感不错的视频。
文生图的"慢思考"，到底有没有用？
怎么让VGM学会按规则推理？过去主要有两条路。两条路，一个不动模型，一个只写文字，都没真正解决“执行”问题。为此，城大×快手可灵提出了第三条路：VLM-as-Teacher。
京东首次开源长音视频生成框架JoyAI-Echo。它直击长视频生成中的角色一致性、声音稳定性和生成速度三大核心难题，一举在多个核心指标上超越行业标杆模型。根据公开评测结果，JoyAI-Echo在跨镜头一致性、语音准确率、用户偏好等关键指标上均取得领先表现，与业内主流长视频生成模型相比优势明显，出道即跻身全球第一梯队。
训练时让分布沿最优传输的 “下山方向” 走，推理时只需一次网络前向。W-Flow 把多步演化压进静态生成器，在 ImageNet 256×256 上刷新一步生成指标。
从 LLM 的超长文本处理、视频生成模型的以假乱真、Agent 自主规划与执行的日趋成熟，到 VLA、世界模型等开始进入物理世界，AI 正在不断拓宽其能力边界。