无需人类或GPT-4打标签！南大&旷视研究院无监督范式大幅降低视觉大模型对齐成本
无需人类或GPT-4打标签！南大&旷视研究院无监督范式大幅降低视觉大模型对齐成本不用打标签，也能解决视觉大模型的偏好对齐问题了。
来自主题: AI技术研报
7788 点击 2024-06-23 20:08
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
不用打标签，也能解决视觉大模型的偏好对齐问题了。
从任意单目视频重建可渲染的动态场景是计算机视觉研究领域的一个圣杯。
现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题，传统偏好学习方法依赖可能不适配的外源数据，存在成本和质量问题。Calibrated Self-Rewarding（CSR）框架通过自我增强学习，利用模型自身输出构造更可靠的偏好数据，结合视觉约束提高学习效率和准确性。
机器人操纵的一个基本目标是使模型能够理解视觉场景并执行动作。
为了实现高精度的区域级多模态理解，本文提出了一种动态分辨率方案来模拟人类视觉认知系统。
CVPR正在进行中，中国科研力量再次成为场内外焦点之一。
当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
语言将是获得更智能系统的重要组成部分。
GPT-4o再次掀起多模态大模型的浪潮。
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。