无人车团队跨维进军好莱坞！推出电影级视觉AI特效，“新时代皮克斯”
无人车团队跨维进军好莱坞！推出电影级视觉AI特效，“新时代皮克斯”好莱坞级视觉AI横空出世！一个demo已令网友疯狂~
来自主题: AI资讯
7742 点击 2024-07-09 15:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
好莱坞级视觉AI横空出世！一个demo已令网友疯狂~
只要把推理和感知能力拆分，2B大模型就能战胜20B？！
人工智能（AI）在过去十年里取得了长足进步，特别是在自然语言处理和计算机视觉领域。然而，如何提升 AI 的认知能力和推理能力，仍然是一个巨大的挑战。
近日，LeCun和谢赛宁等大佬，共同提出了这一种全新的SOTA MLLM——Cambrian-1。开创了以视觉为中心的方法来设计多模态模型，同时全面开源了模型权重、代码、数据集，以及详细的指令微调和评估方法。
当前的多模态和多任务基础模型，如 4M 或 UnifiedIO，显示出有希望的结果。然而，它们接受不同输入和执行不同任务的开箱即用能力，受到它们接受训练的模态和任务的数量（通常很少）的限制。
AI技术日新月异，近来Anthropic公司最新发布的Claude-3.5-Sonnet因在知识型推理、数学推理、编程任务及视觉推理等任务上设立新行业基准而引发广泛讨论
等了半年，微软视觉基础模型Florence-2终于开源了。它能够根据提示，完成字幕、对象检测、分割等各种计算机视觉和语言的任务。网友们实测后，堪称「游戏规则改变者」。
不用打标签，也能解决视觉大模型的偏好对齐问题了。
从任意单目视频重建可渲染的动态场景是计算机视觉研究领域的一个圣杯。
现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题，传统偏好学习方法依赖可能不适配的外源数据，存在成本和质量问题。Calibrated Self-Rewarding（CSR）框架通过自我增强学习，利用模型自身输出构造更可靠的偏好数据，结合视觉约束提高学习效率和准确性。