北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务
北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务训完130亿参数通用视觉语言大模型,只需3天!北大和中山大学团队又出招了——在最新研究中,研究团队提出了一种构建统一的图片和视频表征的框架。利用这种框架,可以大大减少VLM(视觉语言大模型)在训练和推理过程中的开销。
来自主题: AI资讯
6979 点击 2023-11-29 15:32
训完130亿参数通用视觉语言大模型,只需3天!北大和中山大学团队又出招了——在最新研究中,研究团队提出了一种构建统一的图片和视频表征的框架。利用这种框架,可以大大减少VLM(视觉语言大模型)在训练和推理过程中的开销。
在新模型发布后,智谱 AI CEO 张鹏和极客公园聊了聊他们的近况和一些行业认知。谈到与ChatGLM2相比,智谱 AI 此次瞄准 GPT-4V 推出的 ChatGLM 3 性能更加强大,接入了具有多模态理解能力的模型 CogVLM、代码增强模块 Code Interpreter、网络搜索增强模型 WebGLM,并增强了语义理解和逻辑理解能力,实现了若干功能的迭代升级。
基于LVLM幻觉频发的三个成因(物体共现、物体不确定性、物体位置),北卡教堂山、斯坦福、哥大、罗格斯等大学的研究人员提出幻觉修正器LURE,通过修改描述来降低幻觉问题。
在快速发展的人工智能领域,自然语言处理已成为研究人员和开发人员关注的焦点。近年来,在Transformer 架构和BERT 双向升级的基础上,出现了几种突破性的语言模型,突破了机器理解和生成的界限。
随着互联网规模的人工智能模型从粗糙的研究演示迅速成熟为面向用户的生产型系统,人们的期望越来越高,目标也发生了巨大变化。在短短几个月内,人工智能界已经从对概念验证的 "零敲碎打 "能力留下深刻印象,集体转向解决提高微调能力的质量和可靠性这一相对具有挑战性的 "最后一公里 "问题。