AI资讯新闻榜单内容搜索-双向多模态编码器

关键词: AI,模型训练,MoCa,双向多模态编码器

MoCa框架把单向视觉语言模型转化为双向多模态嵌入模型，通过持续预训练和异构对比微调，提升模型性能和泛化能力，在多模态基准测试中表现优异，尤其小规模模型性能突出。