单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器MoCa框架把单向视觉语言模型转化为双向多模态嵌入模型，通过持续预训练和异构对比微调，提升模型性能和泛化能力，在多模态基准测试中表现优异，尤其小规模模型性能突出。
来自主题: AI技术研报
9188 点击 2025-07-11 10:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
MoCa框架把单向视觉语言模型转化为双向多模态嵌入模型，通过持续预训练和异构对比微调，提升模型性能和泛化能力，在多模态基准测试中表现优异，尤其小规模模型性能突出。
vivo AI Lab发布AI多模态新模型了，专门面向端侧设计，紧凑高效～
今日，昆仑万维重磅开源多模态推理模型Skywork-R1V 3.0，这是其迄今最强多模态推理模型，参数规模为38B，在多个多模态推理基准测试中取得了开源最佳（SOTA）性能。
ChatGPT的对话流畅性、Gemini的多模态能力、DeepSeek的长上下文分析……
你有没有想过，为什么那些最聪明的AI工程师要把80%的时间浪费在修复数据基础设施上，而不是构建真正改变世界的AI应用？这个看似不合理的现象，正是Eventual创始人Sammy Sidhu和Jay Chia在Lyft自动驾驶部门工作时亲身经历的痛苦。
在多模态大语言模型（MLLMs）应用日益多元化的今天，对模型深度理解和分析人类意图的需求愈发迫切。尽管强化学习（RL）在增强大语言模型（LLMs）的推理能力方面已展现出巨大潜力，但将其有效应用于复杂的多模态数据和格式仍面临诸多挑战。
多模态模型学会“按需搜索”！字节&NTU最新研究，优化多模态模型搜索策略——通过搭建网络搜索工具、构建多模态搜索数据集以及涉及简单有效的奖励机制，首次尝试基于端到端强化学习的多模态模型自主搜索训练。
“上线 4 个月，DAU 破百万，累计用户破千万，用户日均对话次数超 9 次，跻身国内同类产品第一梯队 ——元石科技的‘问小白’用生成式推荐重新定义AI时代的信息获取与消费。
36氪获悉，深圳市模量科技有限公司（以下简称「模量科技」）宣布完成由德宁资本投资的千万级天使轮融资，北深资本担任长期顾问。本轮融资资金将主要用于产品研发、市场推广以及团队建设。
Stream-Omni：同时支持各种模态组合交互的文本-视觉-语音多模态大模型