腾讯纯文本LLM训视觉encoder,拿捏图表长视频,达到开源小模型SOTA!
腾讯纯文本LLM训视觉encoder,拿捏图表长视频,达到开源小模型SOTA!打破多模态视觉+语言拼接套路!
来自主题: AI技术研报
6592 点击 2026-03-19 10:22
打破多模态视觉+语言拼接套路!
AI不应是巨头游戏,模型也不是越大越聪明。近日,「Transformer八子」中的Ashish Vaswani和Parmar共同推出了一个8B的开源小模型,剑指Scaling Law软肋,为轻量化、开放式AI探索了新方向。
刚刚,腾讯混元团队宣布一口气开源了 4 款小模型 —— 最大的只有 7B,另外还包括 4B、1.8B 和 0.5B 三个型号。
Mistral 可以说是欧洲目前最有代表性的 AI 公司,开源小模型、MoE、专注欧洲多语言市场等等,都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。