“据我了解，国内多个一线大模型机构，都已经突破了兆级的长文本能力。”以上，是“2024全球开发者先锋大会”大模型前沿论坛会间隙，上海人工智能实验室领军科学家林达华与量子位的交谈剪影。
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。
最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教育、智慧金融等行业应用领域的技术变革。
Mistral 可以说是欧洲目前最有代表性的 AI 公司，开源小模型、MoE、专注欧洲多语言市场等等，都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。
3 月 23 日，国内通用大模型创业公司阶跃星辰在 2024 全球开发者先锋大会上发布了公司的通用大模型产品。阶跃星辰创始人、CEO 姜大昕博士在大会开幕式上对外发布了 Step 系列通用大模型，包括 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型以及 Step-2 万亿参数 MoE 语言大模型预览版。
AGI时代，越来越近了。本月，中国初创AGI（通用人工智能）公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量，与五个月前该大模型初次亮相时的20万字相比，提升十倍。Kimi Chat的升级彻底引爆市场，同时也引起长文本大模型（Long-LLM）细分赛道更加激烈的竞争。
我们就是奔着AGI去的，不然这群人聚在一起干嘛?2024年2月，在准备一场分享会的PPT中，前微软全球副总裁、如今的阶跃星辰CEO姜大昕，把他看到的一句评论放进了自我介绍： 在微软混得风生水起，怎么想不开创业？
2024年，是被寄予希望的「AIGC应用元年」。从年初开始，AIGC又有了不少新动作：Sora凭借雨后东京街头视频一举成名，AI PC、AI手机陆续登场，AI程序员Devin通过面试，OpenAI大模型加持人形机器人Figure 01亮相…
Claude 3不但数据集跑分领先，用户体验上也将成为最强大的LLM，GPT-5在哪里？
特斯拉创始人埃隆·马斯克推出了开源大语言模型Grok-1，该模型参数量高达3140亿，是迄今为止参数量最大的开源大模型。
