ModernBERT 为我们带来了哪些启示？
ModernBERT 为我们带来了哪些启示？当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。
来自主题: AI技术研报
8148 点击 2025-01-31 12:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。
近日，在《金融时报》主编 Roula Khalaf 的最新采访中，谷歌 DeepMind 的 CEO、2024 年诺贝尔化学奖得主 Demis Hassabis 放出了一连串重磅消息
就在本周，Kimi 的新模型打开了强化学习 Scaling 新范式，DeepSeek R1 用开源的方式「接班了 OpenAI」，谷歌则把 Gemini 2.0 Flash Thinking 的上下文长度延伸到了 1M。1 月 24 日上午，百川智能重磅发布了国内首个全场景深度思考模型，把这一轮军备竞赛推向了高潮。
苏格拉底曾提到的门诺悖论（Meno's paradox）认为，人只能学会自己已经知道的事情；而关于AI辅助编程，谷歌资深工程师最近的一篇博客告诉我们，类似的知识悖论同样存在。
今天是个好日子，DeepSeek 与 Kimi 都更新了最新版的推理模型，吸引了广泛关注。与此同时，谷歌 DeepMind、加州大学圣地亚哥分校、阿尔伯塔大学的一篇新的研究论文也吸引了不少眼球，并直接冲上了 Hugging Face 每日论文榜第一（1 月 20 日）。
就在国内各家大模型厂商趁年底疯狂卷的时候，太平洋的另一端也没闲着。 就在今天，谷歌发布了 Gemini 2.0 Flash Thinking 推理模型的加强版，并再次登顶 Chatbot Arena 排行榜。
初创公司DeepWriter宣布：世界第一部完全由AI写作的10万字商业竞争书籍诞生了！全程没有人类参与工作，不到4小时，即可完成约10万单词的商业书籍创作。
据外电报道，就在谷歌与美联社签署协议的第二天，Mistral 还宣布与法新社 (AFP) 达成内容协议，以提高Mistral 聊天机器人产品Le Chat的答案的准确性。对于这家总部位于巴黎的人工智能公司来说，这是第一笔此类交易。这表明 Mistral 不想被视为仅仅一家基础模型制造商。
大型语言模型（LLMs）能够解决研究生水平的数学问题，但今天的搜索引擎却无法准确理解一个简单的三词短语。
划时代的突破来了！来自NYU、MIT和谷歌的顶尖研究团队联手，为扩散模型开辟了一个全新的方向——测试时计算Scaling Law。其中，谢赛宁高徒为共同一作。