大模型“自学”后能力反下降，Llama/Mistral都没逃过
大模型“自学”后能力反下降，Llama/Mistral都没逃过AI经过多轮“自我提升”，能力不增反降？
来自主题: AI技术研报
9437 点击 2024-07-19 17:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
AI经过多轮“自我提升”，能力不增反降？
免费不限次/免登录，贾扬清团队的Elmo插件再次升级——
封面来源｜公司官网 “GPT-3.5（ChatGPT）API将在某个时刻退役——只是不确定在何时。”在The Verge的采访中，OpenAI API平台负责人Olivier Godement如此总结。
随着大语言模型展现出惊人的语言智能，各大 AI 公司纷纷推出自己的大模型。这些大模型通常在不同领域和任务上各有所长，如何将它们集成起来以挖掘其互补潜力，成为了 AI 研究的前沿课题。
MoE 因其在训推流程中低销高效的特点，近两年在大语言模型领域大放异彩。作为 MoE 的灵魂，专家如何能够发挥出最大的学习潜能，相关的研究与讨论层出不穷。此前，华为 GTS AI 计算 Lab 的研究团队提出了 LocMoE ，包括新颖的路由网络结构、辅助降低通信开销的本地性 loss 等，引发了广泛关注。
GPT-4o mini主打一个字「快」。
尽管有很多初创公司试图用人工智能驱动的搜索来取代当下的搜索引擎，但一家名为 Exa 的初创公司有一个不同的想法：为人工智能打造一个谷歌。创始人 Jeff Wang 和 Will Bryk 认为 Google 为人类做了什么，他们就希望通过 Exa 为 AI 做类似的事情。
这几日，AI 圈又一“震惊”事件！！
2024年AI人才争夺战硝烟弥漫战况升级，马斯克与OpenAI纠葛不断再结新梁子，就在xAI完成巨额融资前，核心成员Kosic竟重返OpenAI。
“GPT-3.5(ChatGPT) API将在某个时刻退役——只是不确定在何时。”在The Verge的采访中，OpenAI API平台负责人Olivier Godement如此总结。