小模型的风潮，最近愈来愈盛，Mistral和微软分别有所动作。而网友实测发现，Mistral-medium的代码能力竟然完胜了GPT-4，而所花成本还不到三分之一。
据外媒报道，在生成式AI竞争中处于落后的字节跳动想要“抄近道”，该公司一直在秘密使用OpenAI的技术开发自家大语言模型，这违反了OpenAI的服务条款。
DeepMind的研究团队开发了一款基于大型语言模型的人工智能系统，名为FunSearch，可以在数学和计算机科学中生成新的解。通过迭代中的进化，FunSearch能够解决复杂的数学问题，并发现新的数学知识和算法。这种基于大型语言模型的人工智能系统不仅能超越人类数学家，而且比现有的方法更有效。
大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
教大模型调用工具，已经是AI圈关注度最高的话题之一了。这不，又有一项研究登上最新NeurIPS 2023——它是一个叫做Chameleon（变色龙）的框架，号称能将大语言模型直接变成魔法师的工具箱，来自微软与加州大学洛杉矶分校（UCLA）。
上个月，微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源，在常识推理、语言理解和逻辑推理方面的性能显著改进。
都快到年底了，大模型领域还在卷，今天，Microsoft发布了参数量为2.7B的Phi-2——不仅13B参数以内没有对手，甚至还能和Llama 70B掰手腕！
随着大型语言模型（LLM）的发展，从业者面临更多挑战。如何避免 LLM 产生有害回复？如何快速删除训练数据中的版权保护内容？如何减少 LLM 幻觉（hallucinations，即错误事实）? 如何在数据政策更改后快速迭代 LLM？这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下，对于 LLM 的安全可信部署至关重要。
喂给大模型语料——最初是维基百科和Reddit，后来扩展到音频、视觉图像甚至雷达和热图像——后者广义上说是换了种表达方式的语言。也因此有生成式AI的创业者认为，一个极度聪明的大语言模型就是那个通往AGI最终答案，多模态的研究道路只是目前对前者的底气不足。
上周末，Mistral甩出的开源MoE大模型，震惊了整个开源社区。MoE究竟是什么？它又是如何提升了大语言模型的性能？
