口述全球大模型这一年
口述全球大模型这一年《张小珺Jùn｜商业访谈录》推出跨年特辑。我邀请拾象创始人和CEO李广密口述全球大模型这一年——当顶级商业领袖、顶尖科学家这些最聪明的脑袋，手握数以千万计的资本狂卷一年，2023年全球大模型卷出了什么？
来自主题: AI资讯
4844 点击 2024-01-01 22:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
《张小珺Jùn｜商业访谈录》推出跨年特辑。我邀请拾象创始人和CEO李广密口述全球大模型这一年——当顶级商业领袖、顶尖科学家这些最聪明的脑袋，手握数以千万计的资本狂卷一年，2023年全球大模型卷出了什么？
如果 AI 是一辆豪华跑车，那么 LoRA 微调技术就是让它加速的涡轮增压器。LoRA 强大到什么地步？它可以让模型的处理速度提升 300%。还记得 LCM-LoRA 的惊艳表现吗？其他模型的十步，它只需要一步就能达到相媲美的效果。
如果说2023年有一项技术能够达到如此空前的“热度”，毫无疑问，那就是生成式大语言模型。但是不同于那不足十亿分之一秒的、转瞬即逝的4万亿度高温，大模型对各行各业的深远影响，在2023年既如“春雷万钧”，又似“润物无声”。所以，如果要用两个关键词形容2023年的大模型产业，除了“热”，还有“卷”。
一个来自MIT博士生的惊人发现：只需对Transformer的特定层进行一种非常简单的修剪，即可在缩小模型规模的同时显著提高模型性能。
一年前，ChatGPT 横空出世，“大模型”成为全球科技赛道绝对的“C位”。 这一年，国外微软OpenAI和谷歌DeepMind等“众神”打架，国内百模大战。这一年，文生图以及文生视频赛道都出现了很强的玩家和令人惊艳的产品，如 Midjourney、Runway Gen-2、Pika 1.0等。
AI Chat把大模型变成人类想象力的引擎。就像电影《Her》表现的那样，主人公可以和逝世多年的Alan Wstts的虚拟AI在线聊天。
近日，来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构，尝试来构建更高效的大模型架构。
大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其效率问题。
首个视觉、语言、音频和动作多模态模型Unified-IO 2来了！它能够完成多种多模态的任务，在超过30个基准测试中展现出了卓越性能。
多模态大模型做“多任务指令微调”，大模型可能会“学得多错得多”，因为不同任务之间的冲突，导致泛化能力下降。