
挑战Transformer,华为诺亚新架构盘古π来了,已有1B、7B模型
挑战Transformer,华为诺亚新架构盘古π来了,已有1B、7B模型近日,来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构,尝试来构建更高效的大模型架构。
来自主题: AI资讯
9228 点击 2023-12-30 15:20
近日,来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构,尝试来构建更高效的大模型架构。
大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
最近,来自北京大学等机构研究者提出了一种全新视觉语言大模型——Video-LLaVA,使得LLM能够同时接收图片和视频为输入。Video-LlaVA在下游任务中取得了卓越的性能,并在图片、视频的13个基准上达到先进的性能。这个结果表明,统一LLM的输入能让LLM的视觉理解能力提升。
“北小六”(AI)心理治疗机器人由北京大学第六医院临床心理中心自主研发,小六名字可爱、颜值在线、知识渊博、技术过硬,服务态度超级棒,永不疲倦,可以随时为大家服务!