
阶跃星辰发布 Step 通用大模型:多模态、MoE、万亿模型参数
阶跃星辰发布 Step 通用大模型:多模态、MoE、万亿模型参数3 月 23 日,国内通用大模型创业公司阶跃星辰在 2024 全球开发者先锋大会上发布了公司的通用大模型产品。阶跃星辰创始人、CEO 姜大昕博士在大会开幕式上对外发布了 Step 系列通用大模型,包括 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型以及 Step-2 万亿参数 MoE 语言大模型预览版。
3 月 23 日,国内通用大模型创业公司阶跃星辰在 2024 全球开发者先锋大会上发布了公司的通用大模型产品。阶跃星辰创始人、CEO 姜大昕博士在大会开幕式上对外发布了 Step 系列通用大模型,包括 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型以及 Step-2 万亿参数 MoE 语言大模型预览版。
嗨嗨,继上一期独家丨那些AI公司悄咪咪上线的产品(一)之后,我们迎来了第二期!最近又双叒叕又看了一堆AI相关的产品和项目,好玩的还蛮多的,下次挑几个分享分享。此外特工宇宙有在沉淀内部的知识库,未来会对外,敬请期待~
首先先来看看模型底座,阶跃星辰发布了两款,分别是Step-1V和Step-2。其中Step-1V具有千亿参数,支持多模态能力,和GPT4-Turbo一样,128K上下文,不过这款不算惊艳,只能算主流大模型中的正常水平。
StepCoder将长序列代码生成任务分解为代码完成子任务课程来缓解强化学习探索难题,对未执行的代码段以细粒度优化;还开源了可用于强化学习训练的APPS+数据集。
谷歌DeepMind全新提示技术「Step-Back Prompting」,让LLM性能拉满!
大型语言模型能力惊人,但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决,提出了逐步微调(Distilling Step-by-Step)的方法帮助模型训练。