第一个100%开源的MoE大模型,7B的参数,1B的推理成本 第一个100%开源的MoE大模型,7B的参数,1B的推理成本 关键词: MoE,大模型,Gemini-1.5,GPT-4,Contextual AI,OLMoE 训练代码、中间 checkpoint、训练日志和训练数据都已经开源。 来自主题: AI技术研报 8078 点击 2024-09-05 22:02