「无问芯穹」Infini-AI云平台已集成大模型异构千卡混训能力，是全球首个可进行单任务千卡规模异构芯片混合训练的平台。
基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能，但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数，采用FP16存储，模型大小约为350GB，而即使是英伟达最新的B200 GPU 内存也只有192GB ，更不用说其他GPU和边缘设备。
近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。然而，大语言模型的落地应用受到其较大的推理开销的限制，对部署资源、用户体验、经济成本都带来了巨大挑战。
CUDA 是英伟达的壁垒， 推理场景是算力未来的重点
清华系大模型领域创业又下一城，不过这次是中间层，解决的是算力焦虑问题。
百亿token补贴，4月起免费！这次的羊毛来自清华系AI公司无问芯穹，企业与个人皆可薅～这家公司成立于2023年5月，目标是打造大模型软硬件一体化最佳算力解决方案。
算力不足仍然是制约通用人工智能发展的重要因素。GPU Utils 今年 8 月的一份数据显示，全球目前 H100 等效算力的供给缺口达到 43 万张。在解决算力不足的问题上，除了抢购和囤积英伟达，更多的方案正在浮出水面。
