概述

针对大模型训推全流程中跨介质数据调度开销高、存储计算协同效率低、性能与成本难以平衡的核心问题，研究基于固态存储扩展显存原型系统，支撑真实大模型训推任务高效运行。

需求详情

研究基于固态存储扩展显存原型系统，扩展单机显存容量至1 TB以上，支撑500亿以上参数规模的大模型微调和推理；较未扩展显存系统，将大模型微调速度提升35%，大模型推理首Token生成时间（Time To First Token, TTFT）降低30%，单Token生成时间（Time Per Output Token, TPOT）降低20%，吞吐率提高30%；申请发明专利2项，发表CCF B类及以上论文不少于2篇，需出具出资方指定机构测试报告。