30B大模型跑进手机,推理引擎开始自我进化
30B大模型跑进手机,推理引擎开始自我进化无量火科技与高通联合发布移动端解决方案,Ember推理引擎让未经额外改动的30B大模型在手机运行且质量无损,并将MoE与Dense模型内存占用分别降低80%和50%。
来自主题: AI资讯
7690 点击 2026-10-24 13:43
搜索
无量火科技与高通联合发布移动端解决方案,Ember推理引擎让未经额外改动的30B大模型在手机运行且质量无损,并将MoE与Dense模型内存占用分别降低80%和50%。