80G显存塞50个7B大模型!清华&OpenBMB开源增量压缩新算法,显存节省8倍 80G显存塞50个7B大模型!清华&OpenBMB开源增量压缩新算法,显存节省8倍 关键词: AI,OpenBMB,Delta-CoMe,模型训练 最新模型增量压缩技术,一个80G的A100 GPU能够轻松加载多达50个7B模型,节省显存约8倍,同时模型性能几乎与压缩前的微调模型相当。 来自主题: AI技术研报 7243 点击 2024-11-29 13:58