
80G显存塞50个7B大模型!清华&OpenBMB开源增量压缩新算法,显存节省8倍
80G显存塞50个7B大模型!清华&OpenBMB开源增量压缩新算法,显存节省8倍最新模型增量压缩技术,一个80G的A100 GPU能够轻松加载多达50个7B模型,节省显存约8倍,同时模型性能几乎与压缩前的微调模型相当。
来自主题: AI技术研报
7166 点击 2024-11-29 13:58
最新模型增量压缩技术,一个80G的A100 GPU能够轻松加载多达50个7B模型,节省显存约8倍,同时模型性能几乎与压缩前的微调模型相当。