AI资讯新闻榜单内容搜索-mpGEMM

关键词: NPU,LLM,T-MAC,模型训练,mpGEMM

T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。