30行代码,500万长文本推理提速8倍!「树注意力」让GPU越多省的越多 30行代码,500万长文本推理提速8倍!「树注意力」让GPU越多省的越多 关键词: AI,GPU,大模型,树注意力,模型训练 跨GPU的注意力并行,最高提速8倍,支持512万序列长度推理。 来自主题: AI技术研报 8518 点击 2024-08-12 13:50