一种基于GQA特性优化的大语言模型推理加速方法、系统及应用

本发明公开了一种基于GQA特征优化的大语言模型推理加速方法，所述方法包括：步骤一、确定查询张量Q的切分粒度，将所述查询张量Q切分为一个或多个子任务；步骤二、自适应确定键张量K和值张量V的切分数量；步骤三、计算查询张量Q，计算完成后将键张量K和值张量V分别调度至不同计算单元组并行执行计算。本发明还公开了实现上述推理加速方法的推理加速系统，包括计算任务动态划分模块、并行调度模块、动态寻址复用模块、零拷贝访问模块。本发明中的推理加速方法和系统具有广泛应用价值。