一种基于前后请求感知的长序列自适应切分方法

一种基于前后请求感知的长序列自适应切分方法，包括步骤：步骤3、构建流水线气泡时间模型；流水线气泡时间包括初始等待时间和子块计算时间差异；步骤4、构建切分损失预测模型，包括：步骤4.1、通过注意力计算损失量化实际分块个数小于最佳分块个数的损失；步骤4.2、通过细粒度切分损失量化实际分块个数超过最佳分块个数的损失；步骤5、采集切分损失数据；根据切分损失数据对切分损失预测模型的因变量与待拟合参数进行拟合；步骤6、将解码层计算时间、流水线气泡时间、切分损失时间求和得到总执行时间；步骤7、遍历所有分块个数，循环执行步骤6，获取对应的切分策略及总执行时间；选择总执行时间最短的切分策略作为最佳策略。