一种基于硬件负载状态动态预测输出长度的投机推理方法

一种基于硬件负载状态动态预测输出长度的投机推理方法，包括步骤：对于固定的批大小，获取能够实现每轮推理吞吐量饱和的饱和预测长度；根据硬件资源负载状态动态设定每个请求的预测输出长度；硬件资源负载状态包括饱和预测长度、批大小和实时显存剩余容量；基于历史统计预测树中各层的token接受率构建预测树，将预测输出长度作为预测树总预测token数量。本发明提出一种基于GPU‑accelerator算力、batch size以及显存占用等硬件负载状态，动态调整预测输出长度的机制，通过采样评估大模型推理系统的算力极限，并结合实时的batch size和显存占用，动态确定每个请求的最优预测输出长度，能够在不同推理负载下最大化GPU利用率，平衡吞吐量与资源占用，从而显著提升系统整体推理性能。