一种大模型推理优化方法、装置、存储介质及电子设备

本发明提供的一种大模型推理优化方法、装置、存储介质及电子设备，应用于人工智能技术领域。本发明获得待处理的输入序列；利用贪心算法，在预先构建好的大模型流网络中确定处理输入序列的最优全局传输路径，其中，大模型流网络由大模型的各个预填充节点、各个解码节点和连接预填充节点和解码节点的边构成；在输入序列输入至大模型的情况下，经由最优全局传输路径中的预填充节点和解码节点进行计算推理，直至大模型输出与输入序列对应的推理结果。本发明通过基于贪心算法在大模型流网络中动态确定输入序列处理的最优全局传输路径，有效优化了预填充节点与解码节点之间的数据传输和计算调度，提升了大模型推理效率。