一种基于RISC-V向量扩展的LLM推理加速方法及装置

本申请公开了一种基于RISC‑V向量扩展的LLM推理加速方法及装置，属于大语言模型设计领域。旨在解决大型语言模型LLM推理过程中的性能瓶颈问题，特别是在边缘计算设备上的部署。所述方法包括通过性能分析工具对推理过程进行分析，识别出瓶颈算子，并利用RISC‑V向量扩展RVV指令集对这些瓶颈算子进行重构，提升计算效率。重构后的算子能够实现并行化计算SIMD，并通过动态调整向量寄存器长度以最大化硬件资源的利用。该方法还基于RVV的动态向量长度适配机制，确保优化后的算子能够根据不同硬件平台自动适配，从而实现推理任务在多平台间的高效迁移与执行，有效提高了LLM推理的实时性和系统效率。