一种基于边缘计算的大语言模型优化方法

本发明公开了一种基于边缘计算的大语言模型优化方法，属于机器学习领域，本发明在边缘计算的环境中，基于Transformer的大模型结构框架下，通过找寻模型推理的最佳分割点，从而将Transformer模型分割成底层部分和高层部分，在算力受限的用户设备上部署轻量化的底层模型，将计算密集型的高层模型部署在云端服务器上；通过找寻最优分割点，将Transformer模型在用户设备和云服务器上进行合理分割部署，从而实现计算资源利用的优化和响应延迟的降低。