一种基于安卓系统部署的大语言模型快速推理方法和系统

本发明公开了一种基于安卓系统部署的大语言模型快速推理方法和系统，包括：在PC端中构建OpenGL环境，并在OpenGL环境中克隆大语言模型推理框架，并在OpenGL环境中选择GPU硬件加速，将大语言模型推理框架和硬件加速编译转换后得到so文件；获取大语言模型资源文件，并将大语言模型资源文件转换量化为GGUF格式文件；利用安卓开发组件准备安卓NDK环境，并在安卓NDK环境中将大语言模型的GGUF格式文件转换为LLM.so文件，并在安卓NDK环境中配置动态库链接；创建安卓NDK项目，在安卓NDK项目中配置大语言模型推理的GPU调用指令，启动大语言模型推理，在对应PC端的CPU中运行。