基于大语言模型的请求处理方法、装置、设备以及计算机存储介质

本申请公开了基于大语言模型的请求处理方法、装置、设备以及计算机存储介质。所述请求处理方法包括：基于用户端的请求的文本长度和大语言模型的参数量计算请求负载；判断请求负载是否大于或等于预设阈值；若请求负载大于或等于预设阈值，则分发至第一服务器处理，得到第一目标结果和Key‑Value缓存；将Key‑Value缓存更新至缓存数据库，并且将第一目标结果发送至所述用户端。本申请通过将Key‑Value缓存从服务节点中解耦至远程的缓存数据库系统，实现了计算与存储的分离，避免缓存冗余，提升了缓存复用率和一致性管理效率。