一种大语言模型处理系统及会话处理方法

本申请实施例提供了一种大语言模型处理系统及会话处理方法。该系统包括：部署调度器的管理节点、计算节点和存储节点，调度器连接存储节点，存储节点用于直接与计算节点的硬件加速器内存进行数据交互；调度器用于接收到会话请求，且会话请求为多轮会话请求，向存储节点发送获取指令；存储节点用于获取会话请求的KV Cache，并将其缓存至存储节点的第一内存；调度器还用于将会话请求发送至计算节点；计算节点用于获取到会话请求后，从存储节点的第一内存获取KV Cache，利用KV Cache处理会话请求，由此，能够消除了跨计算节点获取KV Cache造成的传输延迟，减少了计算节点等待时间，由此提高了硬件加速器的使用率。