模型中键值缓存管理系统、方法、设备及介质

本申请公开了一种模型中键值缓存管理系统、方法、设备及介质，涉及计算机技术领域，包括对输入文本的共享前缀部分和非共享部分进行识别，计算非共享部分的键值缓存数据，将非共享部分的键值缓存数据所需的存储空间大小输入至亲和性估计模型，得到将非共享部分的键值缓存数据存储至各内存节点的亲和性估计值，并根据亲和性估计值确定内存分配策略，以根据内存分配策略对非共享部分的键值缓存数据进行存储，解决了键值缓存数据占用大量内存，影响模型推理的服务性能的问题，达到了增加内存容量，满足模型推理的内存需求，提高模型推理的服务性能，且提高负载均衡的技术效果。