键值缓存方法、装置、设备、存储介质及产品

本申请公开了一种键值缓存方法、装置、设备、存储介质及产品，涉及数据存储技术领域，该方法包括：根据模型的每个图像提示编码构建图像提示的场景图，并根据场景图确定每个视觉对象的完整特征表示，与每个图像提示编码进行融合，将获得的最终视觉特征表示和文本提示编码进行融合，获得多模态提示向量编码；根据键层的权重矩阵和值层的权重矩阵分别确定多模态提示向量编码的键值对，并将键值对进行键值缓存。由于本申请根据图像提示的场景图实现了图像原始特征和场景图对象特征的融合，删减了图像模态中的冗余视觉信息，并缩减了图像编码的长度，从而解决了键值缓存中内存浪费导致模型推理效率低的问题，提高了多模态大语言模型的推理效率。