摘要
本申请提供了一种注意力模型的推理方法、设备、介质和程序产品，可以应用于人工智能技术领域。该方法包括：利用第一模型的查询编码器对第一文本块进行处理，生成第一查询信息；第一查询信息与键值数据摘要的维度相同；其中，第一文本块是注意力模型执行第n次推理操作生成的；键值数据摘要是利用第一模型的摘要编码器对键值缓存数据块进行处理得到的；注意力模型基于第一查询信息和多个键值数据摘要，从多个键值缓存数据块中确定与第一文本块相匹配的第一键值数据；以及利用注意力模型基于第一键值数据执行第n+1次推理操作，n为大于等于1的整数。
