一种基于任务模式感知的多头注意力量化方法

本发明涉及深度学习技术领域，公开了一种基于任务模式感知的多头注意力量化方法。该方法包括：针对每种类型的模型任务，获取在采用多头注意力机制处理模型任务的输入数据时，多头注意力机制中每个注意力头的注意力权重矩阵；根据注意力权重矩阵中所有注意力权重的大值分布情况，对模型任务的每个注意力头进行模式识别；其中，注意力权重的大值分布情况用于指示输入数据中所有令牌的注意力分布情况；根据模型任务的每个注意力头的模式识别结果，在采用多头注意力机制处理模型任务的输入数据时进行量化处理，从而提升面向多头注意力机制的任务处理效率和处理效果。