一种基于蜕变测试的大语言模型自然语言推理偏见检测方法

本发明提供了一种基于蜕变测试的大语言模型自然语言推理偏见检测方法。包括：步骤1，根据大语言模型自身的偏见与其在自然语言推理中存在的偏见，确定蜕变关系(MRs)，包括输入的蜕变关系input relation和输出的蜕变关系output relation；步骤2，根据测试所用到的样本集与蜕变关系生成原始测试用例集，根据input relation与原始测试用例集生成后续测试用例集；步骤3，将原始测试用例与后续测试用例在大语言模型中运行，通过判断输出的结果是否满足相应的output relation验证结果的正确性。本方法在检测大语言模型自然语言推理任务偏见的同时缓解了大语言模型自然语言推理任务中的测试判定问题，通过对现有的大语言模型进行测试实验，验证了提出方法的有效性和优势。