一种基于表格置换不变性的预训练方法和装置

本发明公开了一种基于表格置换不变性的预训练方法和装置。该方法包括第一阶段根据表格中行、列的置换不变性构造正负样本对数据，然后用对比学习的方法构建预训练任务；为了让预训练模型适应各种各样的下游任务，第二阶段是表格与下游任务进行对齐，表格的下游任务包括表格问答、表格分类、表格数据生成、表格摘要提取等，根据不同的下游任务分别对预训练模型和下有任务的语言大模型进行联合对齐训练，从而得到能适应各种下游任务的预训练模型。