摘要
本发明属于癌症分类预训练模型技术领域，特别涉及利用泛癌基因组信息的稀疏门控模型及预训练方法。Gene‑MOE模型利用混合专家层来进一步加深提取高维基因的深度相关特征的能力，利用混合注意力专家层来探索高维遗传特征之间的深层语义关联。利用预训练策略，包括数据增强策略、结合判别网络与Gene‑MOE联合训练策略、Gene‑MOE特征分布训练策略、基因相似性训练策略、专家利用率平衡训练策略和计算总体训练损失，以进一步提高Gene‑MOE的性能。结果表明，Gene‑MOE可以在癌症分类和生存分析方面取得较好的性能，表明Gene‑MOE能够进行样本量较大的癌症类型分类。
