AI资讯新闻榜单内容搜索-MP-MoE

关键词: AI新闻,模型训练,Mixture-of-Experts,Mahalanobis-Pruned Mixture-of-Experts,MP-MoE

近年来，Mixture-of-Experts（MoE）已经成为大模型扩展的重要架构之一。相比稠密 Transformer，MoE 通过稀疏激活机制，在每个 token 上只调用少量专家，从而在控制计算成本的同时扩大模型容量。然而，一个长期存在的问题是：专家越多，并不意味着专家真的学得越 “专”。