一种基于人声数据进行迁移学习的海洋哺乳动物声音分类方法

海洋哺乳动物声音由于缺乏带注释的训练数据，目前难以使用有监督方式训练的大规模神经网络模型。受到人类声音和海洋哺乳动物声音重叠频率的启发，我们发明了Man2Marine方法，使用大量未注释的人声来预训练自监督大模型，然后使用海洋哺乳动物的声音对其进行微调。同时为了解决预训练自监督大模型中的过度参数化，难以应用的问题，使用了知识蒸馏技术来压缩模型参数。该方法显着降低了获取海洋哺乳动物声音数据的成本，为海洋哺乳动物声音研究提供了一种有实际应用价值的方法。