摘要
本申请公开了一种基于增量学习的在线学习方法。对教师模型训练效果较好的训练数据称为旧数据，对教师模型训练效果不佳的训练数据称为新数据。将新数据和旧数据按一定比例混合得到一个批次的训练数据。采用一个批次的训练数据对学生模型进行训练，学生模型针对一个批次的训练数据中的旧数据和新数据进行训练得到损失值。根据学生模型对每一个批次的训练数据的损失值进行反向梯度更新，得到参数更新后的学生模型。本申请让学生模型继承了教师模型对于旧数据的良好性能，让学生模型针对新数据单独训练(即增量学习)，实现了对学生模型的快速更新。
