一种基于LSM的大推荐模型训练I/O优化方法及系统

本发明公开了一种基于LSM的大推荐模型训练I/O优化方法及系统，本发明包括获取大推荐模型训练的读写请求，为读请求中的热嵌入向量分配在日志合并树中的内部索引键，为写请求中的热嵌入向量通过增加指定前缀；将读请求按照内部索引键排序以重新确定访问顺序；针对写请求将其嵌入向量写入日志合并树；针对读请求，优先读取嵌入缓存、然后读取日志合并树的方式来响应读请求，并将从日志合并树中读取的嵌入向量放入嵌入缓存中以响应未来模型训练中的查询请求。本发明旨在通过大推荐模型和存储引擎的协同设计，利用基于SSD的日志合并树提升大推荐模型训练中产生的随机读请求的性能，减轻由于训练过程中随机更新训练数据而引起写放大问题。