基于Lustre架构的高性能文件存储与处理方法及系统
申请号:CN202511146684
申请日期:2025-08-15
公开号:CN121029694A
公开日期:2025-11-28
类型:发明专利
摘要
本发明涉及文件存储管理的技术领域,公开了基于Lustre架构的高性能文件存储与处理方法及系统,该方法包括:获取文件访问的时空特征;基于所述时空特征预测文件的热度值;基于文件的热度值确定文件的存储策略;基于所述存储策略对文件进行分布式存储,并持续检测节点状态;若检测到节点负载不稳定,则对负载不稳定的节点进行自适应数据迁移;若检测到节点出现故障,则基于节点的三维拓扑坐标生成数据恢复路径,并基于所述数据恢复路径迁移出现故障的节点存储的文件;本申请通过文件热度值来确定存储策略,并对节点异常情况进行高效处理,从而全面提升文件存储与处理的性能和效率。
技术关键词
检测节点状态
特征值
高性能
逻辑拓扑信息
物理拓扑信息
数据迁移
数据管理模块
策略
文件存储管理
数据采集模块
分片
标签
LSTM模型
源节点
坐标
偏差
标记
序列