摘要
本发明属于大数据存储技术领域,具体为一种基于大数据的设备数据存储管理系统,包括数据采集模块、分布式存储集群、智能索引引擎、冗余管理模块和监控告警模块;数据采集模块的输出端与分布式存储集群的输入端连接,分布式存储集群的输出端与智能索引引擎的输入端连接;管理方法包括以下步骤:S1:采集设备数据并解析为统一格式;S2:通过哈希算法将数据动态映射至存储节点;S3:构建实时索引并写入持久化存储;S4:根据访问频率自动迁移冷热数据至不同存储层级。本发明通过动态分片、智能索引及冗余优化,解决了海量设备数据存储的扩展性与可靠性问题,适用于智慧城市、智能制造等场景。