一种小文件分布式高并发聚合存储方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种小文件分布式高并发聚合存储方法及系统
申请号:CN202510456812
申请日期:2025-04-12
公开号:CN120295977A
公开日期:2025-07-11
类型:发明专利
摘要
一种小文件分布式高并发聚合存储方法及系统,在该方法中,采集性能指标数据并发送至资源协调服务器;计算排队率;根据排队率、文件读取并发量及磁盘剩余空间确定目标服务器;确定一级目录哈希值;根据一级目录哈希值选取一级存储目录和二级存储目录;在二级存储目录中创建目标聚合文件,并根据压缩标识或未压缩标识生成2字节的文件格式字段,根据待写入文件的大小生成4字节的文件长度字段;将文件格式字段、文件长度字段及待写入文件按序写入目标聚合文件,并记录写入的起始偏移量;生成包含存储位置信息的文件名,并将文件名返回给客户端。本申请优化了小文件存储的效率与效果。
技术关键词
压缩算法 分布式高并发 性能指标数据 协调服务器 目录 文件访问请求 标识 计算机程序代码 存储方法 索引表 字段 计算机程序产品 数据分布特征 磁盘 客户端 数值 存储系统 存储器