存储系统小对象轻量化纠删码技术研究
概述
交付基于C/C++开发的原型系统,原型系统基于典型分布式存储基准(如COSBench、FIO、YCSB 等)与多种IO 大小(1KB-128KB)进行性能评估,小对象写入或更新时,网络带宽放大和写放大小于或等于多副本,小对象访问时延与多副本相同,在保证相同容错等级的前提下,得盘率与纠删码相同,完成原型与浪潮分布式存储AS13000 完成对接适配。
需求详情
研究面向小对象场景的轻量化纠删码机制,系统性降低纠删码的网络传输放大和写放大,在不降低容错性的前提下,实现纠删码时延与多副本相同,网络传输放大和写放大小于或等于多副本,具体包括基于增量纠删码技术研究与多副本转纠删码技术研究。研究基于增量纠删码技术,针对数据条带未满、增量追加场景,支持增量计算校验数据,而不是全量重新计算校验数据,减少数据传输和计算开销;研究多副本转纠删码技术,实现前台数据写入时使用多副本,凑满纠删码分条后后台自动转换为纠删码的能力,减小网络传输放大。交付基于C/C++开发的原型系统,原型系统基于典型分布式存储基准(如COSBench、FIO、YCSB 等)与多种IO 大小(1KB-128KB)进行性能评估,小对象写入或更新时,网络带宽放大和写放大小于或等于多副本,小对象访问时延与多副本相同,在保证相同容错等级的前提下,得盘率与纠删码相同,完成原型与浪潮分布式存储AS13000 完成对接适配。
征集中
金额:10万元-30万元