基于键值存储的高并发协同缓存管理
概述
输出基于C++语言的原型系统,原型的关键算法和处理机制应能适应业务模型不可预知的情形,即在算法或处理失效场景下应不额外导致性能严重劣化,影响小于5%。相较RocksDB,预期能够将系统吞吐量提升30%,同时将平均访问延迟降低30%,尾延迟降低50%以上,完成原型与浪潮分布式存储AS13000 完成对接适配。
需求详情
研究动态负载下元数据与数据缓存的自适应空间分配技术,包括业务模型和端到端性能感知、热度实时监测、缓存效用评估、在线低扰动调整缓存分配等技术,实现动态负载下持续保持缓存性能。研究基于跳表结构的Memtable 写性能优化技术,包括:1)研究顺序感知游标技术,减少顺序写入时的比较次数与随机内存访问;2)研究顺序性检测与自适应启停策略,确保不劣化稳态性能;3)研究缓存友好的节点布局,降低插入和查询路径上的CPU 缓存未命中与带宽占用,提升吞吐与命中率。研究存算分离架构下的多机协同调度,实现计算侧和存储侧间双向可迁移的Compaction 机制与全局统筹调度,可基于存算节点的CPU 利用率、I/O队列深度与可用网络带宽等,动态分配负载,规避单点瓶颈并提升整体资源利用率。研究KV 分离下的范围查询及垃圾回收优化技术,包括键与值的不同的有序性保证策略、合并和空间回收(GC)的协同机制、不同键值对规模的差异化分层管理,实现混合键值大小与多样负载下的资源匹配与性能均衡,同时兼顾查询性能、空间回收效率及低写放大开销。输出基于C++语言的原型系统,原型的关键算法和处理机制应能适应业务模型不可预知的情形,即在算法或处理失效场景下应不额外导致性能严重劣化,影响小于5%。相较RocksDB,预期能够将系统吞吐量提升30%,同时将平均访问延迟降低30%,尾延迟降低50%以上,完成原型与浪潮分布式存储AS13000 完成对接适配。
征集中
金额:10万元-30万元