一种基于混合式负载感知的流数据分区算法

本发明属于流数据分区算法技术领域，具体涉及一种基于混合式负载感知的流数据分区算法，包括：本地决策单元和全局调度器，所述本地决策单元包括负载状态感知、路由策略生成和动态参数调节，所述全局调度器包括热点键分级处理。本申请实施例提供的整体结构，负载均衡能力提升、优化了动态自适应性、提升了资源利用率。针对数据侧动态数据分布导致的执行效率问题，提出了基于混合式负载感知的流数据分区算法，该算法采用混合式分区决策框架，设计的本地负载感知机制注重平稳和低偏斜数据分布下的快速分区决策；全局负载协调机制则维护全局热键的频率估计和热键分级处理，以便应对数据分布显著变化的情况。实验表明两者的结合对分布式环境下的动态数据分布有较好的自适应能力。