一种在CTyunOS中提升Hadoop数据吞吐量的动态资源调度方法
申请号:CN202411961679
申请日期:2024-12-30
公开号:CN119781935A
公开日期:2025-04-08
类型:发明专利
摘要
本发明的目的是提供一种在CTyunOS中提升Hadoop数据吞吐量的动态资源调度方法,该方法包括:将Hadoop与CTyunOS对接;对负载进行预测;采用Hadoop任务调度逻辑与CTyunOS底层资源调度机制根据预测的负载结果进行动态资源调度。本发明通过利用CTyunOS的内核级资源调度能力,开发一种动态资源调度机制,实现资源调度的动态化,能够实时响应资源需求变化,提高资源利用率,增强Hadoop任务调度逻辑与CTyunOS底层资源调度机制的交互,充分利用系统提供的优化特性。减少高延迟和提高数据吞吐量,尤其是在高并发环境下,通过优化节点间负载分布和改进数据传输效率来提升系统整体性能。
技术关键词
动态资源调度方法
数据吞吐量
任务调度
节点
分布式缓存系统
时间序列数据库
副本
网络命名空间
IO吞吐量
虚拟化管理
令牌桶算法
容器
快照功能
逻辑
迁移技术
重试机制
平滑算法