一种在CTyunOS中提升Hadoop数据吞吐量的动态资源调度方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种在CTyunOS中提升Hadoop数据吞吐量的动态资源调度方法
申请号:CN202411961679
申请日期:2024-12-30
公开号:CN119781935A
公开日期:2025-04-08
类型:发明专利
摘要
本发明的目的是提供一种在CTyunOS中提升Hadoop数据吞吐量的动态资源调度方法,该方法包括:将Hadoop与CTyunOS对接;对负载进行预测;采用Hadoop任务调度逻辑与CTyunOS底层资源调度机制根据预测的负载结果进行动态资源调度。本发明通过利用CTyunOS的内核级资源调度能力,开发一种动态资源调度机制,实现资源调度的动态化,能够实时响应资源需求变化,提高资源利用率,增强Hadoop任务调度逻辑与CTyunOS底层资源调度机制的交互,充分利用系统提供的优化特性。减少高延迟和提高数据吞吐量,尤其是在高并发环境下,通过优化节点间负载分布和改进数据传输效率来提升系统整体性能。
技术关键词
动态资源调度方法 数据吞吐量 任务调度 节点 分布式缓存系统 时间序列数据库 副本 网络命名空间 IO吞吐量 虚拟化管理 令牌桶算法 容器 快照功能 逻辑 迁移技术 重试机制 平滑算法