一种云计算数据管理方法、装置、设备及可存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种云计算数据管理方法、装置、设备及可存储介质
申请号:CN202511093310
申请日期:2025-08-06
公开号:CN120596196B
公开日期:2025-10-17
类型:发明专利
摘要
本发明涉及云计算技术领域,具体涉及一种云计算数据管理方法、装置、设备及可存储介质,方法:将大数据上传至HDFS后划分为等大小的数据块,并生成多个副本,分布存储于不同物理机的虚拟机中;周期性采集磁盘I/O行为数据,包括磁盘读写访问次数与带宽利用率,并构建线性回归模型,预测磁盘性能;根据预测结果,将更多数据块分配至高性能磁盘对应的虚拟机;监测各虚拟机的CPU性能、磁盘I/O利用率及Map任务延迟,计算综合性能评分,并据此对虚拟机排序;调度Map任务时优先选择高评分且具备数据局部性的虚拟机执行;当本地资源受限时,在其他具备局部性以非本地方式完成任务。本发明可以解决资源利用效率低下、数据本地性不足、任务调度优化能力较弱的问题。
技术关键词
数据管理方法 线性回归模型 性能指标数据 性能指标定义 综合性 副本 任务调度 分布式文件系统 存储计算机可执行指令 宿主物理机 数据管理设备 集群 数据块迁移 数据管理装置 虚拟机磁盘 虚拟机迁移